拟合是机器学习中的一个重要概念，指的是将数据集中的数据点用一个函数模型进行拟合，从而得到一个能够代表数据集的模型。在训练过程中，我们通常会使用一个模型来尽可能地匹配训练数据，但是在有些情况下，这种过度拟合会导致模型泛化能力不足，即在新数据上表现不够好。当模型过度拟合训练数据时，就会...
在信息论中，perplexity(困惑度)用来度量一个概率分布或概率模型预测样本的好坏程度。它也可以用来比较两个概率分布或概率模型。（译者：应该是比较两者在预测样本上的优劣）低困惑度的概率分布模型或概率模型能更好地预测样本。概率分布的困惑度 离散概率分布p的困惑度由下式给出 其中H(p) 是该分布的熵，x遍历事件...