正则化的极大似然函数是一种常用的机器学习方法,用于防止过拟合和提高模型泛化能力。在极大似然函数的基础上,引入正则化项对模型进行约束,使得模型在拟合训练数据的同时,尽可能避免捕捉噪声或训练数据中的特定模式。常见的正则化方法包括L1正则化和L2正则化,它们分别使用L1范数和L2范数作为正则化项,限制模型参数的大小...
设是来自以为其概率密度函数或概率质量函数的总体的独立同分布样本, 根据似然函数的定义 对每一个固定的样本点, 令是参数的一个取值, 它使得作为的函数在该处达到最大值. 那么, 基于样本的极大似然估计量 (maximum likelihood estimator 缩写为 MLE) 就是. 在实际使用中,为了计算简便,我们也经常使用的是对数似然...
1.1 最小化损失函数 损失函数用来衡量预测值和真实值之间的差异,差异越大,损失函数越大。我们关注损失函数的这种特性,反而不关注具体损失是多少。 逻辑回归输出类别的概率,真实的概率是1,则对该类的预测概率越低,损失函数越大。可用 $-log(p)$ 表示,$-log(p)$的曲线如下:(注意此时$p$与 $a$不是同个概念...
设是来自以为其概率密度函数或概率质量函数的总体的独立同分布样本, 根据似然函数的定义 对每一个固定的样本点, 令是参数的一个取值, 它使得作为的函数在该处达到最大值. 那么, 基于样本的极大似然估计量 (maximum likelihood estimator 缩写为 MLE) 就是. 在实际使用中,为了计算简便,我们也经常使用的是对数似然...