AUC值越大,表示模型性能越好。具体来说,AUC值接近1表示模型能够很好地将正例与负例区分开来;AUC值为0.5则表示模型性能与随机猜测无异;AUC值小于0.5则表明模型性能甚至不如随机猜测。 二、PRC曲线:精确率与召回率的权衡 1. PRC曲线的定义 PRC曲线,即Precision-Recall Curve(精确率-召回率曲线),是另一种用于评估...
例如,在搜索引擎的结果排序等场景中,更关注模型在预测为正类的样本中的准确率,此时PRC曲线和PR-AUC值更具参考价值。 三、ROC-AUC与PRC曲线的区别与应用场景 面对不平衡数据的应用:ROC-AUC在面对不平衡数据时,由于考虑了FPR,可能会相对较好地平衡正负样本的影响。而PR-AUC对于不平衡数据集更为敏感,当正负样本数量...
准确率、精确率、召回率、F1值、ROC/AUC整理笔记 对于二分类问题,机器预测的和实际的还是会有所偏差,所以我们引入以下几个概念来评价分类器的优良。 一、TP、TN、FP、FN概念 首先有关TP、TN、FP、FN的概念。大体来看,TP与TN都是分对了情况,TP是正类,TN是负类。则推断出,FP是把错的分成了对的,而FN则是...
若AUC=0.5,即与上图中红线重合,表示模型的区分能力与随机猜测没有差别。若AUC真的小于0.5,请检查一下是不是好坏标签标反了,或者是模型真的很差。 PRC曲线(Precision-Recall curve)和ROC曲线类似,ROC曲线是FPR和TPR的点连成的线,PRC曲线是准确率和召回率的点连成的线,如下图所示。 除此之外,在评价模型时还会...
由于工作的需要,最近对一些常见的评价指标重新温习了一下,其中对混淆矩阵、准确率、精确率、召回率、真正率、假正率、ROC/AUC、PRC等概念进行了重点的温习和理解,并结合自己的感悟,总结和梳理了一下。 首先说明一下,以上指标主要针对分类问题的,其中的根源和核心是二分类混淆矩阵。