大家好，欢迎来到IT知识分享网。

你被珍藏过，也被放弃过，被反复观看，也被寻觅，被一眼掠过，也被视而不见，可这都与你无关。你好或者不好，关乎望过来的人和眼，那评价来自他的世界，你只需完成你确认的自己。

接下来将介绍一些常用的模型评估指标，这些衡量指标不限于目标检测模型的评估，包括：混淆矩阵、准确率、精确率、召回率和PR曲线、AP、mAP、ROC、AUC。

混淆矩阵

混淆矩阵也称误差矩阵，是表示精度评价的一种标准格式，用n行n列的矩阵形式来表示。混淆矩阵是以模型预测的类别数量统计信息为横轴，真实标签的数量统计信息为纵轴画出的矩阵，如图1所示。

图1 混淆矩阵

对角线代表了模型预测和数据标签一致的数目，所以准确率也可以用混淆矩阵对角线之和除以测试集图片数量来计算。对角线上的数字越大越好，代表模型在该类的预测结果更好。其他地方自然是预测错误的地方，自然值越小说明模型预测的更好。

准确率、精确率、召回率和PR曲线

周志华老师在《机器学习》一书中的‘性能评估’章节中的很形象的说法：准确率又称查准率，召回率又称查全率。一个经典例子是存在一个测试集合，测试集合只有大雁和飞机两种图片组成，假设你的分类系统最终的目的是：能取出测试集中所有飞机的图片，而不是大雁的图片。然后就可以定义：

– True positives: 简称为TP，即正样本被正确识别为正样本，飞机的图片被正确的识别成了飞机。

– True negatives: 简称为TN，即负样本被正确识别为负样本，大雁的图片没有被识别出来，系统正确地认为它们是大雁。

–False Positives: 简称为FP，即负样本被错误识别为正样本，大雁的图片被错误地识别成了飞机。

– False negatives: 简称为FN，即正样本被错误识别为负样本，飞机的图片没有被识别出来，系统错误地认为它们是大雁。

召回率(recall)是测试集中所有正样本样例中，被正确识别为正样本的比例。也就是本假设中，被正确识别出来的飞机个数与测试集中所有真实飞机的个数的比值，公式表示为：TP/(TP+FN)。

精确率(Precision)就是在识别出来的图片中，True positives所占的比率。也就是本假设中，所有被识别出来的飞机中，真正的飞机所占的比例，公式表示为：TP/(TP+FP)=TP/N，其中N代表测试集样本数。

准确率(Accuracy)是检测时预测对的样本数除以所有的样本数，公式表示为： (TP+TN)/(TP+FN+FP+TN)。准确率一般被用来评估检测模型的全局准确程度，包含的信息有限，不能完全评价一个模型的性能。

所谓PR曲线就是改变识别阈值，使得系统依次能够识别前K张图片，阈值的变化同时会导致Precision与Recall值发生变化，从而得到曲线。曲线图如图2所示。

图2 PR曲线

平均精度和mAP

平均精度（Average Precision，AP）就是PR 曲线下面的面积。通常来说一个越好的分类器，AP值越高。mAP是多个类别AP的平均值。这个mean的意思是对每个类的AP求平均，得到的就是mAP的值，mAP的大小一定在[0,1]区间，越大越好。该指标是目标检测算法中最重要的一个。

ROC曲线

接受者操作特性曲线（receiver operating characteristic curve，简称ROC曲线），得此名的原因在于曲线上各点反映着相同的感受性，它们都是对同一信号刺激的反应，只不过是在几种不同的判定标准下所得的结果而已。

图3 ROC曲线

ROC曲线的横轴是假正率(False positive rate， FPR)，FPR = FP / [ FP + TN] ，它代表所有负样本中错误预测为正样本的概率，假警报率。

ROC曲线的纵轴是真正率(True positive rate， TPR)，TPR = TP / [ TP + FN] ，它代表所有正样本中预测正确的概率，命中率。

ROC曲线的对角线坐标对应于随机猜测，而坐标点(0,1)也即是左上角坐标对应理想模型。其曲线如图3所示，曲线越接近左上角代表检测模型的效果越好。

那么ROC曲线是怎么绘制的呢？有如下几个步骤：

1. 根据每个测试样本属于正样本的概率值从大到小排序；
2. 从高到低，依次将“Score”值作为阈值threshold，当测试样本属于正样本的概率大于或等于这个threshold时，我们认为它为正样本，否则为负样本；
3. 每次选取一个不同的threshold，我们就可以得到一组FPR和TPR，即ROC曲线上的一点。当我们将threshold设置为1和0时，分别可以得到ROC曲线上的(0,0)和(1,1)两个点。将这些(FPR,TPR)对连接起来，就得到了ROC曲线。当threshold取值越多，ROC曲线越平滑。

AUC曲线

AUC曲线（Area Under Curve）即为ROC曲线下的面积。AUC越接近于1，分类器性能越好。AUC值是一个概率值，当你随机挑选一个正样本以及一个负样本，当前的分类算法根据计算得到的Score值将这个正样本排在负样本前面的概率就是AUC值。当然，AUC值越大，当前的分类算法越有可能将正样本排在负样本前面，即能够更好的分类。AUC的计算公式如下：

参考文献

[1]路齐硕. 基于深度学习的目标检测方法研究[D].北京邮电大学,2020.

[2]https://github.com/scutan90/DeepLearning-500-questions

前期回顾

最全的目标检测入门系列（一）概述

后期预告

欢迎点、藏、关三连

有共同兴趣的同学，可以私信探讨