首先明确几个概念,精确率,召回率,准确率

精确率precision

召回率recall

准确率accuracy

以一个实际例子入手,假设我们有100个肿瘤病人. 95个良性肿瘤病人,5个恶性肿瘤病人. 我们有一个检测系统,去检测一个肿瘤病人是否为恶性.

那么,对我们的系统来说,有100个样本,5个正样本,95个负样本.假设分布为1,1,1,1,1,0,0,.......(即前5个人为恶性,后95个为良性).

假设我们的系统预测如下1,0,0,1,1,1,0.......,可以看到我们把第二个第三个恶性预测为了良性,第6个良性预测成了恶性.

我们一共做出了100个预测,错误3个,正确97个.一共预测4个恶性,其中3个正确,1个错误.

先看最简单的指标,准确率accuracy.即所有预测的正确率=97/100=97%.

再看精确率precision,对于我们预测结果为恶性的来说,我们共做出了4个恶性的预测,对了三个,精确率=3/4=75%.

再看召回率recall,对于真正的恶性病人(共5人)来说,我们做出了5个预测,其中对了三个,召回率=3/5=60%.

从上面的例子可以看出来,precision是针对我们的有意义预测而言(这个表述不是很准确,用以通俗的理解.什么叫有意义的预测?,比如对癌症预测系统而言,这个系统的目标是检测出患癌症的,所以预测结果为患癌就叫做有意义预测)的,在所有的有意义的预测里,正确的比例就叫precision.

recall是针对样本的,即所有的患癌症患者,被检出的概率就叫recall.

总结一下就是:

precision就是你以为的正样本,到底猜对了多少.

recall就是真正的正样本,到底找出了多少.

到底是precision高好还是recall高好,要看你的检测系统的具体目标.比如:

垃圾邮件检测

我们希望做出的检测都是足够精确的,尽可能的检出的垃圾邮件都是真的垃圾邮件,不要把有用的邮件检测为垃圾邮件!,比如一封十分重要的工作邮件被检测成了垃圾邮件,这是不能容忍的. 而一个真正的垃圾邮件,我们没有检测出来,没有关系,我手动删掉就好了. 这种情况下,precision就要尽可能高.

癌症检测

我们希望真正的癌症病人要尽可能第被检测到,比如,一个人患了癌症,但是我们没检测到,耽误了治疗的最佳时机,这是不能容忍的. 而一个良性的病人被误检测为癌症,没有关系,我们后续还有更多的医疗手段确定这个人是不是真的癌症. 这种情况下,recall就要尽可能的高.

上面假设了2个比较极端的例子,实际上,很多时候我们需要在precision和recall之间找到一个折中和平衡.

mAP

先来说AP (Average Precision)

以一个实际例子,来说明AP的计算.比如我们有1000张图片,其中5张是苹果,我们预测的结果是其中某十张是苹果.目标检测系统不光会给出某张图的类别,还会给出相应的概率.

我们按照概率从大到小对我们的预测降序排列.

以第三行为例,解释一下,当做出第三行的预测时,此时预测对了2个,预测了3次,真正的苹果图片一共5个,所以precision=2/3=0.67, recall=2/5=0.4.

这样的话,我们可以绘制出下图:

此时的曲线是"之"字型下降的.结合上表,很好理解,recall肯定是不断增大的.precision会有"抖动".

AP的定义即为recall-precision下的面积.

实际计算的时候,我们通常先调整某个recall点对应的precision为其右侧的最大值.

即

PASCAL Visual Objects Challenge从2007年开始就是用这一度量制度，他们认为这一方法能有效地减少Precision-recall 曲线中的抖动.

AP的意义:AP综合考量了recall和precision的影响,反映了模型对某个类别识别的好坏.

mAP是取所有类别AP的平均值，衡量的是在所有类别上的平均好坏程度。

目标检测评价指标(mAP)

常见指标 precision 预测出的所有目标中正确的比例 (true positives / true positives + false positives). recall 被正确定位识别的目标 ...

二分类算法的评价指标：准确率、精准率、召回率、混淆矩阵、AUC

评价指标是针对同样的数据,输入不同的算法,或者输入相同的算法但参数不同而给出这个算法或者参数好坏的定量指标. 以下为了方便讲解,都以二分类问题为前提进行介绍,其实多分类问题下这些概念都可以得到推广. ...

(转)深度学习目标检测指标mAP

深度学习目标检测指标mAP https://github.com/rafaelpadilla/Object-Detection-Metrics 参考上面github链接中的readme,有详细描述

一文让你彻底理解准确率，精准率，召回率，真正率，假正率，ROC/AUC

参考资料:https://zhuanlan.zhihu.com/p/46714763 ROC/AUC作为机器学习的评估指标非常重要,也是面试中经常出现的问题(80%都会问到).其实,理解它并不是非常难 ...

目标检测的mAp

众多目标检测的知识中,都提到了mAp一值,那么这个东西到底是什么呢: 我们在评价一个目标检测算法的"好坏"程度的时候,往往采用的是pascal voc 2012的评价标准mAP.目 ...

准确率(Accuracy), 精确率(Precision), 召回率(Recall)和F1-Measure

yu Code 15 Comments  机器学习(ML),自然语言处理(NLP),信息检索(IR)等领域,评估(Evaluation)是一个必要的 工作,而其评价指标往往有如下几点:准确率(Accu ...

准确率、精确率、召回率、F1

在搭建一个AI模型或者是机器学习模型的时候怎么去评估模型,比如我们前期讲的利用朴素贝叶斯算法做的垃圾邮件分类算法,我们如何取评估它.我们需要一套完整的评估方法对我们的模型进行正确的评估,如果模型效果比 ...

机器学习性能指标精确率、召回率、F1值、ROC、PRC与AUC--周振洋

机器学习性能指标精确率.召回率.F1值.ROC.PRC与AUC 精确率.召回率.F1.AUC和ROC曲线都是评价模型好坏的指标,那么它们之间有什么不同,又有什么联系呢.下面让我们分别来看一下这几个指标 ...

随机推荐

第四次个人作业--必应词典(PC端)分析

part.1 调研.评测 ·bug简述: 1.初始使用时,我觉得划译功能很方便,可是在QQ和浏览器上多次使用划译功能后,我发现并不是每次划译总会做出翻译,而是显示原文而已.如下图: 2.敲代码是出现b ...

CentOS6 下安装JDK7

1.下载JDK:http://www.oracle.com/technetwork/java/javase/archive-139210.html,选择Java SE 7,下载jdk-7u80-lin ...

aspx基础开始

IoC是什么

IoC是什么 Ioc-Inversion of Control,即"控制反转",不是什么技术,而是一种设计思想.在Java开发中,Ioc意味着将你设计好的对象交给容器控制,而不是传 ...

html5开发学习 html5自学需要怎么学

记得很多大鳄都说过一句话:只要站在风口上,猪都能飞起来.而对于如今的IT技术领域来说,无疑这只幸运的"猪"非html5莫属.html5开发技术在16年迎来了一个飞跃的发展,这也让很 ...

django处理cookie的机制

title: django处理cookie的机制 tags: djaogo, cookie, session grammar_cjkRuby: true --- cookie的意义 在多数日常使用的网 ...

解决vue数据渲染过程中的闪动问题

关键代码 主要解决vue双大括号{{}}在数据渲染和加载过程中的闪动问题,而影响客服体验. html代码:

Oracle创建表sql语句

create table t_owners ( id number primary key, name ), addressid number, housenumber ), watermeter ) ...

nginx环境安装配置fail2ban屏蔽攻击ip

安装 fail2ban   yum install -y epel-release yum install -y fail2ban 设置 Nginx 的访问日志格式 这个是设置 fail2ban 封禁 ...

FileStream常用的属性和方法：

对流进行操作时要引用 using System.IO; 命名空间 FileStream常用的属性和方法: 属性: CanRead 判断当前流是否支持读取,返回bool值,True表示可以读取 CanW ...