内容简介：准确率是我们常见的评价指标之一，一般定义是，分类正确的样本数占总样本的比例数。但是准确率在数据不均衡的数据集上会缺少一定的说服力，比如一个数据集，有990正样本，10个负样本，现在模型把样本全部都预测成正样本，那么我们说模型的准确率是99%，这个从计算上看是没问题，但是当样本不均衡时，光使用准确率来评价一个模型的好坏是不够的。
一、准确率
准确率是我们常见的评价指标之一，一般定义是，分类正确的样本数占总样本的比例数。
但是准确率在数据不均衡的数据集上会缺少一定的说服力，比如一个数据集，有990正样本，10个负样本，现在模型把样本全部都预测成正样本，那么我们说模型的准确率是99%，这个从计算上看是没问题，但是当样本不均衡时，光使用准确率来评价一个模型的好坏是不够的。
二、精准率和召回率
二分类问题的预测结果可以根据情况分成以下四类：
真正例（True Positive）：预测值为1，真实值为1
假正例（False Positive）：预测值为1，真实值为0
真反例（True Negative）：预测值为0，真实值为0
假反例（False Negative）：预测值为0，真实值为1
构造成结果的混淆矩阵
精准率又称查准率：
召回率又称查全率：
精准率可以解释为，预测为正例的样本中，有多少是真的正例
召回率可以解释为，真实的正例的样本中，有多少被预测出来
F1：精准率和召回率的调和平均
三、AUC
AUC是另一种评价二分类算法的指标，被定义为 ROC 曲线下的面积。那什么是ROC曲线呢？
ROC曲线的坐标，纵坐标为真正例率（True Positive Rate,TPR），横坐标为假正例率（False Positive Rate,FPR）
具体定义如下：
根据模型在ROC坐标上的位置，可以判断模型的性能
模型1
模型2
横纵坐标
ROC坐标上的四个点
（0,1）：所有样本分类正确
（1,0）：所有样本分类错误
（0,0）：所以样本都分类为负
（1:1）：所以样本都分类为正
由上图可以看出模型2要好于模型1
怎么画出AUC曲线呢，首先按照预测值进行排序
按照预测值大小，依次作为阈值，求解FP rate和TP rate
按照上图的信息可以画出曲线
曲线下的面积被称为AOC
AOC的意义：衡量正样本排在负样本前面的能力，这里的能力更具体一点就是出现的概率。与域值的选取没有关系。
四、混淆矩阵
对于多分类的相关问题，常用的评价标准是混淆矩阵
如果分成n个类别的话，混淆矩阵的形式是一个 的一个矩阵，具体的形式如下
上图中每一列代表预测的类别，每一行代表真实的类别的归属，第二行cat的总数量为8，表示类cat总共有8个样本，其中3个分类正确，3个被错误的分到了dog，2个被错误的分到了robbit。
如果计算cat的准确率计算公式如下
参考文献：
1、李航《统计学习方法》清华大学出版社
2、周志华《机器学习》 清华大学出版社
3、Confusion matrix
4、sklearn.metrics.confusion_matrix - scikit-learn 0.20.2 documentation
原文来自学员知乎作业 ：
https://zhuanlan.zhihu.com/p/55324860
以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网
猜你喜欢:
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
C++数值算法（第二版)
William T.Vetterling、Brian P.Flannery、Saul A.Teukolsky / 胡健伟、赵志勇、薛运华 / 电子工业出版社 / 2005年01月 / 68.00
本书选材内容丰富，除了通常数值方法课程的内容外，还包含当代科学计算大量用到的专题，如求特殊函数值、随机数、排序、最优化、快速傅里叶变换、谱分析、小波变换、统计描述和数据建模、常微分方程和偏微分方程数值解、若干编码算法和任意精度的计算等。 本书科学性和实用性统一。每个专题中，不仅对每种算法给出了数学分析和比较，而且根据作者的经验对算法做出了评论和建议，并在此基础上给出了用C++语言编写的实用程......一起来看看 《C++数值算法（第二版)》 这本书的介绍吧!
