roc指标算法:评估机器学习算法的指标

股票学习网 发布:2021-04-30 00:18:56 阅读:25次

今日份知识你摄入了么?

评估你的机器学习算法是任何项目的重要部分。当使用指标(如accuracy_score)进行评估时,您的模型可能会给出令人满意的结果,但是当与其他指标,如logarithmic_loss或任何其他此类度量进行评估时,模型可能会给出糟糕的结果。大多数情况下,我们使用分类精度来衡量我们的模型的性能,但这并不足以真正判断我们的模型。 在这篇文章中,我们将介绍不同类型的可用评估指标。

分类精度

对数损失

混淆矩阵

ROC曲线下的面积

F1分数

平均绝对误差

均方误差

分类精度

当我们使用准确性这个词的时候,我们通常指的是分类的准确性。它是正确预测的数量与输入样本的总数之比。

只有当每个类的样本数量相等时,这种方法才有效。

例如,假设我们的训练集中有98%的A类样本和2%的B类样本,那么我们的模型通过简单地预测每个属于A类的训练样本就可以很容易地获得98%的训练精度。

当同一模型在a类样本占60%,B类样本占40%的测试集上进行测试时,测试精度会下降到60%。分类的准确度是很高的,但给我们带来了获得高准确度的错觉。

当小类样本的误分类代价很高时,真正的问题就出现了。如果我们面对的是一种罕见但致命的疾病,诊断一个病人的疾病失败的代价要远远高于让一个健康的人去做更多检查的代价。

对数损失

为了让大家更不好的理解这些指标,我们来看一个案例。某电子商务网站,根据Linda的历史购物框推选了15个商品,其中12个是推荐正确的,3个是推荐错误的,这个系统中有50个商品,其中符合推荐给Linda的应该为20个,其他30个为不符合的。下面让我们来看一下上面谈到的各个指标:

那么是不是精确度或者召回率越高越好呢,那可不一定,要视具体的产品而定。比如新冠病毒的检测软件,我们宁可降低精确度,也要保证召回率,不放过一个病例。这种情况即所谓的“宁错杀一百,不放过一个”的策略。比如:样本中有50真样本,50假样本,判断得到95个,其中50个为真,45个为假。这样精度50/95=53%,召回率=50/50=100%,由此可见这种算法精确度并不高,只有53%,而召回率达到了100%。另外一种情况,是可以牺牲召回率,而保证精确度,比如精准扶贫,对于每一个扶贫农夫开销是很大的,所以不允许存在把钱花在假贫困户上。比如:同样样本中有50真样本,判断得到15个,其中15个为真,其中0个为假。这样精度15/15=100%,召回率=15/50=30%,由此可见这种算法精确度很高高,达到100%,而召回率不高,仅为30%

一般而言精确度和召回率应该是负相关的,如果两个值都低说明算法有了问题了,这里提出了F0.5分数、F1分数、F2分数、F3分数等指标。用的最多的是F1分数。

Fn分数(F1Score=(1+n 2 ) ×精度×召回率×2 / (n 2 ×精确度+召回率)

roc指标算法:评估机器学习算法的指标所属专题: roc指标算法专题   本文《roc指标算法:评估机器学习算法的指标》链接:http://www.gzhwuliu.cn/25780/

roc指标算法:评估机器学习算法的指标相关文章

roc指标算法:评估机器学习算法的指标图解
  • 股票指标cci是什么指标:最让主力感到害怕的指标——CCI
  • 最好的成交量指标:成交量是牛市汇总最好的指标
  • 一年内最大成交量指标:最让主力感到害怕的指标,成交量
  • mt4指数平均线指标:金钻集团:学习“均线”指标解析
  • 绝对抄底逃顶指标公式:堪称最“傻瓜式”的指标DMI,千万别小看,抄底逃顶不输千万指标
  • roc指标使用技巧图解:KST完定指标的使用技巧
  • 股票roc指标:一个提前预测个股买点的指标
  • roc指标买卖技巧:你从不知道的ROC的买卖方法
  • roc指标编辑:一个价值连城的指标ROC
  • WR威廉指标应用法则与买卖点的使用技巧
  • 股票的obv是什么意思 一个非常好用的指标
  • 趋势线指标哪个最好?趋势线的正确画法
  • arbr指标图解:AR和BR的应用法则图解
  • 你肯定没见过逃顶最好用的指标
  • 股票看盘图解:每日看盘,这个指标是你一定要看的!
  • 股票看盘指标:一个衡量股价涨跌幅度的重要指标
  • 用什么指标准确逃顶:最准确的抄底逃顶指标
  • 股票逃顶真正有用的指标:看完赶紧操作,迟则生变
  • 波段操作最重要的指标是什么?
  • sar指标高手:A股唯一不骗人的指标,捕捉主升浪就靠他了!
  • 股票wr指标使用技巧:老股民分享“WR”指标的用法
  • 成交量的指标:图文讲解教你利用成交量指标来选股
  • 让sar指标更精确:让你提前“跑路”的指标SAR,成功率远高于MACD指标!
  • 最灵敏的dmi指标:堪称最“傻瓜式”的指标DMI,抄底逃顶不输千万指标
  • cci指标用法视频:你不知道的CCI指标
  • 股市最好用的四个指标,中国股市使用率最高的一个指标
  • 股票cci指标参数设置:怎样设置股票CCI指标是最合理的?
  • 短线炒股指标:短线买卖点把握的指标
  • 牛股趋势指标:趋势为王,良好的趋势跟上庄家
  • 比cci更好的指标:CCI中最厉害的三大功能!
  • 判断股票趋势看什么指标:一个精准判断趋势的工具——DMA!
  • 股票macd曲线讲解:MACD指标使用技巧和最佳买入的形态
  • 股票brar:一个帮你选出好股票的指标
  • 期货中最好用的指标
  • 股票中最可靠的指标是:炒股就看这3个指标!
  • 期货最常用的经典指标:波段交易和日内交易经典指标
  • roc指标详解及说明:变动率指标(ROC)简单用法!
  • 回顶部