深入分析Microsoft Azure 机器学习工作室案例( 四 )

这个元数据的定义，就是为了下一个EvaluateModel做准备，告诉EvaluateModel知道哪一个列是需要评估的标签。
▍EvaluateModel节点
评估模型返回的指标取决于您正在评估的模型类型：
分类模型
回归模型
聚类分析模型
在这个节点我们主要关心在训练完成后输出的图表
ROC曲线（ROCcurve）：也称“受试者工作特征曲线” ，或者感受性曲线。 ROC曲线主要是用于X对Y的预测准确率情况。最初ROC曲线是运用在军事上，现在更多应用在医学领域，判断某种因素对于某种疾病的诊断是否有诊断价值。

文章图片
ROC曲线图是反映敏感性与特异性之间关系的曲线。我们一般这么看：横坐标X轴为1–特异性，也称为假阳性率/假正率（误报率）， X轴越接近零准确率越高；纵坐标Y轴称为敏感度，也称为真阳性率/真正率（敏感度）， Y轴越大代表准确率越好。
根据曲线位置，把整个图划分成了两部分，曲线下方部分的面积被称为AUC（AreaUnderCurve），用来表示预测准确性， AUC值越高，也就是曲线下方面积越大，说明预测准确率越高。曲线越接近左上角（X越小， Y越大），预测准确率越高。也就是说AUC越接近1.0 ，检测方法真实性越高，小于等于0.5时，则真实性最低，无应用价值。
所以可以看出ROC曲线非常适合描述个二分问题，即将实例分成正类（positive）或负类（negative）。对一个二分问题来说，会出现四种情况。如果一个实例是正类并且也被预测成正类，即为真正类（Truepositive）,如果实例是负类被预测成正类，称之为假正类（Falsepositive）。相应地，如果实例是负类被预测成负类，称之为真负类（Truenegative）,正类被预测成负类则为假负类（falsenegative）。
精度-召回曲线（Precision-recallcurve）：召回率是指正确预测为正的占全部实际为正的比例，召回率是针对原样本而言的，其含义是在实际为正的样本中被预测为正样本的概率。高的召回率意味着可能会有更多的误检，但是会尽力找到每一个应该被找到的对象。

文章图片
精确度-召回曲线显示了不同阈值时精度和召回之间的权衡。曲线下的高区域代表高召回率和高精度，其中高精度与低假正率有关，高召回率与低假负率有关。两者的高分都表明分类器正在返回准确的结果（高精度），并且返回所有正样本的大部分（高召回率）。
因为精度和召回的矛盾，所以我们引入了F1分数（F1Score），用来衡量二分类模型精确度。它同时兼顾了分类模型的精确率和召回率。 F1分数可以看作是模型精确率和召回率的一种调和平均，它的最大值是1 ，最小值是0 。
提升曲线（Liftcurve）：与ROC曲线不同的是lift考虑分类器的准确性，也就是使用分类器获得的正类数量和不使用分类器随机获取正类数量的比例。提升曲线是评估一个预测模型是否有效的一个度量；这个比值由运用和不运用这个模型所得来的结果计算而来。
举例来说就是：一个公司的客群有10000个，随着业务的变化，其中有500个客户的资信开始变差。如果给1000个客户提供授信也就是说，可能会遇到50个客户因为资信问题，将遇到风险。但是如果运用模型对坏客户加以预测，只选择模型分数最高的1000个客户授信，如果这1000个客户表现出来最终安全有风险的只有8户，说明模型在其中是起到作用的，此时的LIFT就是大于1的。如果反过来最终证明出现风险的客户超过或等于50个， LIFT小于等于1 ，那么从效果上来看这个模型用了还不如不用。 LIFT就是这样一个指标，可以衡量使用这个模型比随机选择对坏样本的预测能力提升了多少倍。