提升图 (Lift Chart)(分析服务 - 数据挖掘)

提升图以图形方式表示挖掘模型在与随机猜测进行比较时提供的改进,并测量提升分数的变化。 通过比较数据集的各个部分和不同模型的提升分数,可以确定哪个模型是最佳模型,数据集中事例的哪个百分比将受益于应用模型的预测。

使用提升图,可以比较具有相同可预测属性的多个模型的预测的准确性。 还可以评估单个结果(可预测属性的单个值)或所有结果(指定属性的所有值)的预测准确性。

利润图表是包含与提升图相同的信息的相关图表类型,但也显示与使用每个模型关联的预计利润增加。

了解提升图

很难理解抽象中的提升图。 因此,为了说明使用提升图工具和图表中的信息,本部分演示了一种方案,该场景使用提升图来估计对目标邮件活动的响应。

此方案中的营销部门知道,10% 的回复率或多或少是邮件活动的典型情况。 他们列出 10,000 个潜在客户存储在数据库中的表中。 根据典型的响应率,他们通常只能期望约 1,000 名潜在客户做出响应。 但是,该项目的预算资金不足以达到数据库中的所有 10,000 个客户,他们希望提高他们的响应率。 假设他们的预算允许他们向 5,000 名客户邮寄广告。 营销部门有两个选项:

  • 随机选择要面向的 5,000 个客户。

  • 使用挖掘模型以最有可能做出响应的 5,000 个客户为目标。

通过使用提升图,可以比较这两个选项的预期结果。 例如,如果公司随机选择了 5,000 个客户,他们可能会根据典型的响应率仅接收 500 个响应。 此情形是提升图中 随机 线条所表示的情况。 但是,如果营销部门使用挖掘模型来设定其邮寄目标,他们可能会期望更好的回复率,因为该模型将识别最有可能做出答复的客户。 如果模型完美无缺,它将创建从未出错的预测,该公司预计通过向模型推荐的 1,000 个潜在客户发送邮件来接收 1,000 个响应。 提升图中的理想线条代表的就是这种情境。

现实情况是,挖掘模型很可能介于这两个极端之间:随机猜测和完美预测之间。 凡是比随机猜测有所改善的部分都被视为提升。

创建提升图时,可以选择针对特定结果设定目标并测量该结果的提升,或者可以创建一个模型的总体评估,测量所有可能结果的提升。 这些选择会影响最终图表,如以下部分所述。

返回顶部

具有目标值的提升图表

下表显示了您在基本数据挖掘教程中创建的定向邮寄模型的提升图。 在此图表中,目标属性为 [Bike Buyer],目标值为 1,这意味着客户预测购买自行车。 因此,提升图显示模型在识别这些潜在客户时提供的改进。

此图表包含基于相同数据的多个模型。 其中一个模型已自定义为面向特定客户。 可以通过对用于训练模式的数据添加筛选器来自定义模型。 此筛选器将培训和评估中使用的事例限制为年龄在 30 岁以下的客户。 请注意,筛选的一个效果是基本模型和筛选模型使用不同的数据集,因此提升图中用于计算的事例数也不同。 在解释预测结果和其他统计信息时,请务必记住这一点。

提升图显示两个模型

图表的 x 轴表示用于比较预测的测试数据集的百分比。 图表的 y 轴表示预测值的百分比。

以蓝色显示的对角直线显示在每个图表中。 它表示随机猜测的结果,并且是评估提升效果的基准。 对于添加到提升图的每个模型,将获得两个附加行:一行显示训练数据集的理想结果(如果可以创建始终完美预测的模型,第二行显示模型的实际提升或结果改进)。

在此示例中,筛选模型的理想线条以深蓝色显示,实际提升线为黄色。 你可以从图表中判断,理想的折线峰值约为 40%,这意味着,如果你有一个完美的模型,你可以通过向总人口的 40% 发送邮件,达到 100% 的目标客户。 当目标为 40% 的人口介于 60% 到 70% 之间时,筛选模型的实际提升意味着可以通过将邮件发送到总客户总数的 40% 来达到目标客户的 60-70%。

挖掘图例包含曲线上任意点的实际值。 可以通过单击垂直灰色条并移动它来更改度量的位置。 在图表中,灰色折线已移至 30%,因为这是筛选模型和未筛选模型看起来最有效的点,在此时间点之后,提升量下降。

挖矿图例还包含有助于解释图表的分数和统计信息。 这些结果表示模型在灰线位置的准确性,在这个场景中,灰线被设置为包含整体测试用例的30%。

系列和型号 得分 目标总体 预测概率
精准投递给所有人 0.71 47.40% 61.38%
目标受众邮件数量少于 30份 0.85 51.81% 46.62%
随机猜测模型 31.00%
全部目标邮件的理想模型 62.48%
理想的模型:目标邮件低于 30 65.28%

返回顶部

解释结果

从这些结果中可以看到,在测量到所有事例的 30% 时,常规模型[目标邮件全部]可以预测目标人群的自行车购买行为为 47.40%。 换句话说,如果向数据库中只有 30% 的客户发送了定向邮件,则可以略低于目标受众的一半。 如果使用筛选后的模型,可能会获得略微更好的结果,并达到约 51% 的目标客户。

Predict 概率的值代表将客户归入“可能购买”情况所需的门槛。 对于每种情况,模型都会估计每个预测的准确性,并存储该值,可以用来筛选或定位客户。 例如,若要从可能购买者的基本模型中识别客户,可以使用查询检索预测概率至少为 61% 的事例。 若要获取受筛选模型的目标客户,需要创建一个查询,该查询检索满足所有条件的事例:年龄和 PredictProbability 值至少为 46%。

比较模型很有趣。 筛选后的模型似乎捕获了更多潜在客户,但当你以预测概率分数为 46% 的客户为目标时,你也有可能向不会购买自行车的人发送邮件。 因此,如果你要决定哪个模型更好,你需要在筛选模型的更高精度和更小目标大小与基本模型的选择性之间进行权衡。

Score 的值通过计算模型在规范化总体中的有效性来帮助你比较模型。 分数越高越好,因此在这种情况下,你可能会认为,尽管预测概率较低,针对30岁以下客户进行营销是最有效的策略。

返回顶部

没有目标值的模型的提升图

如果未指定可预测列的状态,请创建下图中显示的图表类型。 此图表显示模型如何针对可预测属性的所有状态执行。 例如,此图表将告诉你模型如何预测可能购买自行车的客户以及不太可能购买自行车的客户的准确性。

x 轴与指定了可预测列的图表中相同,但 y 轴现在表示正确预测的百分比。 因此,理想的线是对角线,它显示,在 50% 的数据中,模型正确地预测了 50 个事例的 50%,这是可以预期的最大值。

显示正确预测的提升图

可以在图表中单击以移动垂直灰色条,挖掘图例 显示总体实例的百分比以及正确预测实例的百分比。 例如,如果将灰色滑块条置于 50% 标记处,Mining Legend将显示以下准确度分数。 这些数字基于在基本数据挖掘教程中创建的TM_Decision树模型。

系列、模型 得分 目标总体 预测概率
TM_决策树 0.77 40.50% 72.91%
理想模型 50.00%

此表告诉你,在总体的 50% 处,你创建的模型正确预测了 40% 的事例。 你可能会认为这是一个相当准确的模型。 但是,请记住,此特定模型预测可预测属性的所有值。 因此,该模型在预测 90% 的客户不会购买自行车时可能准确。

返回顶部

提升图的限制

提升图要求可预测属性是离散值。 换句话说,不能使用提升图来度量预测连续数值的模型的准确性。

可预测属性的所有离散值的预测准确性显示在一行中。 如果想要查看可预测属性的任何单个值的预测准确性线,则必须为每个目标值创建单独的提升图。

只要模型都具有相同的可预测属性,就可以将多个模型添加到提升图。 不共享属性的模型将无法在 “输入 ”选项卡中选择。

不能在提升图或利润图中显示时序模型。 衡量时序预测准确性的常见做法是保留一部分历史数据并将这些数据与预测进行比较。 有关详细信息,请参阅 Microsoft时序算法

返回顶部

另请参阅

测试和验证 (数据挖掘)