验证是评估挖掘模型针对真实数据的表现的过程。 在将挖掘模型部署到生产环境之前，请务必先了解挖掘模型的质量和特征。
本部分介绍与模型质量相关的一些基本概念，并介绍了Microsoft Analysis Services 中提供的模型验证策略。 有关模型验证如何适应更大的数据挖掘过程的概述，请参阅 数据挖掘解决方案。
用于测试和验证数据挖掘模型的方法
有许多方法可用于评估数据挖掘模型的质量和特征。
使用各种统计有效性度量值来确定数据或模型中是否存在问题。
将数据分成训练集和测试集，以测试预测的准确性。
请业务专家查看数据挖掘模型的结果，以确定发现模式在目标业务方案中是否有意义
所有这些方法在数据挖掘方法中都很有用，在创建、测试和优化模型以回答特定问题时以迭代方式使用。 没有一个完整的规则可以告诉你模型什么时候足够好或者数据什么时候足够。
用于验证数据挖掘模型的条件定义
数据挖掘度量通常属于准确性、可靠性和有用性类别。
准确性 是衡量模型如何将结果与提供的数据中的属性相关联。 有各种准确性度量值，但所有准确性度量值都取决于使用的数据。 实际上，值可能缺失或近似值，或者多个进程可能已更改数据。 特别是在探索和开发阶段，你可能会决定接受数据中的一定错误，尤其是在数据特征相当统一的情况下。 例如，根据过去的销售额预测特定商店的销售的模型可以紧密关联且非常准确，即使该商店一直使用错误的会计方法也是如此。 因此，必须通过评估可靠性来平衡准确性的度量。
可靠性 评估数据挖掘模型在不同数据集上执行的方式。 如果数据挖掘模型生成了同一类型的预测或找到相同的常规类型的模式，而不考虑提供的测试数据，则数据挖掘模型是可靠的。 例如，为使用错误会计方法的存储生成的模型不会很好地通用化到其他存储区，因此不可靠。
有用性 包括各种指标，告知模型是否提供有用信息。 例如，将商店位置与销售相关的数据挖掘模型可能既准确又可靠，但可能不有用，因为不能通过在同一位置添加更多商店来通用化该结果。 此外，它没有回答为什么某些地点有更多的销售的基本业务问题。 你可能还会发现，某些看似成功的模型实质上毫无意义，因为它们基于数据中的交叉相关性。
用于测试和验证挖掘模型的工具
Analysis Services 支持多种验证数据挖掘解决方案的方法，支持数据挖掘测试方法的所有阶段。
将数据划分为测试集和训练集。
筛选模型以训练和测试相同源数据的不同组合。
测量 提升 和 增益。 提升图是将数据挖掘模型与随机猜测比较时可视化其改进的方法。
执行数据集的交叉验证
生成 分类矩阵。 这些图表对表中的好坏猜测进行排序，以便快速轻松地测量模型预测目标值的准确程度。
创建 散点图 以评估回归公式的拟合度。
创建 利润图表 ，将财务收益或成本与使用挖掘模型相关联，以便你可以评估建议的价值。
这些指标并不旨在回答数据挖掘模型是否回答业务问题的问题;相反，这些指标提供客观度量值，可用于评估数据的可靠性，以便预测分析，并指导你决定是否在开发过程中使用特定迭代。
本节中的主题概述了每个方法，并指导你完成测量使用 SQL Server 数据挖掘生成的模型的准确性的过程。
相关主题
| 主题 | 链接 |
|---|---|
| 了解如何使用向导或 DMX 命令设置测试数据集 | 训练和测试数据集 |
| 了解如何测试挖掘结构中数据的分布和代表性 | 交叉验证 （Analysis Services - 数据挖掘） |
| 了解 SQL Server 2014 Analysis Services （SSAS） 中提供的准确性图表类型。 |
增益图（Analysis Services - 数据挖掘） 利润图表 （Analysis Services - 数据挖掘） 散点图（Analysis Services - 数据挖掘功能） |
| 了解如何创建分类矩阵（有时称为混淆矩阵），用于评估真阳性、假阳性、真阴性和假阴性的数量。 | 分类矩阵 （Analysis Services - 数据挖掘） |