通过

你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

模型可解释性

本文介绍可在 Azure 机器学习中用于解释模型的方法。

为何模型可解释性对模型调试非常重要

当机器学习模型的使用对人们的生活产生影响时，了解模型行为的影响因素就变得至关重要。 可解释性有助于解答方案中存在的疑问，例如：

  • 模型调试：为何我的模型会犯这种错误？ 如何改进模型？
  • 人类与 AI 的协作：如何理解和信任模型的决策？
  • 法规遵从性：我的模型是否符合法律要求？

负责任 AI 仪表板的可解释性组件通过生成人类可理解的机器学习模型预测描述，为模型生命周期工作流的“诊断”阶段做出了贡献。 它提供模型行为的多个视图：

  • 全局解释：例如，哪些特征会影响贷款分配模型的整体行为？
  • 局部解释：例如，为何批准或拒绝了客户的贷款申请？

还可将选定队列的模型解释作为数据点的子组来进行观察。 例如，在为特定人口群体中的个人评估模型预测的公平性时，此方法很有作用。 此组件的局部解释选项卡还可呈现完整的数据可视化效果，这对于以一般方式审视数据和查看每个队列的正确与错误预测之间的差异非常有用。

此组件的功能建立在生成模型解释的 InterpretML 包的基础之上。

在有以下需求时使用可解释性：

  • 通过了解哪些特征对于预测最重要，来确定 AI 系统预测结果的可信度。
  • 通过先了解模型并确定它是使用正常的特征还是仅使用虚假关联，来着手进行模型调试。
  • 通过了解模型是基于敏感特征还是基于高度关联的特征做出预测，来发现潜在的不公平来源。
  • 通过生成局部解释来展示结果，来建立用户对模型决策的信任。
  • 完成 AI 系统的法规审核以验证模型，并监视模型决策对人类的影响。

如何解释模型

在机器学习中，“特征”是用于预测目标数据点的数据字段。 例如，若要预测信用风险，可以使用年龄、帐户大小和帐龄的数据字段。 此处的年龄、帐户大小和帐龄都是特征。 特征重要性告知每个数据字段如何影响模型的预测。 例如，尽管你可能在预测中大量使用年龄，但帐户大小和帐龄不会显著影响预测值。 数据科学家可以通过此过程解释生成的预测，使利益干系人能够洞察模型的最重要特征。

使用负责任 AI 仪表板中的类和方法以及使用 SDK v2 和 CLI v2，可以：

  • 通过为整个模型（全局解释）或单个数据点（局部解释）生成特征重要性值来解释模型预测。
  • 大规模实现对真实世界数据集的模型可解释性。
  • 使用交互式可视化仪表板在训练时发现数据及其解释中的模式。

支持的模型可解释性技术

负责任的 AI 仪表板使用 Interpret-Community 中开发的可解释性技术，这是一个开源 Python 包，用于训练可解释的模型，并帮助解释不透明盒 AI 系统。 对于不透明盒模型，我们还不能提供有关其内部工作原理的信息。

Interpret-Community 充当以下受支持解释器的宿主，目前支持后续部分中所述的可解释性技术。

在 Python SDK v2 和 CLI v2 的负责任 AI 仪表板中受支持

可解释性技术 说明 类型
模拟解释器（全局代理）+ SHAP 树 模拟解释器基于训练全局代理模型来模拟不透明盒模型的思路。 全局代理模型是本质上可解释的模型，经训练后可以尽量准确地给出任何不透明盒模型的预测近似值。

数据科学家可以解释代理模型，以得出有关不透明盒模型的结论。 负责任 AI 仪表板将 LightGBM (LGBMExplainableModel) 与 SHAP（Shapley 加法解释）树解释器搭配使用，后者是树和树系宗的特定解释器。 LightGBM 和 SHAP 树的组合为机器学习模型提供了与模型无关的全局和局部解释。		 与模型无关

文本模型支持的模型可解释性技术

可解释性技术 说明 类型 文本任务
SHAP 文本 SHAP (SHapley Additive exPlanations) 是深度神经网络的一种常用解释方法，可用于深入了解每个输入特征对给定预测的贡献。 它基于 Shapley 值的概念，这是一种在合作游戏中为各个玩家分配积分的方法。 SHAP 将此概念应用于神经网络的输入特征，具体方式是计算每个特征在所有可能的特征组合中对模型输出的平均贡献。 具体而言，对于文本，SHAP 以分层方式对单词进行拆分，将每个字词或标记视为一个特征。 这会生成一组归因值来量化每个字词或标记对于给定预测的重要性。 最终的归因图是根据原始文本文档将这些值可视化为热度地图来生成的。 SHAP 是一种与模型无关的方法，可用于解释各种深度学习模型，包括 CNN、RNN 和转换器。 此外，它还具有几个理想属性，如一致性、准确性和公平性，这使其成为了解模型决策过程的一种可靠且可解释的技术。 与模型无关 文本多类分类、文本多标签分类

图像模型支持的模型可解释性技术

可解释性技术 说明 类型 视觉任务
SHAP 视觉 SHAP (SHapley Additive exPlanations) 是深度神经网络的一种常用解释方法，可用于深入了解每个输入特征对给定预测的贡献。 它基于 Shapley 值的概念，这是一种在合作游戏中为各个玩家分配积分的方法。 SHAP 将此概念应用于神经网络的输入特征，具体方式是计算每个特征在所有可能的特征组合中对模型输出的平均贡献。 具体而言，对于视觉，SHAP 以分层方式对图像进行拆分，将图像的每个超像素区域视为一个特征。 这会生成一组归因值来量化每个超像素或图像区域对于给定预测的重要性。 最终的归因图是通过将这些值可视化为热度地图来生成的。 SHAP 是一种与模型无关的方法，可用于解释各种深度学习模型，包括 CNN、RNN 和转换器。 此外，它还具有几个理想属性，如一致性、准确性和公平性，这使其成为了解模型决策过程的一种可靠且可解释的技术。 与模型无关 图像多类分类、图像多标签分类
引导式反向传播 引导式反向传播是深度神经网络的一种常用解释方法，可用于深入了解模型的已学习表示形式。 它通过计算输出相对于输入图像的梯度，为激活了模型中特定神经元的输入特征生成可视化效果。 与其他基于梯度的方法不同，引导式反向传播只通过正梯度进行反向传播，并使用经过修改的 ReLU 激活函数来确保负梯度不会影响可视化效果。 这会生成一个更易于解释的高分辨率显著性地图，该图突出显示输入图像中对给定预测最重要的特征。 引导式反向传播可用于解释各种深度学习模型，包括卷积神经网络 (CNN)、递归神经网络 (RNN) 和转换器。 自动化 ML 图像多类分类、图像多标签分类
引导式 gradCAM 引导式 GradCAM 是深度神经网络的一种常用解释方法，可用于深入了解模型的已学习表示形式。 它将引导式反向传播的基于梯度的方法与 GradCAM 的定位方法相结合，生成对特定输出类贡献最大的输入特征的可视化效果。 具体而言，它计算输出类相对于网络中最后一个卷积层的特征地图的梯度，然后根据每个特征地图的激活对该类的重要性，对每个特征地图进行加权。 这将生成一个高分辨率热度地图，该图突出显示给定输出类的输入图像中差异性很大的区域。 引导式 GradCAM 可用于解释各种深度学习模型，包括 CNN、RNN 和转换器。 此外，通过结合使用引导式反向传播，它可确保可视化效果有意义且可解释，避免虚假激活和负面贡献。 自动化 ML 图像多类分类、图像多标签分类
集成梯度 集成梯度是深度神经网络的一种常用解释方法，可用于深入了解每个输入特征对给定预测的贡献。 它沿基线图像和实际输入图像之间的直线路径，计算输出类相对于输入图像的整体梯度。 此路径通常被选为两个图像之间的线性内插，基线是没有显著特征的中性图像。 通过沿此路径集成梯度，集成梯度可以衡量每个输入特征对预测的贡献，从而生成归因图。 此地图突出显示了最具影响力的输入特征，可用于深入了解模型的决策过程。 集成梯度可用于解释各种深度学习模型，包括 CNN、RNN 和转换器。 此外，它是一种有理论基础的技术，具有一组理想属性，如敏感度、实现不变性和完整性。 自动化 ML 图像多类分类、图像多标签分类
XRAI XRAI 是一种基于集成梯度 (IG) 的新型区域显著性方法。 它对图像进行过度细分并以迭代方式测试每个区域的重要性，根据归因分数将较小的区域合并成较大的段。 此策略生成高质量、紧密结合的显著性区域，这些区域的性能优于现有的显著性技术。 如果有办法通过某些相似性指标将输入特征聚类成段，XRAI 可与任何基于 DNN 的模型结合使用。 自动化 ML 图像多类分类、图像多标签分类
D-RISE D-RISE 是一种与模型无关的方法，用于为对象检测模型的预测创建直观解释。 通过考虑对象检测的定位和分类两个方面，D-RISE 可以生成显著性地图以突出显示图像中对检测器预测做出最大贡献的部分。 与基于梯度的方法不同，D-RISE 更通用，不需要访问对象检测器的内部工作，而只需访问模型的输入和输出。 该方法可应用于单阶段检测器（如 YOLOv3）、双阶段检测器（如 Faster-RCNN）和视觉转换器（如 DETR、OWL-ViT）。
D-Rise 通过创建输入图像的随机掩码来提供显著性地图，并将其与输入图像的随机掩码一起发送到对象检测器。 通过评估对象检测器分数的变化，它将每个掩码的所有检测汇总，并生成最终的显著性地图。		 与模型无关 对象检测

后续步骤