你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。
危害建模是一种做法，可帮助你预测危害的潜力，识别产品中的差距，使人们面临风险，并最终创建主动解决伤害的方法。
本指南适用于设计算法驱动系统的架构师，例如自定义编码的决策框架。 它还适用于外包决策流程，例如涉及 AI 或机器学习模型的过程。
作为技术构建者，你的工作具有全球影响。 若要设计可靠的算法驱动系统，需要创建反映以重要和永恒人类价值观为根的道德原则的解决方案。 在设计和开发过程中，你不仅必须评估用户的理想结果，还必须评估可能的负面结果，称为 危害。 这些伤害可能发生在任何不涉及人工监督的决策体系结构中。
小提示
有关特定于负责任的 AI 的指导，请参阅 负责任的 AI 原则和方法。
利益干系人注意事项
要建立可信的系统，承认和重视人权是一个根本方面，并考虑许多人的观点。 为了设计和构建更好的产品，你应该询问利益干系人是谁、他们的价值、他们如何从你的技术中获益，以及他们如何受到你的技术伤害。
你的技术客户是谁？
- 他们看重什么？
- 他们应该如何从你的技术中受益？
- 你的技术会如何伤害它们？
谁是非客户利益干系人？
- 他们看重什么？
- 他们应该如何从你的技术中受益？
- 你的技术会如何伤害它们？
请询问这些问题，更好地了解利益干系人的重要内容，以及这些方面如何影响他们与产品的关系。
危害类型
下表描述了技术用户可能会遇到的各种伤害。 它们包括各种危害，可能会影响不同方案中的人，但它并不详尽。 工作负荷可能会导致未列出的其他类型的危害。
受伤风险
身体伤害
考虑技术如何伤害人们或创造危险的环境。
| 损害 | 说明 | 注意事项 | 示例 |
|---|---|---|---|
| 对安全功能的过度依赖 | 依赖技术做出决策，没有充分的人监督。 | 人们如何依靠这项技术保护他们的安全？ 这项技术如何减少适当的人工监督？ |
医疗保健代理误诊疾病，导致不必要的治疗。 |
| 安全防护不足 | 实际测试不涵盖一组不同的用户和方案。 | 如果这项技术失败或被滥用，它如何影响人们？ 人类可以干预什么时候？ 是否有未测试的替代用途？ 系统故障如何影响用户？ |
自动门在紧急疏散期间不会检测到轮椅，因此，如果没有可访问的替代按钮，则有人被困。 |
| 接触运行不正常的代理 | 制造以及技术处置，损害了工人和附近居民的健康和福祉。 | 组件或设备的制造可能会产生哪些负面结果？ | 安全措施不足使工人在数字组件制造过程中暴露出毒素。 |
情感或心理伤害
滥用技术可能导致严重的情感和心理痛苦。
| 损害 | 说明 | 注意事项 | 示例 |
|---|---|---|---|
| 对自动化的过度依赖 | 误导的信念导致用户信任数字代理对人的可靠性。 | 这项技术如何减少直接的人际反馈？ 此技术如何与受信任的信息来源进行交互？ 对人工代理的依赖如何影响一个人？ |
一个人依靠聊天机器人来提供关系建议或心理健康咨询，而不是经过培训的专业人士。 |
| 现实歪曲或煤气灯效应 | 技术被故意滥用来破坏信任，扭曲某人的现实感。 | 这项技术是否可用于修改数字媒体或物理环境？ | IoT 设备允许从远处监视和控制前亲密合作伙伴。 |
| 降低自尊或声誉损害 | 有害、虚假、误导或贬低他人的共享内容。 | 这项技术如何不恰当地用于共享个人信息？ 如何操作它以滥用信息和谎报身份？ |
合成媒体内容中的“报复色情”通过换脸操作，制造出某人参与视频的假象。 |
| 成瘾或注意力劫持 | 设计用于长期互动的技术，而不考虑福祉。 | 除了提供用户价值之外，此技术如何奖励或鼓励持续交互？ | 视频游戏战利品箱多变的掉宝率会导致玩家继续玩游戏，忽视照顾自己。 |
| 身份盗窃 | 身份盗窃可能导致失去对个人凭据、信誉和表示形式的控制。 | 如何利用这项技术假冒个人身份？ 这项技术怎么会错误地将错误的个人识别为真实用户？ |
合成语音字体模仿人的声音，并用于访问银行账户。 |
| 错误归因 | 技术有时会将某人与他们并不负责的操作或内容关联起来。 | 这项技术怎样能将某个行为归因于个人或团体呢? 错误地将某项操作归因于某人会对该人产生哪些影响？ |
面部识别在警方调查期间误导了一个人。 |
拒绝重要服务
机会损失
自动化决策可以限制对资源、服务和机会的访问，这些资源、服务和机会对福祉至关重要。
| 损害 | 说明 | 注意事项 | 示例 |
|---|---|---|---|
| 就业歧视 | 有些人由于与能力无关的特征而被拒绝申请或获得工作机会。 | 这项技术如何影响与就业相关的建议或决策？ | 招聘 AI 会推荐较少具有女性姓名的候选人参加面试。 |
| 住房歧视 | 拒绝人们获得住房或申请住房的能力。 | 这项技术如何影响与住房相关的建议或决策？ | 公共住房排队算法会使具有外国名字的人需要更长时间才能获得住房补贴。 |
| 保险和福利歧视 | 由于标准偏向，拒绝人员保险、社会援助或获得医疗试验。 | 这项技术是否可以用于确定保险或社会福利的权限、成本或分配？ | 保险公司对上班夜班的司机收取更高的费率，因为算法预测表明酒后驾驶风险增加。 |
| 教育歧视 | 由于一个不变的特征，获得教育的机会被拒绝。 | 这项技术如何用于确定与教育相关的访问、成本、住宿或其他结果？ | 情感分类器错误地报告说，一个种族群体的学生比另一个种族群体少参与，导致成绩较低。 |
| 数字分歧或技术歧视 | 不成比例地获得技术的好处，使一些人不太知情或有能力参与社会。 | 若要充分利用这项技术，需要具备哪些先决条件技能、设备或连接性？ 在设备、连接性或其他产品功能方面，某些个人提前获得这项技术的使用权可能会产生哪些后果？ |
内容限制可防止农村学生访问课堂教学视频源。 |
| 失去选择/网络和筛选气泡 | 只向人们提供符合并强化其信念的信息。 | 这项技术如何影响用户可用的选择和信息？ 这项技术可能依赖哪些过去的行为或首选项来预测未来的行为或首选项？ |
新闻源仅提供确认现有信仰的信息。 |
经济损失
与金融工具、经济机会和资源相关的自动决策可以放大现有的社会不平等和阻碍福祉。
| 损害 | 说明 | 注意事项 | 示例 |
|---|---|---|---|
| 信用歧视 | 拒绝人们根据与经济优点无关的特征获得金融工具。 | 这项技术如何依靠现有的信用结构做出决策？ 这项技术如何影响个人或组获得或维持信用评分的能力？ |
较高的入门利率优惠只能发送给社会经济邮政编码较低的家庭。 |
| 产品和服务的差异定价 | 由于与生产或交付成本无关的原因，商品或服务以不同的价格提供。 | 这项技术如何用于确定商品或服务的定价？ 使用哪种标准来确定个人使用此技术的成本？ |
根据性别决定，产品以更高的价格提供。 |
| 经济剥削 | 人们被迫或被误导去从事一些影响他们尊严或福祉的工作。 | 人类劳动力如何影响这项技术训练数据的生成？ 这支员工是如何获得的？ 人工如何支持这项技术？ 这支劳动力预期来自何处？ |
经济困窘的人因为提供生物识别数据来训练人工智能系统而获得报酬。 |
| 个人专业知识贬值 | 技术取代了使用有偿人类专业知识或劳动力。 | 这项技术如何影响雇用现有员工的需求？ | AI 代理取代医生或放射学家来评估医学成像。 |
侵犯人权
尊严损失
技术可以影响人们如何看待世界，以及他们如何相互识别、参与和重视。 技术可以干扰人们之间的荣誉和尊重的交流。
| 损害 | 说明 | 注意事项 | 示例 |
|---|---|---|---|
| 非人化 | 消除、减少或掩盖人的人性。 | 这项技术如何用于简化或抽象某人的表示形式？ 这项技术如何减少人类和数字世界的区别？ |
无人机监视中的实体识别和虚拟覆盖降低了人们对人类行动的感知责任感。 |
| 公开羞辱 | 暴露人们的私有、敏感或不适合社交的材料。 | 数据聚合如何揭示个人的移动或作？ | 健身应用在社交媒体上显示用户的 GPS 位置，这表示出席酗酒者匿名会议。 |
自由损失
自动化的法律、司法和社会系统可以强化偏见，并导致有害后果。
| 损害 | 说明 | 注意事项 | 示例 |
|---|---|---|---|
| 预测性警务 | 根据历史记录推断可疑行为或犯罪意图。 | 这项技术如何支持或取代人类治安或刑事司法决策？ | 算法会预测多种区域逮捕，因此警方可确保他们匹配或超过该数量。 |
| 社交控制 | 通过公开将人类行为指定为积极或消极行为来强化或鼓励合规性。 | 哪种类型的个人或行为数据馈送这项技术？ 如何获取？ 从此数据会派生哪些输出？ 此技术是否可用于鼓励或阻止某些行为？ |
威权政府使用社交媒体和电子商务数据根据人们在何处购物以及他们与谁共度时间来确定“可信”分数。 |
| 失去有效的补救措施 | 无法解释理由或缺乏机会来质疑决定。 | 人们怎么能理解这项技术决策的原因？ 依赖这项技术的个人如何解释其决策？ 人们怎么能质疑这项技术做出的决定？ |
自动判刑或预审释放决定不向被告解释。 |
隐私丢失
技术生成的信息可用于确定事实，或对不知情的人做出假设。
| 损害 | 说明 | 注意事项 | 示例 |
|---|---|---|---|
| 干扰私人生活 | 透露一个人选择不共享的信息。 | 这项技术如何利用信息来推断个人私生活的某些部分？ 如何根据这些推理做出决策来公开一个人喜欢保密的信息？ |
任务跟踪功能监视个人模式，从中推断婚外情。 |
| 强制关联 | 要求参与使用技术或监督以参与社会。 | 为了参与社会活动或成为组织成员，人们可能需要如何利用这项技术？ | 录用函要求应聘者在公司会议室听录 AI 中进行生物识别注册。 |
| 无法自由和全面发展个性 | 限制一个人能够真实地表达自己或探索自我发展的外部途径。 | 这项技术如何将积极内涵与负面内涵归咎于特定个性特征？ 这项技术如何向政府或雇主等实体透露信息，并抑制自由表达？ |
智能会议系统记录同事之间的所有讨论，包括个人教练和指导会议。 |
| 永不忘记 | 永远不会删除数字文件或记录。 | 从此产品存储的数据是什么，存储在何处，谁可以访问？ 在技术交互后存储用户数据多长时间？ 如何更新或删除用户数据？ |
青少年的社交媒体历史记录在他们长大后很长一段时间都可被搜索到。 |
| 失去运动或集会自由 | 无法以所需的匿名方式导航物理或虚拟世界。 | 此技术可能以何种方式监视物理空间和虚拟空间中的人员？ | 需要实名才能注册实现真实跟踪的视频游戏。 |
环境影响
系统或产品生命周期中的每个决策都可能会影响环境，从所需的云计算量到零售包装。 环境变化可能会影响整个社区。
| 损害 | 说明 | 注意事项 | 示例 |
|---|---|---|---|
| 资源开发或耗尽 | 获取用于技术的原材料，包括技术的动力来源，对环境及其居民产生负面影响。 | 构建或运行这项技术需要哪些材料？ 构建或运行这项技术需要哪些能源要求？ |
当地社区之所以流离失所，是因为一项计算确定，在这个地点收获稀土矿物可能导致大量投资回报。 |
| 电子废物 | 因为无法修复、回收或以其他负责的方式处置电子产品，集体福祉质量降低。 | 这项技术如何通过回收材料或允许用户自我修复来减少电子废物？ 当新版本发布或当前或过去的版本停止工作时，这项技术对电子浪费有何影响？ |
一次性电子设备内的有毒材料浸入供水中，使当地居民生病。 |
| 碳排放量 | 运行低效的云解决方案会导致不必要的碳排放和电力浪费，从而损害气候。 | 你是否深入了解云工作负载和解决方案的优化情况？ 解决方案对气候有什么影响，它是否因部署工作负荷的区域而异？ |
云效率低效或设计不当的解决方案导致气候损失更大，导致不必要的碳排放和电力浪费。 |
社会和民主结构的侵蚀
操纵
技术创造高度个性化和纵性体验的能力可能会破坏知情的公民和对社会结构的信任。
| 损害 | 说明 | 注意事项 | 示例 |
|---|---|---|---|
| 错误信息 | 将假信息伪装成合法或可信的信息。 | 这项技术如何用于生成错误信息？ 它怎么能用于传播可信的错误信息？ |
政治领袖的合成演讲的生成动摇了选举。 |
| 行为利用 | 利用个人偏好或行为模式来引入所需的反应。 | 此技术如何用于观察行为模式？ 这项技术如何用于鼓励功能失调或不良行为？ |
在互联零售环境中监视购物习惯会导致对冲动购物者和囤积者进行个性化激励。 |
社会损害
在大规模上，技术对人们的影响塑造了社区内部的社会和经济结构。 它可能会进一步巩固某些元素，使其包括或有利于一些人，同时排斥其他人。
| 损害 | 说明 | 注意事项 | 示例 |
|---|---|---|---|
| 权力不平等的放大 | 延续现有阶级或特权差异。 | 这项技术在具有现有社会、经济或阶级差异的背景下如何使用？ 拥有更多权力或特权的人会如何不成比例地影响这项技术？ |
工作网站需要居住地址和电话号码进行注册，这可以防止无家可归者申请。 |
| 刻板印象强化 | 延续有关历史上或统计上没有代表性的人的不知情的“传统智慧”。 | 这项技术如何用于加强或放大现有的社会规范或文化陈规定型观念？ 这项技术使用的数据如何导致它反映偏见或陈规定型观念？ |
图像搜索“CEO”的结果主要显示高加索男子的照片。 |
| 失去个性 | 无法表达独特的视角。 | 此技术如何放大多数意见或“群体思维”？ 相反，这项技术如何抑制独特的表达形式？ 这项技术如何将其收集的数据用作对人员的反馈？ |
视频游戏头像的有限自定义选项会抑制玩家多样性的自我表达。 |
| 代表权丧失 | 通用化的广泛类别模糊、减少或擦除真实标识。 | 此技术如何限制标识选项？ 它是否可用于自动标记或分类人员？ |
自动照片标题给照片中的对象分配了不正确的性别身份和年龄。 |
| 技能降级和自满 | 过度依赖自动化会导致手动技能的萎缩。 | 这项技术将如何降低手动控件的可用性和操作能力？ | 飞行员无法衡量飞机的真实方向，因为它们经过训练，只能依靠仪器。 |
定义针对于你的工作负荷的具体危害
使用前面的类别、问题和示例生成有关工作负荷中如何发生伤害的具体想法。 调整并采用与方案相关的其他类别。
可以单独完成此作会损害建模活动，但理想情况下，应与利益干系人协作。 设计和实施这项技术时，需要开发人员、数据科学家、设计人员、用户研究人员、业务决策者和其他学科参与。
预期使用：如果[功能]被用于[用例]，[利益干系人]可能会遇到[危害描述]。
非预期使用：如果[用户]试图将[功能]用于[用例]，[利益干系人]可能会遇到[危害描述]。
系统错误： 如果 [功能] 在用于 [用例] 时未能正常工作，则 [利益干系人] 可能会遇到 [损害说明]。
滥用： [恶意行为者] 可能利用 [特性] 对 [相关方] 造成 [危害描述]。
使用透明度文档
某些服务提供 透明度文档。 透明度文档提供有关服务运行方式、其功能、限制和道德注意事项的见解。 可以查看这些文档以了解服务的内部工作，并帮助确保负责任的使用。
在 Azure 上构建解决方案时，请阅读服务提供的任何透明度文档。 考虑这些解决方案如何与工作负荷的危害建模保持一致。 考虑服务的功能和限制是否在特定用例中引入或缓解风险。
评估危害
生成广泛的潜在危害列表后，评估每个危害类别的潜在数量级。 此步骤确定重点领域优先级。 请考虑以下因素。
| 成因 | 定义 |
|---|---|
| 严重程度 | 这项技术对个人或群体的福祉有何影响？ |
| 规模 | 人口或群体所体验到的福祉影响有多广泛？ |
| 概率 | 这种技术如何影响个人或群体的福祉的可能性有多大？ |
| 频率 | 这项技术多久会影响个人或群体的福祉？ |
后续步骤
请参阅有关负责任的 AI 的相关文章：