重要
此功能在 Beta 版中。
本页介绍如何使用代理砖头:知识助手基于文档创建问答聊天机器人,并根据主题专家的自然语言反馈提高其质量。
Agent Bricks 提供了一种简单的无代码方法来生成和优化特定于域的高质量 AI 代理系统,用于常见 AI 用例。
什么是Agent Bricks:知识助手?
使用代理砖块:知识助手创建聊天机器人,你可以通过聊天机器人在文档中提出问题,并使用引文接收高质量的回复。 知识助手使用高级 AI,遵循检索扩充生成(RAG)方法,根据你提供的域专业知识提供准确可靠的答案。
代理砖块:知识助理非常适合支持以下用例:
- 根据产品文档回答用户问题。
- 回答与人力资源策略相关的员工问题。
- 根据支持知识库回答客户查询。
借助知识助手,你可以改进聊天代理的质量,并根据主题专家的自然语言反馈调整其行为。 提供标签会话的问题,并将其发送给专家,以便在评审应用中进行评审。 他们的响应提供标记的数据,有助于优化代理的性能。
Agent Bricks:知识助手创建一个端到端的 RAG 代理端点,可以用于后续的应用程序。 例如,下图显示了如何在 AI Playground 中通过聊天来与端点进行交互。 与您的文档相关的问题,询问智能助手,智能助手将以引用回答。
要求
- 包含以下内容的无服务器支持的工作区:
- 已在工作区中启用 Unity Catalog。
- 在您的工作区内启用由合作伙伴支持的 AI 助理功能。
- 其中一个受支持区域中的工作区:
eastus
、eastus2
、westus
、centralus
或northcentralus
。 - 访问 马赛克 AI 模型服务。
- 通过
system.ai
架构访问 Unity 目录中的基础模型。 - 通过非零预算访问无服务器预算策略。
- 在使用之前,您必须准备好输入数据。 可以选择提供以下任一项:
- Unity 目录卷或卷目录中的文件。 支持的文件类型包括 txt、pdf、md、ppt/pptx 和 doc/docx。
- 矢量搜索索引。
创建知识助理代理
转到 工作区左侧导航窗格中的代理,然后单击“ 知识助手”。
步骤 1:配置代理
在“ 配置 ”选项卡上,配置代理并提供用于回答问题的知识源。
在“ 名称” 字段中,输入代理的名称。
在 “说明” 字段中,描述你的代理能做什么。
在 “架构 ”字段中,选择 Unity 目录和架构以保存评估数据集。
在 “知识源 ”面板中,添加知识源。 可以选择提供 Unity 目录文件或矢量搜索索引。
UC 文件
对于 UC 文件,支持以下文件类型:txt、pdf、md、ppt/pptx 和 doc/docx。 Databricks 建议使用小于 32 MB 的文件。
- 在 “类型”下,选择 “UC 文件”。
- 在 “源” 字段中,选择包含文件的 Unity Catalog 卷或卷目录。
- 在“ 名称” 字段中,输入知识源的名称。
- 在 “描述内容”下,描述知识源包含的内容,以帮助代理了解何时使用此数据源。
矢量搜索索引
- 在 “类型”下,选择 “矢量搜索索引”。
- 在 “源 ”字段中,选择要提供代理的矢量搜索索引。
- 在 文档 URI 列中,选择包含指向信息所在位置的链接或引用的列。 代理将在引文中使用它。
- 在 “文本列” 字段中,指定包含希望代理检索的原始文本的列。
- 在“ 名称” 字段中,输入知识源的名称。
- 在 “描述内容”下,描述知识源包含的内容,以帮助代理了解何时使用此数据源。
(可选)如果要添加更多知识源,请单击“ 添加知识源”。 最多可以提供 10 个知识源。
(可选)在 “说明” 字段中,指定代理响应方式的准则。
单击“ 创建代理”。
创建代理并同步你提供的知识源最多可能需要几个小时。 右侧面板将更新,并包含指向已部署代理、实验和同步知识源的链接。
步骤 2:测试代理
在代理完成生成后,可以通过在 AI Playground 中试用它来测试它。 代理应使用引文回答与其知识来源相关的问题。
在右侧面板中的已部署代理下,单击在 Playground 中试用。 这会打开与您的代理端点相连接的 AI Playground。 在这里,可以与代理聊天并查看其响应。
如果启用了 AI 辅助功能,则可以启用 AI 法官 和 合成问题生成 来帮助评估代理。
为你的代理输入一个问题。
评估其响应:
- 单击“ 查看想法 ”以查看代理如何回答问题。
- 单击 “源 ”下的框,查看代理引用的文件。 这会在侧面板中打开文件供你查看。
- AI 法官可以帮助快速评估对基础性、安全性和相关性的反应。
- 查看 建议的问题 来获取更多可以问代理的问题。
如果对代理的性能感到满意,请继续使用代理 as-is。
步骤 3:提高质量
代理砖块:知识助手可以根据自然语言反馈来调整代理的行为。 通过标记会话收集人工反馈,以提高代理的质量。 收集智能代理的标记数据可以提高其质量。 Agent Bricks将从新数据中重新训练和优化代理。
在“ 提高质量 ”选项卡中,添加问题并启动标记会话。
请在你的标签会话中添加要包括的问题:
- 单击“ + 添加” 以添加问题。
- 在 “添加问题 模式”中,输入问题。
- 单击 添加。 问题应显示在 UI 中。
- 重复操作,直到添加你想要评估的所有问题。
- 若要删除问题,请单击“烤肉串”菜单,然后单击 “删除”。
Databricks 建议为标记会话添加至少 20 个问题,以确保收集足够的标记数据。
添加问题后,请向专家发送问题以供评审,以帮助构建高质量的标记数据集。 在右侧,单击“ 开始标记会话”。
标记会话准备就绪后,UI 将更新,如下所示。
与专家共享评审应用以收集反馈。
若要了解有关标记会话和评审应用的详细信息,请参阅 使用评审应用对生成式 AI 应用(旧版)进行人工审核。
注释
为了让专家能够访问标记会话,您需要授予他们以下权限:
- 对终结点的 CAN QUERY 权限
- 实验的编辑权限
- USE CATALOG、USE SCHEMA和SELECT 对架构的权限
若要自行标记数据,请单击“ 打开标记会话”。
这会在新选项卡中打开审核应用程序。作为审核者:
单击“ 开始审阅”。 对于每个问题,审阅者将看到问题和代理的响应。
在左侧查看问题和答案。 可以单击“ 查看想法 ”以查看代理在思考问题的方式。
在右侧的 “期望”下,查看任何现有准则,并在你认为合适时添加更多指南。
- 若要添加准则,请单击“ + 添加输入”。
- 在显示的文本框中输入准则。
- 单击“ 保存”。
在 “反馈”下输入反馈,然后单击“ 保存”。
查看完问题后,单击右上角的下一个未查看>,转到下一个问题。
查看完所有问题后,只需退出评审应用即可。
审阅者完成标注会话后,请返回代理的“提升质量”选项卡。
单击“ 合并 ”,将专家的反馈合并到标记的数据集。 右侧的问题表将根据合并后的反馈进行更新。
查看反馈记录。
在 AI Playground 中再次测试代理,以查看其性能的改进。 如果需要,请启动另一个标记会话以收集更多标记的数据。
局限性
- Databricks 建议对源文档使用小于 32 MB 的文件。
- 不支持使用 Azure 专用链接的工作区,包括 PrivateLink 后面的存储。
- 不支持 Unity Catalog 表。