使用 Agent Bricks 的知识助手功能,基于您的文档创建高质量的聊天机器人。

重要

此功能在 Beta 版中。

本页介绍如何使用代理砖头:知识助手基于文档创建问答聊天机器人,并根据主题专家的自然语言反馈提高其质量。

Agent Bricks 提供了一种简单的无代码方法来生成和优化特定于域的高质量 AI 代理系统,用于常见 AI 用例。

什么是Agent Bricks:知识助手?

使用代理砖块:知识助手创建聊天机器人,你可以通过聊天机器人在文档中提出问题,并使用引文接收高质量的回复。 知识助手使用高级 AI,遵循检索扩充生成(RAG)方法,根据你提供的域专业知识提供准确可靠的答案。

代理砖块:知识助理非常适合支持以下用例:

  • 根据产品文档回答用户问题。
  • 回答与人力资源策略相关的员工问题。
  • 根据支持知识库回答客户查询。

借助知识助手,你可以改进聊天代理的质量,并根据主题专家的自然语言反馈调整其行为。 提供标签会话的问题,并将其发送给专家,以便在评审应用中进行评审。 他们的响应提供标记的数据,有助于优化代理的性能。

Agent Bricks:知识助手创建一个端到端的 RAG 代理端点,可以用于后续的应用程序。 例如,下图显示了如何在 AI Playground 中通过聊天来与端点进行交互。 与您的文档相关的问题,询问智能助手,智能助手将以引用回答。

Playground 中的知识助手终端。

要求

  • 包含以下内容的无服务器支持的工作区:
  • 在使用之前,您必须准备好输入数据。 可以选择提供以下任一项:
    • Unity 目录卷或卷目录中的文件。 支持的文件类型包括 txt、pdf、md、ppt/pptx 和 doc/docx。
    • 矢量搜索索引。

创建知识助理代理

转到 “代理”图标。 工作区左侧导航窗格中的代理,然后单击“ 知识助手”。

re[ABKA]

步骤 1:配置代理

在“ 配置 ”选项卡上,配置代理并提供用于回答问题的知识源。

配置知识助理。

  1. 在“ 名称” 字段中,输入代理的名称。

  2. “说明” 字段中,描述你的代理能做什么。

  3. “架构 ”字段中,选择 Unity 目录和架构以保存评估数据集。

  4. “知识源 ”面板中,添加知识源。 可以选择提供 Unity 目录文件或矢量搜索索引。

    UC 文件

    对于 UC 文件,支持以下文件类型:txt、pdf、md、ppt/pptx 和 doc/docx。 Databricks 建议使用小于 32 MB 的文件。

    添加 UC 文件。

    1. “类型”下,选择 “UC 文件”。
    2. “源” 字段中,选择包含文件的 Unity Catalog 卷或卷目录。
    3. 在“ 名称” 字段中,输入知识源的名称。
    4. “描述内容”下,描述知识源包含的内容,以帮助代理了解何时使用此数据源。

    矢量搜索索引

    添加矢量搜索索引。

    1. “类型”下,选择 “矢量搜索索引”。
    2. “源 ”字段中,选择要提供代理的矢量搜索索引。
    3. 文档 URI 列中,选择包含指向信息所在位置的链接或引用的列。 代理将在引文中使用它。
    4. “文本列” 字段中,指定包含希望代理检索的原始文本的列。
    5. 在“ 名称” 字段中,输入知识源的名称。
    6. “描述内容”下,描述知识源包含的内容,以帮助代理了解何时使用此数据源。
  5. (可选)如果要添加更多知识源,请单击“ 添加知识源”。 最多可以提供 10 个知识源。

  6. (可选)在 “说明” 字段中,指定代理响应方式的准则。

    添加说明。

  7. 单击“ 创建代理”。

创建代理并同步你提供的知识源最多可能需要几个小时。 右侧面板将更新,并包含指向已部署代理、实验和同步知识源的链接。

代理准备就绪时更新了右侧面板。

步骤 2:测试代理

在代理完成生成后,可以通过在 AI Playground 中试用它来测试它。 代理应使用引文回答与其知识来源相关的问题。

  1. 在右侧面板中的已部署代理下,单击在 Playground 中试用。 这会打开与您的代理端点相连接的 AI Playground。 在这里,可以与代理聊天并查看其响应。

    在 AI Playground 中试用代理。

  2. 如果启用了 AI 辅助功能,则可以启用 AI 法官合成问题生成 来帮助评估代理。

  3. 为你的代理输入一个问题。

  4. 评估其响应:

    在 AI Playground 中测试代理并评估其响应。

    1. 单击“ 查看想法 ”以查看代理如何回答问题。
    2. 单击 “源 ”下的框,查看代理引用的文件。 这会在侧面板中打开文件供你查看。
    3. AI 法官可以帮助快速评估对基础性、安全性和相关性的反应。
    4. 查看 建议的问题 来获取更多可以问代理的问题。

如果对代理的性能感到满意,请继续使用代理 as-is。

步骤 3:提高质量

代理砖块:知识助手可以根据自然语言反馈来调整代理的行为。 通过标记会话收集人工反馈,以提高代理的质量。 收集智能代理的标记数据可以提高其质量。 Agent Bricks将从新数据中重新训练和优化代理。

在“ 提高质量 ”选项卡中,添加问题并启动标记会话。

  1. 请在你的标签会话中添加要包括的问题:

    1. 单击“ + 添加” 以添加问题。
    2. “添加问题 模式”中,输入问题。
    3. 单击 添加。 问题应显示在 UI 中。
    4. 重复操作,直到添加你想要评估的所有问题。
    5. 若要删除问题,请单击“烤肉串”菜单,然后单击 “删除”。

    Databricks 建议为标记会话添加至少 20 个问题,以确保收集足够的标记数据。

    为标签会话添加问题。

  2. 添加问题后,请向专家发送问题以供评审,以帮助构建高质量的标记数据集。 在右侧,单击“ 开始标记会话”。

    标记会话准备就绪后,UI 将更新,如下所示。

    正在进行中的标记会话。

  3. 与专家共享评审应用以收集反馈。

    若要了解有关标记会话和评审应用的详细信息,请参阅 使用评审应用对生成式 AI 应用(旧版)进行人工审核

    注释

    为了让专家能够访问标记会话,您需要授予他们以下权限:

    • 对终结点的 CAN QUERY 权限
    • 实验的编辑权限
    • USE CATALOG、USE SCHEMA和SELECT 对架构的权限
  4. 若要自行标记数据,请单击“ 打开标记会话”。

    这会在新选项卡中打开审核应用程序。作为审核者:

    1. 单击“ 开始审阅”。 对于每个问题,审阅者将看到问题和代理的响应。

    2. 在左侧查看问题和答案。 可以单击“ 查看想法 ”以查看代理在思考问题的方式。

    3. 在右侧的 “期望”下,查看任何现有准则,并在你认为合适时添加更多指南。

      1. 若要添加准则,请单击“ + 添加输入”。
      2. 在显示的文本框中输入准则。
      3. 单击“ 保存”。
    4. “反馈”下输入反馈,然后单击“ 保存”。

    5. 查看完问题后,单击右上角的下一个未查看>,转到下一个问题。

    6. 查看完所有问题后,只需退出评审应用即可。

      在标记会话中查看问题和答案。

  5. 审阅者完成标注会话后,请返回代理的“提升质量”选项卡。

  6. 单击“ 合并 ”,将专家的反馈合并到标记的数据集。 右侧的问题表将根据合并后的反馈进行更新。

    标记会话的合并反馈。

  7. 查看反馈记录。

  8. 在 AI Playground 中再次测试代理,以查看其性能的改进。 如果需要,请启动另一个标记会话以收集更多标记的数据。

局限性

  • Databricks 建议对源文档使用小于 32 MB 的文件。
  • 不支持使用 Azure 专用链接的工作区,包括 PrivateLink 后面的存储。
  • 不支持 Unity Catalog 表。