Agent Bricks: Knowledge Assistant を使用して、ドキュメント上に高品質のチャットボットを作成する

このページでは、Agent Bricks: Knowledge Assistant を使用して、ドキュメントに対する質問と回答のチャットボットを作成し、主題の専門家からの自然言語フィードバックに基づいて品質を向上させる方法について説明します。

Agent Bricks は、一般的な AI ユース ケース用にドメイン固有の高品質の AI エージェント システムを構築および最適化するための、シンプルなコードなしのアプローチを提供します。

エージェント ブリック: ナレッジ アシスタントとは

Agent Bricks: Knowledge Assistant を使用してチャットボットを作成し、ドキュメントに関する質問をしたり、引用文献で高品質の回答を受け取ることができます。 Knowledge Assistant は高度な AI を使用し、取得拡張生成 (RAG) アプローチに従って、提供するドメインに特化した知識に基づいて正確で信頼性の高い回答を提供します。

エージェント ブリック: ナレッジ アシスタントは、次のユース ケースをサポートするのに最適です。

• 製品ドキュメントに基づいてユーザーの質問に回答します。
• 人事ポリシーに関連する従業員の質問に回答します。
• サポート ナレッジ ベースに基づいて顧客の問い合わせに回答します。

ナレッジ アシスタントを使用すると、チャット エージェントの品質を向上させ、対象分野の専門家からの自然言語フィードバックに基づいて動作を調整できます。 ラベル付けセッションに関する質問を提供し、レビュー アプリでレビューするために専門家に送信します。 応答は、エージェントのパフォーマンスを最適化するのに役立つラベル付きデータを提供します。

Agent Bricks: Knowledge Assistant は、アプリケーションにダウンストリームで使用できるエンド ツー エンドの RAG エージェント エンドポイントを作成します。 たとえば、次の図は、AI Playground でエンドポイントとチャットすることでエンドポイントと対話する方法を示しています。 ドキュメントに関連するエージェントの質問をすると、エージェントは引用文献で回答します。

要求事項

• 以下を含むサーバーレスでサポートされているワークスペース:
  • ワークスペースで有効になっている Unity カタログ。
  • ワークスペースで有効になっているパートナーを利用した AI 支援機能 。
  • サポートされているいずれかのリージョン ( eastus、 eastus2、 westus、 centralus、または northcentralus) のワークスペース。
  • モザイク AI モデル サービスへのアクセス。
  • system.ai スキーマを使用して Unity カタログの基礎モデルにアクセスします。
  • 0 以外の予算を持つ サーバーレス予算ポリシー へのアクセス。
• 入力データを使用する準備ができている必要があります。 次のいずれかを指定できます。
  • Unity Catalog ボリュームまたはボリューム ディレクトリ内のファイル。 サポートされているファイルの種類は、txt、pdf、md、ppt/pptx、doc/docx です。
  • ベクトル検索インデックス。

ナレッジ アシスタント エージェントを作成する

ワークスペースの左側のナビゲーション ウィンドウにあるエージェントをクリックし、[ナレッジ アシスタント] をクリックします。

手順 1: エージェントを構成する

[ 構成 ] タブで、エージェントを構成し、質問に回答するために使用するナレッジ ソースを提供します。

1. [ 名前 ] フィールドに、エージェントの名前を入力します。

2. [ 説明 ] フィールドで、エージェントでできることについて説明します。

3. [ スキーマ ] フィールドで、Unity カタログカタログとスキーマを選択して評価データセットを保存します。

4. [ ナレッジ ソース ] パネルで、ナレッジ ソースを追加します。 Unity カタログ ファイルまたはベクター検索インデックスのいずれかを指定できます。

   UC ファイル

   UC ファイルでは、txt、pdf、md、ppt/pptx、doc/docx のファイルの種類がサポートされています。 Databricks では、32 MB 未満のファイルを使用することをお勧めします。

   

   1. [種類で]、[UC ファイル] を選択します。
   2. [ ソース ] フィールドで、ファイルを含む Unity カタログ ボリュームまたはボリューム ディレクトリを選択します。
   3. [ 名前 ] フィールドに、ナレッジ ソースの名前を入力します。
   4. [ コンテンツの説明] で、エージェントがこのデータ ソースを使用するタイミングを理解するのに役立つナレッジ ソースに含まれるコンテンツについて説明します。

   ベクター検索インデックス

   

   1. [ 種類] で、[ Vector Search Index]\(ベクトル検索インデックス\) を選択します。
   2. [ ソース ] フィールドで、エージェントを指定するベクター検索インデックスを選択します。
   3. [ ドキュメント URI 列] で、情報の取得元へのリンクまたは参照を含む列を選択します。 エージェントは引用文献でこれを使用します。
   4. [ テキスト列] フィールドで、エージェントが取得する生テキストを含む列を指定します。
   5. [ 名前 ] フィールドに、ナレッジ ソースの名前を入力します。
   6. [ コンテンツの説明] で、エージェントがこのデータ ソースを使用するタイミングを理解するのに役立つナレッジ ソースに含まれるコンテンツについて説明します。

5. (省略可能)ナレッジ ソースをさらに追加する場合は、[ナレッジ ソースの 追加] をクリックします。 最大 10 個のナレッジ ソースを提供できます。

6. (省略可能)[ 指示 ] フィールドで、エージェントの応答方法のガイドラインを指定します。

   

7. [ エージェントの作成] をクリックします。

エージェントを作成し、指定したナレッジ ソースを同期するには、最大で数時間かかることがあります。 右側のパネルは、デプロイされたエージェント、実験、および同期されたナレッジ ソースへのリンクで更新されます。

手順 2: エージェントをテストする

エージェントの構築が完了したら、AI Playgroundでテストして試すことができます。 エージェントは、ナレッジ ソースに関連する質問の引用で応答する必要があります。

1. 右側のパネルの [ デプロイされたエージェント ] で、[ プレイグラウンドで試す] をクリックします。 これにより、エージェント エンドポイントが接続された状態で AI Playground が開きます。 ここでは、エージェントとチャットし、その応答を確認できます。

   

2. AI 支援機能が有効になっている場合は、 AI ジャッジ と 合成の質問生成 を有効にして、エージェントの評価に役立ちます。

3. エージェントの質問を入力します。

4. その応答を評価します。

   

   1. [ View thoughts]\(考えの表示 \) をクリックして、質問に対してエージェントがどのように対応したかを確認します。
   2. ソースの下のボックスをクリックして、エージェントが引用しているファイルを確認します。 これにより、サイド パネルにファイルが開き、確認できます。
   3. AI ジャッジは、根拠、安全性、関連性に対する対応を迅速に評価するのに役立ちます。
   4. エージェント に質問 するその他の質問については、推奨される質問を確認してください。

エージェントのパフォーマンスに問題がなければ、エージェント as-isを引き続き使用してください。

手順 3: 品質を向上させる

エージェント ブリック: ナレッジ アシスタントは、自然言語フィードバックに基づいてエージェントの動作を調整できます。 ラベル付けセッションを通じて人間のフィードバックを収集して、エージェントの品質を向上させます。 エージェントのラベル付きデータを収集すると、品質が向上します。 エージェント ブリックは、新しいデータからエージェントの再トレーニングと最適化を行います。

[ 品質の向上 ] タブで、質問を追加し、ラベル付けセッションを開始します。

1. ラベル付けセッションに含める質問を追加します。

   1. [ + 追加] をクリックして質問を追加します。
   2. [ 質問の追加 ] モーダルで、質問を入力します。
   3. 追加をクリックします。 質問は UI に表示されます。
   4. 評価するすべての質問を追加するまで繰り返します。
   5. 質問を削除するには、kebab メニューをクリックし、[ 削除] をクリックします。

   Databricks では、ラベル付けされたデータが十分に収集されるように、ラベル付けセッションに少なくとも 20 個の質問を追加することをお勧めします。

   

2. 質問の追加が完了したら、質問を専門家に送信してレビューを行い、高品質のラベル付きデータセットを構築するのに役立ちます。 右側の [ ラベル付けセッションの開始] をクリックします。

   ラベル付けセッションの準備ができたら、UI は次のように更新されます。

   

3. レビュー アプリを専門家と共有して、フィードバックを収集します。

   セッションのラベル付けとレビュー アプリの詳細については、「 Gen AI アプリ (MLflow 2) の人間によるレビューにレビュー アプリを使用する」を参照してください。

   注

   エキスパートがラベル付けセッションにアクセスするには、次のアクセス許可を付与する必要があります。

   • エンドポイントに対する CAN QUERY アクセス許可
   • 実験に対する EDIT アクセス許可
   • USE CATALOG、 USE SCHEMA、およびスキーマに対する SELECT アクセス許可

4. データに自分でラベルを付ける場合は、[ ラベル付けセッションを開く] をクリックします。

   これにより、レビュー アプリが新しいタブで開きます。校閲者として:

   1. [ レビューの開始] をクリックします。 質問ごとに、レビュー担当者に質問とエージェントの応答が表示されます。

   2. 左側で、質問と回答を確認します。 [ View thoughts]\(思考の表示 \) をクリックすると、エージェントが質問についてどのように考えているかを確認できます。

   3. 右側の [ 期待値] で、既存のガイドラインを確認し、必要に応じてさらに追加します。

      1. ガイドラインを追加するには、[ + 入力の追加] をクリックします。
      2. 表示されるテキスト ボックスにガイドラインを入力します。
      3. [保存] をクリックします。

   4. [ フィードバック] でフィードバックを入力し、[ 保存] をクリックします。

   5. 質問の確認が完了したら、右上にある [ 次の未確認の > ] をクリックして、次の質問に進みます。

   6. すべての質問の確認が完了したら、レビュー アプリを終了するだけです。

      

5. レビュー担当者がラベル付けセッションを完了したら、エージェントの [ 品質の向上 ] タブに戻ります。

6. [ マージ ] をクリックして、エキスパートからのフィードバックをラベル付けされたデータセットにマージします。 右側の質問の表は、マージされたフィードバックで更新されます。

   

7. フィードバック レコードを確認します。

8. AI Playground でエージェントをもう一度テストして、パフォーマンスの向上を確認します。 必要に応じて、別のラベル付けセッションを開始して、ラベル付けされたデータをさらに収集します。

制限事項

• Databricks では、ソース ドキュメントに 32 MB 未満のファイルを使用することをお勧めします。
• PrivateLink の背後にあるストレージを含め、 Azure Private Link を使用するワークスペースはサポートされていません。
• Unity カタログ テーブルはサポートされていません。