モザイク AI は、生成 AI アプリケーション (Gen AI アプリ) を構築、評価、デプロイ、監視するためのプラットフォームです。 エンタープライズ レベルの Gen AI アプリの開発の課題に取り組む一連のツールをまとめます。 モザイク AI は、一般的なオープン ソース フレームワークと統合され、エンタープライズ レベルのガバナンス、可観測性、運用ツール (総称して LLMOps と呼ばれます) が追加されます。
モザイク AI コンポーネントの概要
Model Serving は 、次の場合に役立ちます。
- 統合インターフェイスを使用して Gen AI アプリケーションとモデルをデプロイしてクエリを実行する
- 配備の管理と監視
エージェントの評価 は、次の場合に役立ちます。
- 開発プロセスの中で高品質を目指して迅速に反復処理します。
- 運用環境で品質を監視および修正します。
- Gen AI アプリの品質に関する分野の専門家からの入力とフィードバックを収集します。
- 評価データセットを管理して品質を定義および測定します。
Agent Framework を使用すると、次のことが可能になります。
- 1 行のコードで運用対応のサービス エンドポイントに、Gen AI アプリ コードと構成 (MLflow モデルとしてログに記録) をデプロイします。
MLflow には、次の機能があります。
- Gen AI アプリを設定し、可観測性とテレメトリを実現します。
- Gen AI アプリのコードと構成をログに記録して、ライフサイクルを管理します。
- langchain、langgraph、crewAI、OpenAI SDK など、さまざまなフレームワークを使用してエージェントを作成します。
データ インテリジェンスを有効にする
Databricks データ インテリジェンス プラットフォーム では、データについて学習し、その分析情報を使用して支援を行い、強力なガバナンスとセキュリティを提供します。
- ベクター検索: 類似性またはハイブリッド検索のために、ナレッジ ベースのインデックスを大規模に自動的に作成します。
- Genie: 自然言語を使用して構造化データのクエリを実行します。
- サーバーレス SQL: 分析または変換のために、既存のデータ ソースを Gen AI アプリに統合します。
- オンライン テーブル: Gen AI アプリ内のリアルタイム機能にアクセスします。
モザイク AI で Gen AI アプリ開発を実現する方法
モザイク AI は、Gen AI アプリ開発の課題の一部を解決するのに役立ちます。
データと AI 全体のエンドツーエンドのガバナンス
Unity Catalog との緊密な統合により、データと AI ガバナンスの 1 つの信頼できるソースが提供されます。
- Unity カタログ関数: エージェント システムの SQL および Python ベースのツールのガバナンス。
- Unity カタログ モデル: エージェント システムのコードと構成のガバナンス。
- Unity カタログ接続: エージェント システムによって使用される内部 API と外部 API のガバナンス。
Databricks 上および外部でデプロイされたすべてのジェンAIアプリにおいて、統合されたテレメトリと可観測性:
- MLflow Tracing を使用すると、Gen AI アプリをインストルメント化して、監査と品質評価/監視のためにテレメトリと可観測データを収集できます。
- AI Gateway を使用すると、使用状況とログの要求、トレース、ユーザー フィードバックを追跡できます。
Lakeguard は、ツールが Unity カタログのガバナンスと ACL を尊重できるように 、セキュリティで保護されたコード実行環境 を提供します。
高い生産品質の成果物
質の定義を知らせる入力を集めるために主題の専門家(中小企業)と容易に共同作業する。
- Agent Evaluation には、対象分野の専門家が評価/トレーニング データにラベルを付け、Gen AI アプリの出力に関する フィードバックを提供 するための組み込みの UI が用意されています。
- UI の監視は、SME の相互作用を分析し、継続的な改善のために貴重なフィードバックを構造化された評価データに変換するのに役立ちます。
- アプリを Databricks や他の場所にデプロイする場合でも、モザイク AI の評価および監視機能を利用できます。
Databricks の内外にデプロイされた Gen AI アプリに対する、開発と運用における正確で迅速な品質測定。
-
エージェント評価の場合:
- 評価セット は、品質基準の定義と測定に使用されます。
- AI の判事は品質を 測定し、品質の問題の根本原因を特定します。
- LLM ジャッジを使用して運用環境のデプロイの品質を自動的に評価するためのエージェント監視。
- UI を監視して、運用環境で品質の問題を特定してデバッグします。
開発時間を短縮する迅速な開発ツール
-
エージェントの評価
- 合成評価セットの生成 では、中小企業を関与させる 前 に、Gen AI アプリの品質をテストおよび評価するための高品質の評価データが提供されます。
- 評価機能 を使用すると、LLM のジャッジと評価データセットを使用して品質をすばやく評価できます。
- エージェント フレームワーク: MLflow モデルとしてログに記録された Gen AI アプリのコードと構成を、1 行のコードを使用して提供されるモデルでホストされている運用対応のサービス API にデプロイします。
- AI プレイグラウンド: デプロイされた アプリと対話するためのサンドボックス UI。
Mosaic AI でのオープン ソースのサポート
Mosaic AI を使用すると、どのオープンソース フレームワークから始めても、エンタープライズ向けに Gen AI アプリをスケーリングできます。
モザイク AI は補完されますが 、次のような既存のオープン ソースの Gen AI ライブラリと SDK は置き換わりません。
- オープンAI
- LangChain
- LangGraph
- AutoGen
- LlamaIndex（ラマインデックス）
- CrewAI
- セマンティック カーネル
- DSPy
Gen AI アプリをゼロから構築する場合、Mosaic AI ではカスタム Python 専用ソリューションがサポートされ、フレームワークは不要です。