モザイク AI モデル サービスでサポートされている基礎モデル

この記事では、Mosaic AI Model Servingを使用して提供できる基本モデルについて説明します。

基盤モデルは、大規模なデータと広範なデータの両方でトレーニングされる、事前トレーニング済みの大規模なニューラル ネットワークです。 これらのモデルは、言語、画像、またはその他のデータ型の一般的なパターンを学習するように設計されており、追加のトレーニングを使用して特定のタスクに合わせて微調整できます。 特定の基盤モデルの使用には、モデル開発者のライセンスと許容される使用ポリシーが適用されます。 該当するモデル開発者のライセンスと用語を参照してください。

Model Serving には、ニーズに基づいて基盤モデルをホストおよびクエリするための柔軟なオプションが用意されています。

• AI Functions 最適化モデル: Databricks でホストされるモデルのサブセットは、AI Functions 用に最適化されています。 これらの関数とサポートされているモデルを使用して、データに AI を適用し、バッチ推論運用ワークロードを大規模に実行できます。
• トークンごとの支払い: 実験や迅速な探索に最適です。 このオプションを使用すると、事前インフラストラクチャ コミットメントなしで Databricks ワークスペース内の事前構成済みエンドポイントに対してクエリを実行できます。
• プロビジョンドスループット: パフォーマンス保証が必要な運用環境での使用が推奨されます。 このオプションを使用すると、最適化されたサービス エンドポイントを使用して微調整された基盤モデルをデプロイできます。
• 外部モデル: このオプションを使用すると、OpenAI や Anthropic によって提供されるものなど、Databricks の外部でホストされている基盤モデルにアクセスできます。 これらのモデルは、合理化されたガバナンスのために Databricks 内で一元的に管理できます。

Databricks でホストされている基礎モデル

Databricks は、Meta Llama のような最先端のオープン基盤モデルをホストします。 これらのモデルは、 Foundation Model API を使用して使用できます。

次の表は、モデル サービス機能に基づいて、各リージョンでサポートされている Databricks でホストされるモデルとモデル ファミリをまとめたものです。

* このモデルは GPU の可用性に基づいてサポートされており、 クロス geography ルーティングを有効にする必要があります。

Databricks の外部でホストされている Access 基盤モデル

OpenAI や Anthropic などの LLM プロバイダーによって作成された基礎モデルは、外部モデルを使用して Databricks でもアクセスできます。 これらのモデルは Databricks の外部でホストされており、クエリを実行するエンドポイントを作成できます。 これらのエンドポイントは、Azure Databricks から一元的に管理できます。これにより、組織内のさまざまな LLM プロバイダーの使用と管理が合理化されます。

次の表に、サポートされているモデルと、対応する エンドポイントの種類の一覧を示します。 一覧表示されているモデルの関連付けを利用することで、特定のプロバイダーで新しく利用可能になるモデルタイプのエンドポイントを構成するのに役立ちます。 お客様は、該当するモデル ライセンスへのコンプライアンスを遵守する責任を負います。

** モデル プロバイダーでは、微調整された完了モデルとチャット モデルがサポートされます。 微調整されたモデルのクエリを実行するには、name 構成の external model フィールドに、微調整されたモデルの名前を設定します。

† モデル プロバイダーでは、カスタム補完モデルがサポートされています。

エンドポイントを提供する基盤モデルを作成する

AI アプリケーションで基礎モデルのクエリを実行して使用するには、まず、エンドポイントを提供するモデルを作成する必要があります。 Model Serving では、統合 API と UI を使用して、エンドポイントを提供する基盤モデルを作成および更新します。

• Foundation Model API のプロビジョニング済みスループットを使用して使用可能になった基盤モデルの微調整されたバリエーションを提供するエンドポイントを作成するには、「REST APIを使用してプロビジョニング済みスループット エンドポイントを作成する」を参照してください。
• 外部モデル オファリングを使用して利用できる基盤モデルにアクセスするサービス エンドポイントの作成については、「エンドポイントを提供する外部モデルを作成する」を参照してください。

エンドポイントを提供するクエリ基盤モデル

サービス エンドポイントを作成したら、基盤モデルに対してクエリを実行できます。 Model Serving では、統合された OpenAI と互換性のある API と SDK を使用して、基盤モデルのクエリを実行します。 この統合されたエクスペリエンスにより、サポートされているクラウドとプロバイダー全体で運用用の基盤モデルを試してカスタマイズする方法が簡略化されます。

基礎モデルの使用を参照してください。