Foundation Model Fine-tuning API を使用してトレーニング実行を作成する

この記事では、Foundation Model Fine-tuning (現在はモザイク AI モデル トレーニングの一部) API を使用してトレーニング実行を作成および構成する方法について説明し、API 呼び出しで使用されるすべてのパラメーターについて説明します。 UI を使用して実行を作成することもできます。 手順については、「 Foundation Model Fine-tuning UI を使用してトレーニング実行を作成するを参照してください。

要件

「 要件」を参照してください。

トレーニングの実行を作成する

プログラムでトレーニングの実行を作成するには、create() 関数を使用します。 この関数は、指定されたデータセットのモデルをトレーニングし、トレーニング済みのモデルを推論用に保存します。

必要な入力は、トレーニングするモデル、トレーニング データセットの場所、モデルを登録する場所です。 また、評価を実行し、実行のハイパーパラメーターを変更できる省略可能なパラメーターもあります。

実行が完了すると、完了した実行と最終チェックポイントが保存され、モデルがクローンされ、そのクローンが推論用のモデル バージョンとして Unity Catalog に登録されます。

Unity カタログで複製されたモデル バージョン ではなく 、完了した実行のモデルが MLflow に保存されます。 チェックポイントは、継続的な微調整タスクに使用できます。

関数の引数の詳細については、「create()」を参照してください。

from databricks.model_training import foundation_model as fm

run = fm.create(
  model='meta-llama/Llama-3.2-3B-Instruct',
  train_data_path='dbfs:/Volumes/main/mydirectory/ift/train.jsonl', # UC Volume with JSONL formatted data
  # Public HF dataset is also supported
  # train_data_path='mosaicml/dolly_hhrlhf/train'
  register_to='main.mydirectory', # UC catalog and schema to register the model to
)

トレーニングの実行を構成する

次の表は、 foundation_model.create() 関数のパラメーターをまとめたものです。

カスタム モデルの重みを基にする

注: 2025 年 3 月 26 日より前にモデルをトレーニングした場合、それらのモデル チェックポイントから継続的にトレーニングすることはできなくなります。 以前に完了したトレーニング実行は、問題なくプロビジョニングされたスループットで引き続き提供できます。

Foundation Model Fine-tuning では、モデルをトレーニングおよびカスタマイズするために、オプションのパラメーター custom_weights_path を使用してカスタムウェイトを追加できます。

開始するには、前の微調整 API トレーニング実行のチェックポイント パスに custom_weights_path を設定します。 チェックポイント パスは、前の MLflow 実行の Artifacts タブにあります。 チェックポイント フォルダー名は、 ep29-ba30/など、特定のスナップショットのバッチとエポックに対応します。

• 前の実行の最新のチェックポイントを提供するには、微調整 API によって生成されたチェックポイントに custom_weights_path を設定します。 たとえば、custom_weights_path=dbfs:/databricks/mlflow-tracking/<experiment_id>/<run_id>/artifacts/<run_name>/checkpoints/latest-sharded-rank0.symlink のようにします。
• 以前のチェックポイントを指定するには、custom_weights_pathを、.distcpなどの目的のチェックポイントに対応するcustom_weights_path=dbfs:/databricks/mlflow-tracking/<experiment_id>/<run_id>/artifacts/<run_name>/checkpoints/ep#-ba# ファイルを含むフォルダーへのパスに設定します。

次に、modelに渡したチェックポイントの基本モデルと一致するように、custom_weights_path パラメーターを更新します。

次の例では、 ift-meta-llama-3-1-70b-instruct-ohugkq は、 meta-llama/Meta-Llama-3.1-70Bを微調整する前の実行です。 ift-meta-llama-3-1-70b-instruct-ohugkqから最新のチェックポイントを微調整するには、次のようにmodel変数とcustom_weights_path変数を設定します。

from databricks.model_training import foundation_model as fm

run = fm.create(
model = 'meta-llama/Meta-Llama-3.1-70B'
custom_weights_path = 'dbfs:/databricks/mlflow-tracking/2948323364469837/d4cd1fcac71b4fb4ae42878cb81d8def/artifacts/ift-meta-llama-3-1-70b-instruct-ohugkq/checkpoints/latest-sharded-rank0.symlink'
... ## other parameters for your fine-tuning run

)

微調整 実行で他のパラメーターを構成する方法については トレーニング実行の構成に関するページを参照してください。

クラスター ID を取得する

クラスター ID を取得するには:

1. Databricks ワークスペースの左側のナビゲーション バーで、[コンピューティング] をクリックします。

2. テーブルで、クラスターの名前をクリックします。

3. 右上隅にある [] をクリックし、ドロップダウン メニューから [JSON の表示] を選択します。

4. クラスター JSON ファイルが表示されます。 ファイルの最初の行であるクラスター ID をコピーします。

   

実行の状態を取得する

実行の進行状況は、Databricks UI の実験ページまたは API コマンド get_events() を使用して追跡できます。 詳細については、「 Foundation Model の微調整実行の表示、管理、分析を参照してください。

get_events() からの出力例:

実験ページのサンプルの実行の詳細:

次のステップ

トレーニングの実行が完了した後、MLflow でメトリックを確認し、推論のためにモデルをデプロイできます。 「 Tutorial: Foundation Model Fine-tuning run を作成してデプロイする」の手順 5 から 7 を参照。

データの準備、トレーニング実行の構成のファインチューニング、デプロイの手順を示す手順ファインチューニングの例については、「手順ファインチューニング: 固有表現認識」デモ ノートブックを参照してください。

ノートブックの例

次のノートブックは、Meta Llama 3.1 405B Instruct モデルを使用して合成データを生成し、そのデータを使用してモデルをファインチューニングする方法の例を示しています。

Llama 3.1 405B Instruct ノートブックを使用して合成データを生成する

ノートブックを入手

その他のリソース

• 基盤モデルの微調整
• チュートリアル: Foundation Model の微調整実行を作成してデプロイする
• Foundation Model の微調整 UI を使用してトレーニング実行を作成する
• Foundation Model の微調整実行の表示、管理、分析
• Foundation Model の微調整用にデータを準備する