このページでは、Unity カタログ クライアントの Databricks Feature Engineering と Databricks Workspace Feature Store クライアントのリリースの一覧を示します。 どちらのクライアントも PyPI ( databricks-feature-engineering と databricks-feature-store) で利用できます。
ライブラリは次のような目的で使用されます。
- 特徴テーブルの作成、読み取り、書き込みを行う。
- 特徴量データでモデルをトレーニングします。
- 特徴テーブルをオンライン ストアに公開してリアルタイムで提供する。
使用ドキュメントについては、 機能エンジニアリングとサービスに関する記事を参照してください。 Python API のドキュメントについては、 フィーチャー エンジニアリングとワークスペース Feature Store Python API に関する記事を参照してください。
Unity カタログのフィーチャー エンジニアリング クライアントは、Unity カタログの機能と機能テーブルに対して機能します。 ワークスペース Feature Store クライアントは、ワークスペース Feature Store の特徴と特徴テーブルに対して機能します。 いずれのクライアントも Databricks Runtime for Machine Learning にプレインストールされています。 これらのクライアントは、PyPI (databricks-feature-engineering
) から pip install databricks-feature-engineering
をインストールした後、Databricks Runtime でも実行できます。 単体テストの場合にのみ、両方のクライアントはローカルまたは CI/CD 環境で使用できます。
Databricks Runtime および Databricks Runtime ML バージョンとのクライアント バージョンの互換性を示す表については、 フィーチャー エンジニアリングの互換性マトリックスを参照してください。 以前のバージョンの Databricks Workspace Feature Store クライアントは、 Databricks-feature-store として PyPI で使用できます。
databricks-feature-engineering 0.12.1
- 機能参照の既定値をサポートします。
- バグの修正と機能強化。
データブリックス-フィーチャーエンジニアリング 0.11.0
-
mlflow
バージョン 3.0 のサポートを追加します。 - バグの修正と機能強化。
databricks-feature-engineering 0.10.2
-
mlflow
バージョン 2.20.0 以降のサポートを追加します。 -
numpy
バージョン 2.x のサポートを追加します。 - バグの修正と機能強化。
databricks-feature-engineering 0.9.0
-
prebuilt_env
呼び出しでのscore_batch
の使用をサポートします。 - ポイントインタイム機能を Photon と結合するパフォーマンスの向上。
- バグの修正と機能強化。
databricks-feature-engineering 0.8.0
-
params
呼び出しでのscore_batch
の使用をサポートします。これにより、推論のために追加のパラメーターをモデルに渡すことができます。 - バグの修正と機能強化。
databricks-feature-engineering 0.7.0
- Unity カタログの特定のビューを、オフライン モデルのトレーニングと評価の機能テーブルとして使用できるようになりました。 Unity カタログのフィーチャー テーブルからの読み取りを参照してください。
- トレーニング セットは、機能参照または機能スペックを使用して作成できるようになりました。 Python SDK リファレンスを参照してください。
databricks-feature-engineering 0.6.0
- Tempo での既存のサポートに加えて、ネイティブ Spark でのポイントインタイム結合の実行がサポートされるようになりました。 アイデアを提案してくれた Semyon Sinchenko に感謝します。
-
StructType
が PySpark データ型としてサポートされるようになりました。StructType
はオンライン提供ではサポートされていません。 -
write_table
では、 液体クラスタリング が有効になっているテーブルへの書き込みがサポートされるようになりました。 -
timeseries_columns
のcreate_table
パラメーターの名前がtimeseries_column
に変更されました。 既存のワークフローでは、引き続きtimeseries_columns
パラメーターを使用できます。 -
score_batch
ではenv_manager
パラメーターがサポートされるようになりました。 詳細については、 MLflow のドキュメント を参照してください。
databricks-feature-engineering 0.5.0
-
update_feature_spec
の新しい APIdatabricks-feature-engineering
。これにより、ユーザーは Unity カタログの FeatureSpec の所有者を更新できます。
databricks-feature-engineering 0.4.0
- 小さなバグ修正と機能強化。
databricks-feature-engineering 0.3.0
-
log_model
では、新しい databricks-feature-lookup PyPI パッケージが使用されるようになりました。これには、オンライン モデルサービスのパフォーマンス向上が含まれています。
databricks-feature-store 0.17.0
-
databricks-feature-store
は非推奨とされます。 このパッケージ内のすべての既存モジュールは、databricks-feature-engineering
のバージョン 0.2.0 以上で使用できます。 詳細については、 Python API を参照してください。
databricks-feature-engineering 0.2.0
-
databricks-feature-engineering
にはdatabricks-feature-store
からのすべてのモジュールが含まれるようになりました。 詳細については、 Python API を参照してください。
databricks-feature-store 0.16.3
- 機能テーブルで AutoML を使用するときのタイムアウトバグを修正しました。
databricks-feature-engineering 0.1.3
- UpgradeClient の小さな機能強化。
databricks-feature-store 0.16.2
- これで Feature Serving および Function Serving エンドポイントを作成できるようになりました。 詳細については、「 機能と関数の提供」を参照してください。
databricks-feature-store 0.16.1
- 小さなバグ修正と機能強化。
databricks-feature-engineering 0.1.2 および databricks-feature-store 0.16.0
- 小さなバグ修正と機能強化。
- 特定のワークスペースのセットアップと共にログに記録される不適切なジョブ系列 URL を修正しました。
databricks-feature-engineering 0.1.1
- 小さなバグ修正と機能強化。
databricks-feature-engineering 0.1.0
- Unity Catalog Python クライアントから PyPI への特徴エンジニアリングの一般提供リリース
databricks-feature-store 0.15.1
- 小さなバグ修正と機能強化。
databricks-feature-store 0.15.0
- モデルをログに記録する際に、入力例を自動的に推論してログに記録することができるようになりました。 これを行うには、
infer_model_example
を呼び出すときにTrue
をlog_model
に設定します。 その例は、training_set
パラメータ内で指定されたトレーニング データに基づきます。
databricks-feature-store 0.14.2
- MariaDB Connector/J >=2.7.5 から Aurora MySQL に発行する際のバグを修正しました。
databricks-feature-store 0.14.1
- 小さなバグ修正と機能強化。
databricks-feature-store 0.14.0
0.14.0 以降では、 primary_keys
引数にタイムスタンプ キー列を指定する必要があります。 タイムスタンプ キーは、特徴テーブルの各行を一意に識別する "主キー" の一部です。 他の主キー列と同様に、タイムスタンプ キー列に NULL 値を含めることはできません。
次の例では、DataFrame user_features_df
には、 user_id
、 ts
、 purchases_30d
、 is_free_trial_active
の各列が含まれています。
0.14.0 以降
fs = FeatureStoreClient()
fs.create_table(
name="ads_team.user_features",
primary_keys=["user_id", "ts"],
timestamp_keys="ts",
features_df=user_features_df,
)
0.13.1 以前
fs = FeatureStoreClient()
fs.create_table(
name="ads_team.user_features",
primary_keys="user_id",
timestamp_keys="ts",
features_df=user_features_df,
)
databricks-feature-store 0.13.1
- 小さなバグ修正と機能強化。
databricks-feature-store 0.13.0
- 最低限必要な
mlflow-skinny
バージョンは、現在 2.4.0 です。 - 指定された DataFrame に必要なすべての参照キーが含まれていない場合、トレーニング セットの作成は失敗します。
- Unity カタログで機能テーブルを使用するモデルをログに記録すると、MLflow 署名がモデルと共に自動的にログに記録されます。
databricks-feature-store 0.12.0
-
drop_online_table
API を使用してオンライン ストアを削除できるようになりました。
databricks-feature-store 0.11.0
- Unity カタログ対応ワークスペースでは、ワークスペースと Unity カタログ機能テーブルの両方を Cosmos DB オンライン ストアに発行できるようになりました。 これには、Databricks Runtime 13.0 ML 以上が必要です。
databricks-feature-store 0.10.0
- 小さなバグ修正と機能強化。
databricks-feature-store 0.9.0
- 小さなバグ修正と機能強化。
databricks-feature-store 0.8.0
- 小さなバグ修正と機能強化。
databricks-feature-store 0.7.1
-
flask
でモデルをスコアリングする際に不足している依存関係の問題を修正するために、score_batch
を依存関係として追加します。
databricks-feature-store 0.7.0
- 小さなバグ修正と機能強化。
databricks-feature-store 0.6.1
- Databricks Feature Store クライアントの PyPI への初期公開リリース。