この記事では、Azure Databricks 上で使用できる複数のサーバーレス オファリングについて説明します。 サーバーレス コンピューティングを使用すると、オンデマンド コンピューティング リソースにすばやく接続できます。
このセクションの記事では、ノートブック、ジョブ、および Lakeflow 宣言パイプラインのサーバーレス コンピューティングについて説明します。 サーバーレス SQL ウェアハウスの詳細については、「サーバーレス SQL ウェアハウスとは」を参照してください。 モデル サービスの詳細については、「モザイク AI モデル サービスを使用してモデルをデプロイする」を参照してください。
サーバーレス コンピューティング プレーン アーキテクチャの詳細については、「サーバーレス コンピューティング プレーン」を参照してください。
サーバーレス コンピューティングとは
サーバーレス コンピューティングを使用すると、クラスターをプロビジョニングせずにワークロードを実行できます。 代わりに、Databricks は必要なコンピューティング リソースを自動的に割り当てて管理します。 これにより、クラスター管理やリソース使用率を気にすることなく、コードの記述とデータの分析に集中できます。
サーバーレス コンピューティングには、次の利点があります。
- クラウド リソースは Azure Databricks によって管理され、管理オーバーヘッドを削減し、ユーザーの生産性を向上させるための即時コンピューティングを提供します。
- サーバーレス コンピューティング リソースの迅速な起動とスケーリング時間により、アイドル時間を最小限に抑え、使用するコンピューティングに対してのみ料金を支払うことができます。
- 容量の処理、セキュリティ、修正プログラムの適用、アップグレードは自動的に管理されるため、信頼性、セキュリティ ポリシー、容量不足について心配する必要が少なくなります。
Azure Databricks で使用できるサーバーレス コンピューティングの種類は何ですか?
現在、Azure Databricks は次の種類のサーバーレス コンピューティングを提供しています。
- ノートブック用のサーバーレス コンピューティング: ノートブックで SQL および Python コードを実行するために使用されるオンデマンドでスケーラブルなコンピューティング。
- ジョブのサーバーレス コンピューティング: インフラストラクチャを構成してデプロイすることなく、Lakeflow ジョブを実行するために使用されるオンデマンドのスケーラブルなコンピューティング。
- サーバーレス SQL ウェアハウス: SQL エディターまたは対話型ノートブックでデータ オブジェクトに対して SQL コマンドを実行するために使われるオンデマンドのエラスティック コンピューティング。 SQL ウェアハウスは UI、CLI、または REST API を使って作成できます。
- サーバーレス Lakeflow 宣言型パイプライン: Lakeflow 宣言パイプラインの更新用に最適化されたスケーラブルなコンピューティング。
- Mosaic AI Model Serving: AI モデルをデプロイするための高可用性かつ短い待機時間のサービス。
- Mosaic AI モデルのトレーニング - 予測: AutoML を使用して、ユーザー提供のデータセットに基づいて最適な予測アルゴリズムとハイパーパラメーターを選択します。
サーバーレス コンピューティングを有効にする
ノートブック、ジョブ、および Lakeflow 宣言パイプラインのサーバーレス コンピューティングにアクセスするには、アカウント管理者が機能を有効にする必要がある場合があります。 「サーバーレス コンピューティングを有効にする」をご覧ください。
サーバーレス SQL ウェアハウスにアクセスするには、「 サーバーレス SQL ウェアハウスを使用する」を参照してください。
サーバーレス コンピューティングの制限事項
制限事項の一覧については、「サーバーレス コンピューティングの制限事項」を参照してください。
よく寄せられる質問 (FAQ)
- リリースのロール アウト方法
- 実行中のサーバーレス ージョンの確認方法
- サーバーレスのコストを見積もる方法
- 特定のワークロードに対する DBU の使用状況を分析する方法
- ジョブまたはクエリを実行してから、課金対象の使用状況システム テーブルに対する料金の表示までの間に遅延はありますか。
- ジョブとノートブックに対してサーバーレス コンピューティングを有効にしていないのに、サーバーレス ジョブの課金レコードが表示される理由
- サーバーレス コンピューティングはプライベート リポジトリをサポートしていますか?
- ジョブ タスクのライブラリをインストールする方法
- カスタム データ ソースに接続できますか?
- サーバーレス コンピューティング プレーン ネットワークのしくみ
- Databricks アセット バンドルを使用してジョブのサーバーレス コンピューティングを構成できますか?
- ローカル開発マシンまたはデータ アプリケーションからサーバーレス ワークロードを実行するにはどうすればよいですか?
リリースのロール アウト方法
サーバーレス コンピューティングは、バージョンレス製品です。つまり、Databricks は、プラットフォームの機能強化とアップグレードをサポートするために、サーバーレス コンピューティング ランタイムを自動的にアップグレードします。 すべてのユーザーが同じ更新プログラムを取得し、短期間でロール アウトされます。
実行中のサーバーレス ージョンの確認方法
サーバーレス ワークロードは常に最新のランタイム バージョンで実行されます。 最新バージョンのリリース ノートを参照してください。
サーバーレスのコストを見積もる方法
Databricks では、代表的なワークロードまたは特定のワークロードを実行してベンチマークを行ってから、課金システム テーブルを分析することをお勧めします。 「課金対象の使用状況システム テーブル リファレンス」を参照してください。
特定のワークロードに対する DBU の使用状況を分析する方法
特定のワークロードのコストを確認するには、system.billing.usage システム テーブルに対してクエリを実行します。 サンプル クエリと、コスト監視ダッシュボードのダウンロード方法については、「サーバーレス コンピュートのコストを監視する」を参照してください。
ジョブまたはクエリを実行してから、課金対象の使用状況システム テーブルに対する料金の表示までの間に遅延はありますか?
はい。ワークロードを実行してから、その使用状況が課金対象の使用状況システム テーブルに反映されるまでに最大 24 時間の遅延が発生する可能性があります。
ジョブとノートブックに対してサーバーレス コンピューティングを有効にしていないのに、サーバーレス ジョブの課金レコードが表示される理由
レイクハウス監視と予測最適化は、サーバーレス ジョブ SKU でも課金されます。
これら 2 つの機能を使用するのに、サーバーレス コンピューティングを有効にする必要はありません。
サーバーレス コンピューティングはプライベート リポジトリをサポートしていますか?
リポジトリはプライベートにすることも、認証を必要とすることもできます。 セキュリティ上の理由から、認証済みリポジトリにアクセスするときは、事前に署名された URL が必要です。
ジョブ タスクのライブラリをインストールする方法
Databricks では、環境を使用してジョブのライブラリをインストールおよび管理することをお勧めします。 ノートブック以外のジョブ タスクの環境の構成を参照してください。
カスタム データ ソースに接続できますか?
いいえ。サポートされるのは、Lakehouse フェデレーションを使用するソースのみです。 「サポートされているデータ ソース」を参照してください。
サーバーレス コンピューティング プレーン ネットワークのしくみ
サーバーレス コンピューティング リソースは、Azure Databricks によって管理されるサーバーレス コンピューティング プレーンで実行されます。 ネットワークとアーキテクチャの詳細については、「サーバーレス コンピューティング プレーン ネットワーク」を参照してください。
Databricks アセット バンドルを使用してジョブのサーバーレス コンピューティングを構成できますか?
はい。Databricks アセット バンドルを使用して、サーバーレス コンピューティングを使用するジョブを構成できます。 サーバーレス コンピューティングを使用するジョブを参照してください。
ローカル開発マシンまたはデータ アプリケーションからサーバーレス ワークロードを実行するにはどうすればよいですか?
Databricks Connect を使用すると、ローカル コンピューターから Databricks に接続し、サーバーレスでワークロードを実行できます。 「Databricks Connect とは」を参照してください。