サーバーレスコンピューティングの制限事項

2025-05-17

この記事では、ノートブックとジョブのサーバーレスコンピューティングの現在の制限事項について説明します。最も重要な考慮事項の概要から始まり、制限事項の包括的なリファレンスリストを提供します。

制限事項の概要

新しいワークロードを作成するか、ワークロードをサーバーレスコンピューティングに移行する前に、まず次の制限事項を考慮してください。

サポートされている言語は Python と SQL だけです。
Spark Connect API のみがサポートされています。 Spark RDD API はサポートされていません。
JAR ライブラリはサポートされていません。対処方法については、「サーバーレスコンピューティングのベストプラクティス」を参照してください。
サーバーレスコンピューティングは、すべてのワークスペースユーザーが利用できます。
ノートブックタグはサポートされていません。サーバーレス予算ポリシーを使用して、サーバーレスの使用状況にタグを付けます。
ストリーミングの場合、増分バッチロジックのみを使用できます。既定または時間ベースのトリガー間隔はサポートされません。「ストリーミングの制限事項」を参照してください。

制限事項のリファレンス一覧

次のセクションでは、サーバーレスコンピューティングの現在の制限事項を示します。

サーバーレスコンピューティングは、Databricks 標準アクセスモードコンピューティングアーキテクチャ (旧称共有アクセスモード) に基づいています。標準アクセスモードから継承される最も関連性の高い制限事項と、サーバーレス固有の追加の制限事項を以下に示します。標準アクセスモードの制限事項の完全な一覧については、「 Unity カタログのコンピューティングアクセスモードの制限事項」を参照してください。

一般的な制限事項

Scala と R はサポートされていません。
SQL を記述するときの既定値は ANSI SQL です。 spark.sql.ansi.enabled を false に設定して、ANSI モードをオプトアウトします。
Spark RDD API はサポートされていません。
Spark コンテキスト (sc) では、spark.sparkContext と sqlContext はサポートされていません。

Databricks コンテナーサービスはサポートされていません。

既定では、サーバーレスノートブックの Spark クエリは 9,000 秒を超える時間を実行できません。これは、 spark.databricks.execution.timeout プロパティを使用して構成できます。詳細については、「サーバーレスノートブックとジョブの Spark プロパティを構成する」を参照してください。この制限は、サーバーレスジョブには適用されません。
Unity カタログを使用して外部データソースに接続する必要があります。外部の場所を使用して、クラウドストレージにアクセスします。
データソースのサポートは、AVRO、BINARYFILE、CSV、DELTA、JSON、KAFKA、ORC、PARQUET、ORC、TEXT、XML に限定されます。
ユーザー定義関数 (UDF) はインターネットにアクセスできません。このため、CREATE FUNCTION (External) コマンドはサポートされていません。 Databricks では、CREATE FUNCTION (SQL および Python) を使用して UDF を作成することをお勧めします。
個々の行が最大サイズの 128 MB を超えないようにする必要があります。
Spark UI は使用できません。代わりに、クエリプロファイルを使用して、Spark クエリに関する情報を表示します。「クエリプロファイル」を参照してください。
Spark ログは、サーバーレスノートブックとジョブを使用する場合は使用できません。ユーザーは、クライアント側のアプリケーションログにのみアクセスできます。
ワークスペース間アクセスは、ワークスペースが同じリージョンにあり、宛先ワークスペースに IP ACL またはフロントエンド PrivateLink が構成されていない場合にのみ許可されます。
グローバル一時ビューはサポートされていません。 Databricks では、セッション一時ビューを使用するか、セッション間のデータの受け渡しが必要なテーブルを作成することをお勧めします。

ストリーミングの制限事項

既定または時間ベースのトリガー間隔はサポートされません。サポートされるのは Trigger.AvailableNow のみです。「構造化ストリーミングのトリガー間隔を構成する」を参照してください。
標準アクセスモードでのストリーミングに関するすべての制限も適用されます。「Unity Catalog 標準アクセスモードのストリーミングの制限事項と要件」をご確認ください。

機械学習の制限事項

Databricks Runtime for Machine Learning と Apache Spark MLlib はサポートされていません。
GPU はサポートされていません。

Notebooks の制限事項

Notebook スコープのライブラリは、開発セッション間ではキャッシュされません。
ユーザー間でノートブックを共有するときの TEMP テーブルとビューの共有はサポートされていません。
Notebooks 内の DataFrame のオートコンプリートと変数エクスプローラーはサポートされていません。

ワークフローの制限事項

ジョブのサーバーレスコンピューティングのドライバーサイズは現在固定されており、変更できません。
タスクログは、タスクの実行ごとに分離されません。ログには、複数のタスクからの出力が含まれます。
タスクライブラリは、ノートブックタスクではサポートされていません。代わりにノートブックスコープのライブラリを使用してください。「ノートブックスコープの Python ライブラリ」を参照してください。

コンピューティング固有の制限事項

次のコンピューティング固有の機能はサポートされていません。

コンピューティングポリシー
コンピューティングスコープの init スクリプト
カスタムデータソースや Spark 拡張機能を含む、コンピューティングスコープのライブラリ。代わりにノートブックスコープのライブラリを使用してください。
インスタンスプール
コンピューティングイベントログ
ほとんどの Apache Spark コンピューティング構成。サポートされている構成の一覧については、「サーバーレスノートブックとジョブの Spark プロパティの構成」を参照してください。
環境変数。代わりに、Databricks では、ウィジェットを使用してジョブとタスクのパラメーターを作成することをお勧めします。

キャッシュの制限事項

データフレーム API と SQL キャッシュ API は、サーバーレスコンピューティングではサポートされていません。これらの API または SQL コマンドのいずれかを使用すると、例外が発生します。

Hive の制限事項

Hive SerDe テーブルはサポートされていません。また、Hive SerDe テーブルにデータを読み込む対応する LOAD DATA コマンドはサポートされていません。このコマンドを使用すると、例外が発生します。

データソースのサポートは、AVRO、BINARYFILE、CSV、DELTA、JSON、KAFKA、ORC、PARQUET、ORC、TEXT、XML に限定されます。
Hive 変数 (たとえば、${env:var}、${configName}、${system:var}、spark.sql.variable)、または ${var} 構文を使用した config 変数の参照はサポートされていません。 Hive 変数を使用すると、例外が発生します。

代わりに、 DECLARE VARIABLE、 SET VARIABLE、 SQL セッション変数の参照とパラメーターマーカー ('?'、または ':var') を使用して、セッションの状態を宣言、変更、および参照します。 IDENTIFIER 句を使用して、多くの場合、オブジェクト名をパラメーター化することもできます。