適用対象:
SQL Server 2019 (15.x)
重要
Microsoft SQL Server 2019 ビッグ データ クラスターのアドオンは廃止されます。 SQL Server 2019 ビッグ データ クラスターのサポートは、2025 年 2 月 28 日に終了します。 ソフトウェア アシュアランス付きの SQL Server 2019 を使用する既存の全ユーザーはプラットフォームで完全にサポートされ、ソフトウェアはその時点まで SQL Server の累積更新プログラムによって引き続きメンテナンスされます。 詳細については、お知らせのブログ記事と「Microsoft SQL Server プラットフォームのビッグ データ オプション」を参照してください。
SQL Server ビッグ データ クラスターのクラスター、サービス、およびリソース スコープの設定は、 azdata CLI を使用してデプロイ後に構成できます。 この機能により、SQL Server ビッグ データ クラスター管理者は、ワークロードの要件を常に満たすように構成を調整できます。 この記事では、タイムゾーンと Spark ワークロードの要件を構成する方法のシナリオ例について説明します。 デプロイ後の構成機能は、一連の差分適用フローに従います。
注
デプロイ後の設定の構成は、SQL Server ビッグ データ クラスター CU9 以降の展開でのみ使用できます。 設定の構成には、スケール、ストレージ、またはエンドポイントの構成は含まれません。 CU9 より前の SQL Server ビッグ データ クラスターを構成するためのオプションと手順については、 こちらをご覧ください。
ステップ バイ ステップ シナリオ: SQL Server ビッグ データ クラスターでタイムゾーンを構成する
SQL Server ビッグ データ クラスター CU13 以降では、クラスターのタイムゾーン構成をカスタマイズできるため、サービスのタイムスタンプは選択したタイムゾーンと一致します。 この設定はビッグ データ クラスター コントロール プレーンには適用されず、すべての SQL Server プール (マスター、コンピューティング、データ)、Hadoop コンポーネント、Spark の新しいタイムゾーン構成が設定されます。
注
既定では、SQL Server ビッグ データ クラスターは UTC をタイムゾーンとして設定します。
次のコマンドを使用して、タイムゾーンの構成を設定します。
azdata bdc settings set --settings bdc.timezone=America/Los_Angeles
保留中の設定をクラスターに適用する
次のコマンドは、構成を適用し、すべてのサービスを再起動します。 変更を追跡し、構成プロセスを制御する方法については、この記事の最後のセクションを参照してください。
azdata bdc settings apply
ステップ バイ ステップ シナリオ: Spark ワークロードの要件を満たすようにクラスターを構成する
ビッグ データ クラスター Spark サービスの現在の構成を表示する
次の例は、Spark サービスのユーザーが構成した設定を表示する方法を示しています。 可能なすべての構成可能な設定、システム管理およびすべての構成可能な設定、および省略可能なパラメーターを使用して保留中の設定を表示できます。 詳細については、azdata bdc sparkステートメントを参照してください。
azdata bdc spark settings show
サンプル出力
Spark サービス
| 設定 | 実行中の値 |
|---|---|
spark-defaults-conf.spark.driver.cores |
1 |
spark-defaults-conf.spark.driver.memory |
1664m |
Spark ドライバーのコアとメモリの既定の数を変更する
Spark サービスの既定のコア数を 2 に、既定のメモリを 7424 MB に更新します。 これは、Spark サービスの Spark を使用するすべてのリソースに影響します。
azdata bdc spark settings set --settings spark-defaults-conf.spark.driver.cores=2,spark-defaults-conf.spark.driver.memory=7424m
記憶域プール内の Spark Executor の既定のコア数とメモリ数を変更する
記憶域プールの Executor コアの既定の数を 4 に更新します。
azdata bdc spark settings set --settings spark-defaults-conf.spark.executor.cores=4 --resource=storage-0
Spark アプリケーションの既定のクラスパスへの追加パスを構成する
/opt/hadoop/share/hadoop/tools/lib/ パスには、Spark アプリケーションで使用される複数のライブラリが含まれていますが、参照されるパスは Spark アプリケーションのクラスパスに既定では読み込まれません。 この設定を有効にするには、次の構成パターンを適用します。
azdata bdc hdfs settings set --settings hadoop-env.HADOOP_CLASSPATH="/opt/hadoop/share/hadoop/tools/lib/*"
ビッグ データ クラスターでステージングされた保留中の設定の変更を表示する
Spark サービスの保留中の設定の変更と、ビッグ データ クラスター全体の変更を表示します。
保留中の Spark サービス設定
azdata bdc spark settings show --filter-option=pending --include-details
Spark サービス
| 設定 | 実行中の値 | 構成された値 | カスタマイズ可能 | 設定済み | 最終更新日時 |
|---|---|---|---|---|---|
spark-defaults-conf.spark.driver.cores |
1 |
2 |
true |
true |
|
spark-defaults-conf.spark.driver.memory |
1664m |
7424m |
true |
true |
すべての保留中の設定
azdata bdc settings show --filter-option=pending --include-details --recursive
Spark サービスの設定 - 保留中
| 設定 | 実行中の値 | 構成された値 | カスタマイズ可能 | 設定済み | 最終更新日時 |
|---|---|---|---|---|---|
spark-defaults-conf.spark.driver.cores |
1 |
2 |
true |
true |
|
spark-defaults-conf.spark.driver.memory |
1664m |
7424m |
true |
true |
Storage-0 リソース Spark の設定 - 保留中
| 設定 | 実行中の値 | 構成された値 | カスタマイズ可能 | 設定済み | 最終更新日時 |
|---|---|---|---|---|---|
spark-defaults-conf.spark.executor.cores |
1 |
4 |
true |
true |
保留中の設定をビッグ データ クラスターに適用する
azdata bdc settings apply
構成の更新状態を監視する
azdata bdc status show
省略可能な手順
保留中の構成設定を元に戻す
保留中の構成設定を変更する必要がなくなった場合は、これらの設定のステージングを解除できます。 これにより、すべてのスコープで保留中の設定が元に戻されます。
azdata bdc settings revert
構成のアップグレードを中止する
いずれかのコンポーネントの構成アップグレードが失敗した場合は、アップグレード プロセスをキャンセルし、クラスターを以前の構成に戻すことができます。 アップグレード中に変更のためにステージングされた設定は、保留中の設定として再び一覧表示されます。
azdata bdc settings cancel-apply