重要
Microsoft SQL Server 2019 ビッグ データ クラスターのアドオンは廃止されます。 SQL Server 2019 ビッグ データ クラスターのサポートは、2025 年 2 月 28 日に終了します。 ソフトウェア アシュアランス付きの SQL Server 2019 を使用する既存の全ユーザーはプラットフォームで完全にサポートされ、ソフトウェアはその時点まで SQL Server の累積更新プログラムによって引き続きメンテナンスされます。 詳細については、お知らせのブログ記事と「Microsoft SQL Server プラットフォームのビッグ データ オプション」を参照してください。
この記事では、SQL Server 2019 ビッグ データ クラスターでの HDFS エラーのトラブルシューティング シナリオについて説明します。
HDFS ヒープサイズの問題解決
症状
SQL Server ビッグ データ クラスターの場合: [Big Data Cluster] - nmnode pods down with Failed to start namenode.java.lang.OutOfMemoryError: Java heap space and WARN util.JvmPauseMonitor: Detected pause in JVM or host machine (eg GC)
原因
HDFS ヒープ サイズが正しく構成されていない可能性があります。 namenode の JVM ヒープの適切な設定は、ファイルとブロックの数、HDFS システムの負荷など、多くの要因によって異なります。 ヒープ・サイズの計算の詳細については、 namenode ヒープ・サイズの構成を参照してください。
解決策
SQL Server ビッグ データ クラスターでは、HDFS namenode プロセスのヒープ サイズはビッグ データ クラスター構成 hdfs-env.HDFS_NAMENODE_OPTSによって制御されます。既定値は HDFS 構成プロパティで指定されている 2 GB です。 この回避策では、ヒープ サイズを増やすことが提案されています。これは、ビッグ データ クラスター全体のグローバル構成の変更です。
SQL Server ビッグ データ クラスターのランタイム構成機能は、SQL Server 2019 CU9 の後に既定で有効になっています。 続行するには、クラスターを CU9 以降 (可能な場合は使用可能な最新バージョン) にアップグレードします。 詳細については、「 SQL Server ビッグ データ クラスターのリリース ノート」を参照してください。
HDFS namenode のヒープ サイズを増やすには、 デプロイ後の構成ガイドに従います。
次の例では、 azdata を使用して HDFS namenode ヒープを 4 GB に増やします。 この操作は CU9 以降でのみ使用できます。
azdata bdc hdfs settings set --settings hdfs-env.HDFS_NAMENODE_OPTS="-Dhadoop.security.logger=INFO,RFAS -Xmx4g"
変更を確認し、更新の状態を監視するには:
# (Optional) View the pending change
azdata bdc settings show --filter-option=pending --include-details --recursive
# Apply the pending settings
azdata bdc settings apply
# Monitor the configuration update status
azdata bdc status show --all