適用対象: SQL Server 2019 (15.x)
重要
Microsoft SQL Server 2019 ビッグ データ クラスターのアドオンは廃止されます。 SQL Server 2019 ビッグ データ クラスターのサポートは、2025 年 2 月 28 日に終了します。 ソフトウェア アシュアランス付きの SQL Server 2019 を使用する既存の全ユーザーはプラットフォームで完全にサポートされ、ソフトウェアはその時点まで SQL Server の累積更新プログラムによって引き続きメンテナンスされます。 詳細については、お知らせのブログ記事と「Microsoft SQL Server プラットフォームのビッグ データ オプション」を参照してください。
ビッグ データ クラスターでは、サービススコープとリソース スコープでの Apache Spark および Hadoop コンポーネントのデプロイ時間とデプロイ後の時間の構成がサポートされます。 ビッグ データ クラスターでは、ほとんどの設定で、それぞれのオープン ソース プロジェクトと同じ既定の構成値が使用されます。 変更する設定は、説明とその既定値と共に以下に示します。 ゲートウェイ リソース以外に、サービス スコープで構成できる設定とリソース スコープに違いはありません。
使用可能なすべての構成とそれぞれの既定値は、関連する Apache ドキュメント サイトで確認できます。
- Apache Spark: https://spark.apache.org/docs/latest/configuration.html
- Apache Hadoop:
- 巣箱: https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties#ConfigurationProperties-MetaStore
- Livy: https://github.com/cloudera/livy/blob/master/conf/livy.conf.template
- Apache Knox ゲートウェイ: https://knox.apache.org/books/knox-0-14-0/user-guide.html#Gateway+Details
構成をサポートしていない設定も以下に示します。
注
Spark をストレージ プールに含めるには、includeSpark
のbdc.json
構成ファイルにspec.resources.storage-0.spec.settings.spark
ブール値を設定します。 手順については、 ビッグ データ クラスターでの Apache Spark と Apache Hadoop の構成 に関する記事を参照してください。
ビッグ データ クラスター固有の既定の Spark 設定
以下の Spark 設定は、BDC 固有の既定値を持つものの、ユーザーが構成可能な設定です。 システム管理の設定は含まれません。
設定の名前 | 説明 | タイプ | デフォルト値 |
---|---|---|---|
capacity-scheduler.yarn.scheduler.capacity.maximum-applications | 実行中と保留中の両方で同時にアクティブにできるシステム内のアプリケーションの最大数。 | 整数 (int) | 1万 |
capacity-scheduler.yarn.scheduler.capacity.resource-calculator | スケジューラのリソースの比較に使用する ResourceCalculator の実装。 | ひも | org.apache.hadoop.yarn.util.resource.DominantResourceCalculator |
capacity-scheduler.yarn.scheduler.capacity.root.queues | ルートと呼ばれる定義済みのキューを持つ容量スケジューラ。 | ひも | デフォルト |
capacity-scheduler.yarn.scheduler.capacity.root.default.capacity | ルート キューの絶対リソース キューの最小容量としてのキュー容量 (%)(%)。 | 整数 (int) | 100 |
spark-defaults-conf.spark.driver.cores | クラスター モードでのみ、ドライバー プロセスに使用するコアの数。 | 整数 (int) | 1 |
spark-defaults-conf.spark.driver.memoryOverhead | クラスター モードでドライバーごとに割り当てられるオフヒープ メモリの量。 | 整数 (int) | 384 |
spark-defaults-conf.spark.executor.instances | 静的割り当ての Executor の数。 | 整数 (int) | 1 |
spark-defaults-conf.spark.executor.cores | 各 Executor で使用するコアの数。 | 整数 (int) | 1 |
spark-defaults-conf.spark.driver.memory | ドライバー プロセスに使用するメモリの量。 | ひも | 1g |
spark-defaults-conf.spark.executor.memory | Executor プロセスごとに使用するメモリの量。 | ひも | 1g |
spark-defaults-conf.spark.executor.memoryOverhead | Executor ごとに割り当てられるオフヒープ メモリの量。 | 整数 (int) | 384 |
yarn-site.yarn.nodemanager.resource.memory-mb | コンテナーに割り当てることができる物理メモリの量 (MB 単位)。 | 整数 (int) | 8192 |
yarn-site.yarn.scheduler.maximum-allocation-mb | リソース マネージャーでの各コンテナー要求の最大割り当て。 | 整数 (int) | 8192 |
yarn-site.yarn.nodemanager.resource.cpu-vcores | コンテナーに割り当てることができる CPU コアの数。 | 整数 (int) | 32 |
yarn-site.yarn.scheduler.maximum-allocation-vcores | 仮想 CPU コアに関するリソース マネージャーでの各コンテナー要求の最大割り当て。 | 整数 (int) | 8 |
yarn-site.yarn.nodemanager.linux-container-Executor.secure-mode.pool-user-count | セキュリティで保護されたモードの Linux コンテナー 実行プログラムのプール ユーザーの数。 | 整数 (int) | 6 |
yarn-site.yarn.scheduler.capacity.maximum-am-resource-percent | アプリケーション マスターの実行に使用できるクラスター内のリソースの最大割合。 | フロート | 0.1 |
yarn-site.yarn.nodemanager.container-Executor.class | 特定のオペレーティング システムのコンテナー 実行プログラム。 | ひも | org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor |
capacity-scheduler.yarn.scheduler.capacity.root.default.user-limit-factor | 1 人のユーザーがより多くのリソースを取得できるように構成できるキュー容量の倍数。 | 整数 (int) | 1 |
capacity-scheduler.yarn.scheduler.capacity.root.default.maximum-capacity | float または絶対リソース キューの最大容量としての最大キュー容量 (%)(%)。 この値を -1 に設定すると、最大容量が 100%に設定されます。 | 整数 (int) | 100 |
capacity-scheduler.yarn.scheduler.capacity.root.default.state | キューの状態は、実行中または停止のいずれかです。 | ひも | ランニング |
capacity-scheduler.yarn.scheduler.capacity.root.default.maximum-application-lifetime | キューに送信されるアプリケーションの最大有効期間 (秒単位)。 0 以下の値は無効と見なされます。 | 整数 (int) | -1 |
capacity-scheduler.yarn.scheduler.capacity.root.default.default-application-lifetime | キューに送信されるアプリケーションの既定の有効期間 (秒単位)。 0 以下の値は無効と見なされます。 | 整数 (int) | -1 |
capacity-scheduler.yarn.scheduler.capacity.node-locality-delay | CapacityScheduler がラックローカル コンテナーのスケジュール設定を試行した後の、スケジュールが間違った機会の数。 | 整数 (int) | 40 |
capacity-scheduler.yarn.scheduler.capacity.rack-locality-additional-delay | Node-locality-delay に対する追加のスケジュールミス機会の数。その後、CapacityScheduler はオフスイッチ コンテナーのスケジュールを試みます。 | 整数 (int) | -1 |
hadoop-env。HADOOP_HEAPSIZE_MAX | すべての Hadoop JVM プロセスの既定の最大ヒープ サイズ。 | 整数 (int) | 2048 |
yarn-env。YARN_RESOURCEMANAGER_HEAPSIZE | Yarn ResourceManager のヒープ サイズ。 | 整数 (int) | 2048 |
yarn-env。YARN_NODEMANAGER_HEAPSIZE | Yarn NodeManager のヒープ サイズ。 | 整数 (int) | 2048 |
mapred-env。HADOOP_JOB_HISTORYSERVER_HEAPSIZE | Hadoop ジョブ履歴サーバーのヒープ サイズ。 | 整数 (int) | 2048 |
hive-env。HADOOP_HEAPSIZE | Hive の Hadoop のヒープ サイズ。 | 整数 (int) | 2048 |
livy-conf.livy.server.session.timeout-check | Livy サーバー セッションのタイムアウトを確認します。 | ブール (bool) | ほんとう |
livy-conf.livy.server.session.timeout-check.skip-busy | Livy サーバーセッションタイムアウトのチェックのスキップビジー。 | ブール (bool) | ほんとう |
livy-conf.livy.server.session.timeout | livy サーバー セッションのタイムアウト (ms/s/m | min/h/d/y)。 | ひも | 2時間 |
livy-conf.livy.server.yarn.poll-interval | Livy サーバーの yarn のポーリング間隔 (ms/s/m | min/h/d/y)。 | ひも | 500 ミリ秒 |
livy-conf.livy.rsc.jars | Livy RSC jars。 | ひも | local:/opt/livy/rsc-jars/livy-api.jar,local:/opt/livy/rsc-jars/livy-rsc.jar,local:/opt/livy/rsc-jars/netty-all.jar |
livy-conf.livy.repl.jars | Livy repl jars. | ひも | local:/opt/livy/repl_2.11-jars/livy-core.jar,local:/opt/livy/repl_2.11-jars/livy-repl.jar,local:/opt/livy/repl_2.11-jars/commons-codec.jar |
livy-conf.livy.rsc.sparkr.package | Livy RSC SparkR パッケージ。 | ひも | hdfs:///system/livy/sparkr.zip |
livy-env.LIVY_SERVER_JAVA_OPTS | Livy サーバーの Java オプション。 | ひも | -Xmx2g |
spark-defaults-conf.spark.r.backendConnectionTimeout | RBackend への接続時に R プロセスによって設定された接続タイムアウト (秒単位)。 | 整数 (int) | 86400 |
spark-defaults-conf.spark.pyspark.python | Spark の Python オプション。 | ひも | /opt/bin/python3 |
spark-defaults-conf.spark.yarn.jars | Yarn jars。 | ひも | local:/opt/spark/jars/* |
spark-history-server-conf.spark.history.fs.cleaner.maxAge | ジョブ履歴ファイルがファイルシステム履歴クリーナー (ms/s/m | min/h/d/y) で削除される前のジョブ履歴ファイルの最大有効期間。 | ひも | 7d |
spark-history-server-conf.spark.history.fs.cleaner.interval | スパーク履歴のクリーナーの間隔 (ms/s/m | min/h/d/y)。 | ひも | 12h |
hadoop-env。HADOOP_CLASSPATH | 追加の Hadoop クラスパスを設定します。 | ひも | |
spark-env。SPARK_DAEMON_MEMORY | Spark デーモン メモリ。 | ひも | 2グラム |
yarn-site.yarn.log-aggregation.retain-seconds | ログ集計が有効になっている場合、このプロパティはログを保持する秒数を決定します。 | 整数 (int) | 604800 |
yarn-site.yarn.nodemanager.log-aggregation.compression-type | Yarn NodeManager のログ集計の圧縮の種類。 | ひも | gz |
yarn-site.yarn.nodemanager.log-aggregation.roll-monitoring-interval-seconds | NodeManager ログ集計でのロール監視の間隔 (秒)。 | 整数 (int) | 3600 |
yarn-site.yarn.scheduler.minimum-allocation-mb | Resource Manager のすべてのコンテナー要求の最小割り当て (MB 単位)。 | 整数 (int) | 512 |
yarn-site.yarn.scheduler.minimum-allocation-vcores | 仮想 CPU コアの観点から、Resource Manager のすべてのコンテナー要求の最小割り当て。 | 整数 (int) | 1 |
yarn-site.yarn.nm.liveness-monitor.expiry-interval-ms | ノード マネージャーがデッドと見なされるまで待機する時間。 | 整数 (int) | 180000 |
yarn-site.yarn.resourcemanager.zk-timeout-ms | 'ZooKeeper' セッションタイムアウト (ミリ秒単位)。 | 整数 (int) | 40000 |
capacity-scheduler.yarn.scheduler.capacity.root.default.acl_application_max_priority | 設定された優先順位でアプリケーションを送信できるユーザーの ACL。 例: [user={name} group={name} max_priority={priority} default_priority={priority}]。 | ひも | * |
includeSpark | Spark ジョブを記憶域プールで実行できるかどうかを構成するブール値。 | ブール (bool) | ほんとう |
enableSparkOnK8s | Spark ヘッドで K8s 用のコンテナーを追加する K8s で Spark を有効にするかどうかを構成するブール値。 | ブール (bool) | 偽り |
sparkVersion | Spark のバージョン | ひも | 2.4 |
spark-env。PYSPARK_ARCHIVES_PATH | Spark ジョブで使用される pyspark アーカイブ jar へのパス。 | ひも | local:/opt/spark/python/lib/pyspark.zip,local:/opt/spark/python/lib/ のpy4j-0.10.7-src.zip |
次のセクションでは、サポートされていない構成の一覧を示します。
ビッグ データ クラスター固有の既定の HDFS 設定
以下の HDFS 設定は、BDC 固有の既定値を持ち、ユーザーが構成可能な設定です。 システム管理の設定は含まれません。
設定の名前 | 説明 | タイプ | デフォルト値 |
---|---|---|---|
hdfs-site.dfs.replication | 既定のブロック レプリケーション。 | 整数 (int) | 2 |
hdfs-site.dfs.namenode.provided.enabled | 指定されたストレージを処理する名前ノードを有効にします。 | ブール (bool) | ほんとう |
hdfs.site.dfs.namenode.mount.acls.enabled | マウント時にリモート ストアから ACL (アクセス制御リスト) を継承するには、true に設定します。 | ブール (bool) | 偽り |
hdfs-site.dfs.datanode.provided.enabled | 指定されたストレージをデータ ノードが処理できるようにします。 | ブール (bool) | ほんとう |
hdfs-site.dfs.datanode.provided.volume.lazy.load | 指定されたストレージのデータ ノードで遅延読み込みを有効にします。 | ブール (bool) | ほんとう |
hdfs-site.dfs.provided.aliasmap.inmemory.enabled | 指定されたストレージのメモリ内エイリアス マップを有効にします。 | ブール (bool) | ほんとう |
hdfs-site.dfs.provided.aliasmap.class | 指定されたストレージ上のブロックの入力形式を指定するために使用されるクラス。 | ひも | org.apache.hadoop.hdfs.server.common.blockaliasmap.impl.InMemoryLevelDBAliasMapClient |
hdfs-site.dfs.namenode.provided.aliasmap.class | namenode 用に指定されたストレージ上のブロックの入力形式を指定するために使用されるクラス。 | ひも | org.apache.hadoop.hdfs.server.common.blockaliasmap.impl.NamenodeInMemoryAliasMapClient |
hdfs-site.dfs.provided.aliasmap.load.retries | 指定されたエイリアスマップを読み込むデータ ノードの再試行回数。 | 整数 (int) | 0 |
hdfs-site.dfs.provided.aliasmap.inmemory.batch-size | エイリアスマップをバックアップするデータベースを反復処理するときのバッチ サイズ。 | 整数 (int) | 500 |
hdfs-site.dfs.datanode.provided.volume.readthrough | datanode で指定されたストレージの読み取りスルーを有効にします。 | ブール (bool) | ほんとう |
hdfs-site.dfs.provided.cache.capacity.mount | 指定されたストレージのキャッシュ容量マウントを有効にします。 | ブール (bool) | ほんとう |
hdfs-site.dfs.provided.overreplication.factor | 指定されたストレージの繰り返し係数。 リモート HDFS ブロックごとに作成された BDC 上のキャッシュ ブロックの数。 | フロート | 1 |
hdfs-site.dfs.provided.cache.capacity.fraction | 提供されたストレージのキャッシュ容量の割合。 提供されたストアからのデータをキャッシュするために使用できるクラスター内の合計容量の割合。 | フロート | 0.01 |
hdfs-site.dfs.provided.cache.capacity.bytes | 指定されたブロックのキャッシュ領域として使用するクラスター容量 (バイト単位)。 | 整数 (int) | -1 |
hdfs-site.dfs.ls.limit | ls で出力されるファイルの数を制限します。 | 整数 (int) | 500 |
hdfs-env。HDFS_NAMENODE_OPTS | HDFS Namenode オプション。 | ひも | -Dhadoop.security.logger=INFO,RFAS -Xmx2g |
hdfs-env。HDFS_DATANODE_OPTS | HDFS データ ノード のオプション。 | ひも | -Dhadoop.security.logger=エラー,RFAS -Xmx2g |
hdfs-env。HDFS_ZKFC_OPTS | HDFS ZKFC オプション。 | ひも | -Xmx1g |
hdfs-env。HDFS_JOURNALNODE_OPTS | HDFS JournalNode オプション。 | ひも | -Xmx2g |
hdfs-env。HDFS_AUDIT_LOGGER | HDFS 監査ロガー のオプション。 | ひも | INFO,RFAAUDIT |
core-site.hadoop.security.group.mapping.ldap.search.group.hierarchy.levels | コア サイト Hadoop LDAP Search グループの階層レベル。 | 整数 (int) | 10 |
core-site.fs.permissions.umask-mode | アクセス許可 umask モード。 | ひも | 077 |
core-site.hadoop.security.kms.client.failover.max.retries | クライアント フェールオーバーの最大再試行回数。 | 整数 (int) | 20 |
zoo-cfg.tickTime | 'ZooKeeper' 構成のティック タイム。 | 整数 (int) | 2000 |
zoo-cfg.initLimit | 'ZooKeeper' 構成の初期化時刻。 | 整数 (int) | 10 |
zoo-cfg.syncLimit | 'ZooKeeper' 構成の同期時間。 | 整数 (int) | 5 |
zoo-cfg.maxClientCnxns | 'ZooKeeper' 構成の最大クライアント接続数。 | 整数 (int) | 六十 |
zoo-cfg.minSessionTimeout | 'ZooKeeper' 構成の最小セッション タイムアウト。 | 整数 (int) | 4000 |
zoo-cfg.maxSessionTimeout | 'ZooKeeper' 構成の最大セッション タイムアウト。 | 整数 (int) | 40000 |
zoo-cfg.autopurge.snapRetainCount | Autopurge 'ZooKeeper' 構成のスナップ保持数。 | 整数 (int) | 3 |
zoo-cfg.autopurge.purgeInterval | Autopurge 'ZooKeeper' 構成の消去間隔。 | 整数 (int) | 0 |
zookeeper-java-env.JVMFLAGS | 'ZooKeeper' の Java 環境用の JVM フラグ。 | ひも | ●XMX1G -Xms1G |
zookeeper-log4j-properties.zookeeper.console.threshold | 'ZooKeeper' の log4j コンソールのしきい値。 | ひも | 情報 |
zoo-cfg.zookeeper.request.timeout | 'ZooKeeper' 要求のタイムアウトをミリ秒単位で制御します。 | 整数 (int) | 40000 |
kms-site.hadoop.security.kms.encrypted.key.cache.size | hadoop kms での暗号化されたキーのキャッシュ サイズ。 | 整数 (int) | 500 |
ビッグ データ クラスター固有の既定のゲートウェイ設定
以下のゲートウェイ設定は、BDC 固有の既定値を持ち、ユーザーが構成可能な設定です。 システム管理の設定は含まれません。 ゲートウェイ設定は、 リソース スコープでのみ構成できます。
設定の名前 | 説明 | タイプ | デフォルト値 |
---|---|---|---|
gateway-site.gateway.httpclient.socketTimeout | ゲートウェイ内の HTTP クライアントのソケット タイムアウト (ms/s/m)。 | ひも | 1990年代 |
gateway-site.sun.security.krb5.debug | Kerberos セキュリティのデバッグ。 | ブール (bool) | ほんとう |
knox-env。KNOX_GATEWAY_MEM_OPTS | Knox ゲートウェイ のメモリ オプション。 | ひも | -Xmx2g |
サポートされていない Spark 構成
次の spark
構成はサポートされておらず、ビッグ データ クラスターのコンテキストでは変更できません。
カテゴリ | サブカテゴリ | ファイル | サポートされていない構成 |
---|---|---|---|
yarn-site | yarn-site.xml | yarn.log-aggregation-enable | |
yarn.log.server.url | |||
yarn.nodemanager.pmem-check-enabled | |||
yarn.nodemanager.vmem-check-enabled | |||
yarn.nodemanager.aux-services | |||
yarn.resourcemanager.address | |||
yarn.nodemanager.address | |||
yarn.client.failover-no-ha-proxy-provider | |||
yarn.client.failover-proxy-provider | |||
yarn.http.policy | |||
yarn.nodemanager.linux-container-Executor.secure-mode.use-pool-user | |||
yarn.nodemanager.linux-container-Executor.secure-mode.pool-user-prefix | |||
yarn.nodemanager.linux-container-Executor.nonsecure-mode.local-user | |||
yarn.acl.enable | |||
yarn.admin.acl | |||
yarn.resourcemanager.hostname | |||
yarn.resourcemanager.principal | |||
yarn.resourcemanager.keytab | |||
yarn.resourcemanager.webapp.spnego-keytab-file | |||
yarn.resourcemanager.webapp.spnego-principal | |||
yarn.nodemanager.principal | |||
yarn.nodemanager.keytab | |||
yarn.nodemanager.webapp.spnego-keytab-file | |||
yarn.nodemanager.webapp.spnego-principal | |||
yarn.resourcemanager.ha.enabled | |||
yarn.resourcemanager.cluster-id | |||
yarn.resourcemanager.zk-address | |||
yarn.resourcemanager.ha.rm-ids | |||
yarn.resourcemanager.hostname.* | |||
capacity-scheduler | capacity-scheduler.xml | yarn.scheduler.capacity.root.acl_submit_applications | |
yarn.scheduler.capacity.root.acl_administer_queue | |||
yarn.scheduler.capacity.root.default.acl_application_max_priority | |||
yarn-env | yarn-env.sh | ||
spark-defaults-conf | spark-defaults.conf | spark.yarn.archive | |
spark.yarn.historyServer.address | |||
spark.eventLog.enabled | |||
spark.eventLog.dir | |||
spark.sql.warehouse.dir | |||
spark.sql.hive.metastore.version | |||
spark.sql.hive.metastore.jars | |||
spark.extraListeners | |||
spark.metrics.conf | |||
spark.ssl.enabled | |||
spark.authenticate | |||
spark.network.crypto.enabled | |||
spark.ssl.keyStore | |||
spark.ssl.keyStorePassword | |||
spark.ui.enabled | |||
spark-env | spark-env.sh | SPARK_NO_DAEMONIZE | |
SPARK_DIST_CLASSPATH | |||
spark-history-server-conf | spark-history-server.conf | spark.history.fs.logDirectory | |
spark.ui.proxyBase | |||
spark.history.fs.cleaner.enabled | |||
spark.ssl.enabled | |||
spark.authenticate | |||
spark.network.crypto.enabled | |||
spark.ssl.keyStore | |||
spark.ssl.keyStorePassword | |||
spark.history.kerberos.enabled | |||
spark.history.kerberos.principal | |||
spark.history.kerberos.keytab | |||
spark.ui.filters | |||
spark.acls.enable | |||
spark.history.ui.acls.enable | |||
spark.history.ui.admin.acls | |||
spark.history.ui.admin.acls.groups | |||
livy-conf | livy.conf | livy.keystore | |
livy.keystore.password | |||
livy.spark.master | |||
livy.spark.deploy-mode | |||
livy.rsc.jars | |||
livy.repl.jars | |||
livy.rsc.pyspark.archives | |||
livy.rsc.sparkr.package | |||
livy.repl.enable-hive-context | |||
livy.superusers | |||
livy.server.auth.type | |||
livy.server.launch.kerberos.keytab | |||
livy.server.launch.kerberos.principal | |||
livy.server.auth.kerberos.principal | |||
livy.server.auth.kerberos.keytab | |||
livy.impersonation.enabled | |||
livy.server.access-control.enabled | |||
livy.server.access-control.* | |||
livy-env | livy-env.sh | ||
hive-site | hive-site.xml | javax.jdo.option.ConnectionURL | |
javax.jdo.option.ConnectionDriverName | |||
javax.jdo.option.ConnectionUserName | |||
javax.jdo.option.ConnectionPassword | |||
hive.metastore.uris | |||
hive.metastore.pre.event.listeners | |||
hive.security.authorization.enabled | |||
hive.security.metastore.authenticator.manager | |||
hive.security.metastore.authorization.manager | |||
hive.metastore.use.SSL | |||
hive.metastore.keystore.path | |||
hive.metastore.keystore.password | |||
hive.metastore.truststore.path | |||
hive.metastore.truststore.password | |||
hive.metastore.kerberos.keytab.file | |||
hive.metastore.kerberos.principal | |||
hive.metastore.sasl.enabled | |||
hive.metastore.execute.setugi | |||
hive.cluster.delegation.token.store.class | |||
hive-env | hive-env.sh |
サポートされていない HDFS 構成
次の hdfs
構成はサポートされておらず、ビッグ データ クラスターのコンテキストでは変更できません。
カテゴリ | サブカテゴリ | ファイル | サポートされていない構成 |
---|---|---|---|
core-site | core-site.xml | fs.defaultFS | |
ha.zookeeper.quorum | |||
hadoop.tmp.dir | |||
hadoop.rpc.protection | |||
hadoop.security.auth_to_local | |||
hadoop.security.authentication | |||
hadoop.security.authorization | |||
hadoop.http.authentication.simple.anonymous.allowed | |||
hadoop.http.authentication.type | |||
hadoop.http.authentication.kerberos.principal | |||
hadoop.http.authentication.kerberos.keytab | |||
hadoop.http.filter.initializers | |||
hadoop.security.group.mapping.* | |||
hadoop.security.key.provider.path | |||
mapred-env | mapred-env.sh | ||
hdfs-site | hdfs-site.xml | dfs.namenode.name.dir | |
dfs.datanode.data.dir | |||
dfs.namenode.acls.enabled | |||
dfs.namenode.datanode.registration.ip-hostname-check | |||
dfs.client.retry.policy.enabled | |||
dfs.permissions.enabled | |||
dfs.nameservices | |||
dfs.ha.namenodes.nmnode-0 | |||
dfs.namenode.rpc-address.nmnode-0.* | |||
dfs.namenode.shared.edits.dir | |||
dfs.ha.automatic-failover.enabled | |||
dfs.ha.fencing.methods | |||
dfs.journalnode.edits.dir | |||
dfs.client.failover.proxy.provider.nmnode-0 | |||
dfs.namenode.http-address | |||
dfs.namenode.httpS-address | |||
dfs.http.policy | |||
dfs.encrypt.data.transfer | |||
dfs.block.access.token.enable | |||
dfs.data.transfer.protection | |||
dfs.encrypt.data.transfer.cipher.suites | |||
dfs.https.port | |||
dfs.namenode.keytab.file | |||
dfs.namenode.kerberos.principal | |||
dfs.namenode.kerberos.internal.spnego.principal | |||
dfs.datanode.data.dir.perm | |||
dfs.datanode.address | |||
dfs.datanode.http.address | |||
dfs.datanode.ipc.address | |||
dfs.datanode.https.address | |||
dfs.datanode.keytab.file | |||
dfs.datanode.kerberos.principal | |||
dfs.journalnode.keytab.file | |||
dfs.journalnode.kerberos.principal | |||
dfs.journalnode.kerberos.internal.spnego.principal | |||
dfs.web.authentication.kerberos.keytab | |||
dfs.web.authentication.kerberos.principal | |||
dfs.webhdfs.enabled | |||
dfs.permissions.superusergroup | |||
hdfs-env | hdfs-env.sh | HADOOP_HEAPSIZE_MAX | |
zoo-cfg | zoo.cfg | secureClientPort | |
クライアントポート | |||
dataDir | |||
dataLogDir | |||
4lw.commands.whitelist | |||
zookeeper-java-env | java.env | ZK_LOG_DIR | |
SERVER_JVMFLAGS | |||
zookeeper-log4j-properties | log4j.properties (zookeeper) | log4j.rootLogger | |
log4j.appender.CONSOLE.* |
注
この記事には 、ホワイトリストという用語が含まれています。このコンテキストでは、Microsoft が非依存と見なします。 これはソフトウェアに現在表示されるものであるため、この記事に出現します。 ソフトウェアからこの用語が削除された時点で、この記事から削除します。
サポートされていない gateway
構成
次の gateway
構成はサポートされておらず、ビッグ データ クラスターのコンテキストでは変更できません。
カテゴリ | サブカテゴリ | ファイル | サポートされていない構成 |
---|---|---|---|
gateway-site | gateway-site.xml | gateway.port | |
gateway.path | |||
gateway.gateway.conf.dir | |||
gateway.hadoop.kerberos.secured | |||
java.security.krb5.conf | |||
java.security.auth.login.config | |||
gateway.websocket.feature.enabled | |||
gateway.scope.cookies.feature.enabled | |||
ssl.exclude.protocols | |||
ssl.include.ciphers |