通过

如何在部署后配置大数据群集设置

适用于：SQL Server 2019 (15.x)

重要

Microsoft SQL Server 2019 大数据群集附加产品将停用。 对 SQL Server 2019 大数据群集的支持将于 2025 年 2 月 28 日结束。 具有软件保障的 SQL Server 2019 的所有现有用户都将在平台上获得完全支持，在此之前，该软件将继续通过 SQL Server 累积更新进行维护。 有关详细信息，请参阅公告博客文章和 Microsoft SQL Server 平台上的大数据选项。

可以通过 CLI 在部署 azdata 后配置 SQL Server 大数据群集的群集、服务和资源范围设置。 此功能允许 SQL Server 大数据群集管理员调整配置，以始终满足工作负荷要求。 本文介绍了有关如何配置时区和 Spark 工作负荷要求的示例方案。 部署后配置功能遵循一组差异应用流。

注释

部署后设置配置仅适用于 SQL Server 大数据群集 CU9 和更高版本的部署。 设置配置不包括缩放、存储或终结点配置。 此处提供了在 CU9 之前配置 SQL Server 大数据群集的选项和说明。

分步方案：在 SQL Server 大数据群集上配置时区

从 SQL Server 大数据群集 CU13 开始，可以自定义群集时区配置，因此服务时间戳与所选时区保持一致。 此设置不适用于大数据群集控制平面，它为所有 SQL Server 池（主池、计算和数据）、Hadoop 组件和 Spark 设置新的时区配置。

注释

默认情况下，SQL Server 大数据群集将 UTC 设置为时区。

使用以下命令设置时区配置：

azdata bdc settings set --settings bdc.timezone=America/Los_Angeles

将挂起的设置应用于群集

以下命令将应用配置并重启所有服务。 查看本文的最后一节，了解如何跟踪更改和控制配置过程。

azdata bdc settings apply

分步方案：配置群集以满足 Spark 工作负载要求

查看大数据群集 Spark 服务的当前配置

以下示例演示如何查看 Spark 服务的用户配置设置。 可以通过可选参数查看所有可能的可配置设置、系统管理和所有可配置设置以及挂起的设置。 有关详细信息的 Visit azdata bdc spark 语句 。

azdata bdc spark settings show

示例输出

Spark 服务

设置 运行值
spark-defaults-conf.spark.driver.cores 1
spark-defaults-conf.spark.driver.memory 1664m

更改 Spark 驱动程序的默认核心数和内存

将默认核心数更新为 2 个，将 Spark 服务的默认内存更新为 7424 MB。 这会影响 Spark 服务的所有资源。

azdata bdc spark settings set --settings spark-defaults-conf.spark.driver.cores=2,spark-defaults-conf.spark.driver.memory=7424m

更改存储池中 Spark 执行程序的默认内核数和内存

将存储池的默认执行程序核心数更新为 4。

azdata bdc spark settings set --settings spark-defaults-conf.spark.executor.cores=4 --resource=storage-0

配置 Spark 应用程序的默认类路径的其他路径

该 /opt/hadoop/share/hadoop/tools/lib/ 路径包含多个库供 Spark 应用程序使用，但在 Spark 应用程序的类路径中默认不会加载引用路径。 若要启用此设置，请应用以下配置模式。

azdata bdc hdfs settings set --settings hadoop-env.HADOOP_CLASSPATH="/opt/hadoop/share/hadoop/tools/lib/*"

查看大数据群集中暂存的挂起设置更改

仅查看 Spark 服务的挂起设置更改，并在整个大数据群集中查看这些更改。

挂起的 Spark 服务设置

azdata bdc spark settings show --filter-option=pending --include-details

Spark 服务

设置 运行值 配置的值 可配置 已配置 上次更新时间
spark-defaults-conf.spark.driver.cores 1 2 true true
spark-defaults-conf.spark.driver.memory 1664m 7424m true true

所有挂起的设置

azdata bdc settings show --filter-option=pending --include-details --recursive

Spark 服务设置 - 挂起

设置 运行值 配置的值 可配置 已配置 上次更新时间
spark-defaults-conf.spark.driver.cores 1 2 true true
spark-defaults-conf.spark.driver.memory 1664m 7424m true true

Storage-0 资源 Spark 设置 - 挂起

设置 运行值 配置的值 可配置 已配置 上次更新时间
spark-defaults-conf.spark.executor.cores 1 4 true true

将挂起的设置应用于大数据群集

azdata bdc settings apply

监视配置更新状态

azdata bdc status show

可选步骤

还原挂起的配置设置

如果确定不再想要更改挂起的配置设置，可以取消暂存这些设置。 这将在所有范围内还原挂起的设置。

azdata bdc settings revert

中止配置升级

如果任何组件的配置升级失败，可以取消升级过程，并将群集返回回其以前的配置。 在升级期间暂存更改的设置将再次列为挂起的设置。

azdata bdc settings cancel-apply

后续步骤

配置 SQL Server 大数据群集