Spark 的自动缩放计费为 Microsoft Fabric 中的 Spark 工作负载启用无服务器即用即付计算。 启用后,Spark 作业不再消耗共享容量,从而灵活地独立缩放 Spark 工作负载并优化成本。
本指南指导你如何为 Fabric 容量启用自动缩放计费,并为 Spark 作业配置最大容量单位(CU)限制。
要求
- 容量:仅适用于 Fabric F-SKU (F2 及更高版本)。 不支持 P-SKU 和 Fabric 试用容量。
- 访问角色:必须是 Fabric 容量管理员 才能配置自动伸缩计费功能。
重要
启用、禁用或减少 最大容量单位 将取消在自动缩放计费模式下运行的所有活动 Spark 作业,以避免计费重叠。
如何为 Spark 配置自动缩放计费
使用以下步骤为 Fabric 容量启用和管理自动缩放计费设置:
在 “治理和见解 ”部分下,选择 “管理门户”。
在左侧菜单中,选择 “容量设置 ”,然后转到 “构造容量 ”选项卡。
选择要配置的容量。
a。 在“#B0 容量设置”#C1 页中,滚动到“Fabric Spark #C3”#B2 自动缩放计费部分。
b. 打开 自动缩放计费 开关。
选项c. 使用滑块设置要分配给 Spark 作业 的最大容量单位(CU )。
- 可以设置滑块的最大限制,此限制基于 Azure 订阅批准的配额,并且也基于所使用的订阅类型。 可以按照本文档的 “配额管理 ”部分中提到的步骤来增加配额。
- 仅针对使用的计算计费,直到达到此限制。
d。 单击“ 保存” 以应用设置。
注释
- 保存后,Spark 池现在可以利用自动缩放计费设置的新 CU 配额。
- 您可以选择调整容量大小,这是可选项。由于您已将 Spark 工作负载转移到新的计费模型,现在可以优化成本。 这将在 Azure 门户中完成,你必须是 Azure 管理员才能更改 SKU 大小。 为了确保 Spark 中的任何未动用不再计入容量限制,我们强烈建议暂停容量以清除该使用情况并重启它。 下面提供了有关如何执行此作的说明。
(可选)调整容量大小并重置容量以优化成本
启用自动缩放计费后,如果 Spark 工作负载不再使用它,则可以缩减 Fabric 容量。 在 Azure 门户中执行以下步骤:
转到 Azure 门户。
搜索并选择您的Fabric 容量。
单击“ 暂停 ”可暂时停止容量。
这会清除共享容量上任何活动或未动乱的 Spark 使用情况。
等待 5 分钟,然后单击 #B0“恢复”#C1 重启容量。
现在,将容量调整为适合剩余工作负荷的较低 SKU(例如 Power BI、数据仓库、Real-Time Intelligence、Databases)。
注释
只有 Azure 管理员可以调整 SKU 的大小。 此更改是在 Azure 门户中进行的,而不是在 Fabric 设置中进行的。
监视计费和使用情况
启用自动缩放计费后,使用 Azure 的内置成本管理工具跟踪计算使用情况:
导航到 Azure 门户。
选择链接到 Fabric 容量的 订阅 。
在订阅页中,转到 成本分析。
按资源(构造容量)进行筛选并使用计量:
Autoscale for Spark Capacity Usage CU
使用自动缩放计费查看 Spark 工作负载的实时计算支出。
请求其他配额
如果数据工程或数据科学工作负荷的配额高于当前最大容量单位(CU)限制,可以通过 Azure 配额页请求增加:
- 访问 Azure 门户并登录。
- 在搜索栏中,键入并选择“Azure 配额”。
- 从可用服务列表中选择 Microsoft Fabric。
- 选择与 Fabric 容量关联的订阅。
- 输入要获取的新 CU 限制来编辑配额限制。
- 提交配额请求。
请求获得批准后,新的 CU 限制将刷新并应用于 Fabric 容量。 这可确保自动缩放计费模型可以适应增加的需求,而不会中断 Spark 工作负载。