在 Microsoft Fabric 中为 Spark 配置自动缩放计费(预览版)

Spark 的自动缩放计费为 Microsoft Fabric 中的 Spark 工作负载启用无服务器即用即付计算。 启用后,Spark 作业不再消耗共享容量,从而灵活地独立缩放 Spark 工作负载并优化成本。

本指南指导你如何为 Fabric 容量启用自动缩放计费,并为 Spark 作业配置最大容量单位(CU)限制。

要求

  • 容量:仅适用于 Fabric F-SKU (F2 及更高版本)。 不支持 P-SKUFabric 试用容量
  • 访问角色:必须是 Fabric 容量管理员 才能配置自动伸缩计费功能。

重要

启用、禁用或减少 最大容量单位 将取消在自动缩放计费模式下运行的所有活动 Spark 作业,以避免计费重叠。

如何为 Spark 配置自动缩放计费

使用以下步骤为 Fabric 容量启用和管理自动缩放计费设置:

  1. 导航到 Microsoft Fabric 管理门户

  2. “治理和见解 ”部分下,选择 “管理门户”。

  3. 在左侧菜单中,选择 “容量设置 ”,然后转到 “构造容量 ”选项卡。

  4. 选择要配置的容量。

    a。 在“#B0 容量设置”#C1 页中,滚动到“Fabric Spark #C3”#B2 自动缩放计费部分。

    b. 打开 自动缩放计费 开关。

    选项c. 使用滑块设置要分配给 Spark 作业 的最大容量单位(CU )。

    • 可以设置滑块的最大限制,此限制基于 Azure 订阅批准的配额,并且也基于所使用的订阅类型。 可以按照本文档的 “配额管理 ”部分中提到的步骤来增加配额。
    • 仅针对使用的计算计费,直到达到此限制。

    显示容量设置中的“自动缩放计费”切换和 CU 滑块的屏幕截图。

    d。 单击“ 保存” 以应用设置。

注释

  • 保存后,Spark 池现在可以利用自动缩放计费设置的新 CU 配额。
  • 您可以选择调整容量大小,这是可选项。由于您已将 Spark 工作负载转移到新的计费模型,现在可以优化成本。 这将在 Azure 门户中完成,你必须是 Azure 管理员才能更改 SKU 大小。 为了确保 Spark 中的任何未动用不再计入容量限制,我们强烈建议暂停容量以清除该使用情况并重启它。 下面提供了有关如何执行此作的说明。

(可选)调整容量大小并重置容量以优化成本

启用自动缩放计费后,如果 Spark 工作负载不再使用它,则可以缩减 Fabric 容量。 在 Azure 门户中执行以下步骤:

  1. 转到 Azure 门户

  2. 搜索并选择您的Fabric 容量

  3. 单击“ 暂停 ”可暂时停止容量。

    这会清除共享容量上任何活动或未动乱的 Spark 使用情况。

  4. 等待 5 分钟,然后单击 #B0“恢复”#C1 重启容量。

  5. 现在,将容量调整为适合剩余工作负荷的较低 SKU(例如 Power BI、数据仓库、Real-Time Intelligence、Databases)。

注释

只有 Azure 管理员可以调整 SKU 的大小。 此更改是在 Azure 门户中进行的,而不是在 Fabric 设置中进行的。

监视计费和使用情况

启用自动缩放计费后,使用 Azure 的内置成本管理工具跟踪计算使用情况:

  1. 导航到 Azure 门户

  2. 选择链接到 Fabric 容量的 订阅

  3. 在订阅页中,转到 成本分析

  4. 按资源(构造容量)进行筛选并使用计量:

    • Autoscale for Spark Capacity Usage CU
  5. 使用自动缩放计费查看 Spark 工作负载的实时计算支出。

    显示如何在 Azure 成本分析中跟踪 Spark 使用情况的屏幕截图。

请求其他配额

如果数据工程或数据科学工作负荷的配额高于当前最大容量单位(CU)限制,可以通过 Azure 配额页请求增加:

  1. 访问 Azure 门户并登录。
  2. 在搜索栏中,键入并选择“Azure 配额”。
  3. 从可用服务列表中选择 Microsoft Fabric
  4. 选择与 Fabric 容量关联的订阅。
  5. 输入要获取的新 CU 限制来编辑配额限制。
  6. 提交配额请求。

显示如何通过在 Azure 门户的 Azure 配额页获取更多配额来提升 Fabric 资源配额的图示。

请求获得批准后,新的 CU 限制将刷新并应用于 Fabric 容量。 这可确保自动缩放计费模型可以适应增加的需求,而不会中断 Spark 工作负载。