你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn。
配额使你可以灵活、主动地管理订阅中不同部署的速率上限的分配。 本文介绍如何在 Foundry 模型中管理 Azure AI Foundry 虚拟机和 Azure OpenAI 的配额。
Azure 使用限制和配额来防止由于欺诈导致的预算超支,并遵循 Azure 容量约束。 这也是控制管理员成本的好方法。 对于生产工作负载,请在缩放时考虑这些限制。
在本文中,你将了解:
- Azure 资源的默认限制
- 创建 Azure AI Foundry 中心级配额。
- 查看配额和限制
- 请求增加配额和限制
配额使你可以灵活、主动地管理订阅中不同部署的速率上限的分配。 本文介绍在 Foundry 模型中管理 Azure OpenAI 配额的过程。
Azure 使用限制和配额来防止由于欺诈导致的预算超支,并遵循 Azure 容量约束。 这也是控制管理员成本的好方法。 对于生产工作负载,请在缩放时考虑这些限制。
在本文中,你将了解:
- 查看配额和限制
- 请求增加配额和限制
特殊注意事项
配额将应用于帐户中的每个订阅。 如果有多个订阅,则必须为每个订阅请求增加配额。
配额是 Azure 资源的额度限制,不是容量保证。 如果有大规模容量需求,请与 Azure 支持部门联系来增加你的配额。
注释
Azure AI Foundry 计算具有与核心计算配额不同的配额。
默认限制因产品/服务类别类型而异,例如免费试用、标准部署和虚拟机 (VM) 系列(如 Dv2、F 和 G)。
Azure AI Foundry 配额
Azure AI Foundry 门户中的以下操作使用配额:
- 创建计算实例。
- 生成矢量索引。
- 从模型目录部署开放模型。
Azure AI Foundry 计算
Azure AI Foundry 计算对核心数和订阅中每个区域允许的唯一计算资源数具有默认配额限制。
- 核心数的配额按每个 VM 系列和累计总核心数进行拆分。
- 每个区域唯一计算资源数的配额独立于 VM 核心配额,因为它仅适用于托管计算资源
要提高计算限制,可以在 Azure AI Foundry 中请求增加配额。
可用资源包括:
- 每个区域的专用核心数的默认限制为 24 到 300 个,具体取决于订阅套餐的类型。 你可以为每个 VM 系列提高每个订阅的专用核心数。 专业化 VM 系列(例如 NCv2、NCv3 或 ND 系列)最初的默认限制为零个核心。 GPU 也默认为零核。
- 在给定订阅中,每个区域的总计算默认限制为500。 每个区域的限制最多可以增加到2500。 此限制在计算实例与托管联机终结点部署之间共享。 就配额用途来说,可以将计算实例视为单节点群集。 若要提高总计算限制,请创建联机客户支持请求。
打开支持请求以增加总计算限制时,请提供以下信息:
Azure AI Foundry 共享配额
Azure AI Foundry 提供了一个共享配额池,可供不同区域的不同用户同时使用。 根据可用性,用户可以暂时从共享池访问配额,并在有限的时间内使用配额执行测试。 具体持续时间取决于用例。 如果暂时使用配额池中的配额,则无需为短期提高配额而提交支持票证,也无需等待配额请求获得批准,即可继续处理工作负载。
共享配额池可用于从模型目录测试 Llama-2、Phi、Nemotron、Mistral、Dolly 和 Deci-DeciLM 模型的推理。 应仅将共享配额用于创建临时测试终结点,而不要用于创建生产终结点。 对于生产中的终结点,应请求专用配额。 共享配额的计费基于使用情况。
在 Azure AI Foundry 门户中查看和请求配额
使用配额管理同一订阅中多个基于中心的项目的计算目标分配和模型配额。
默认情况下,所有中心共享与 VM 系列订阅级配额相同的配额。 但是,可以为单个 VM 系列设置最大配额,以便对订阅中的中心进行更精细的成本控制和治理。 单个 VM 系列的配额允许共享容量并避免资源争用问题。
使用配额管理同一订阅中多个 Foundry 项目之间的模型配额分配
在 Azure AI Foundry 门户中,从左侧菜单底部选择 管理中心 。
从左侧菜单中,选择“配额”。
在配额视图中,可以看到所选 Azure 区域中模型的配额。 若要请求配额,请选择模型,然后选择“ 请求配额”。
- 使用“显示所有配额”切换开关来显示所有配额或仅显示当前分配的配额。
- 使用“分组依据”下拉列表按“配额类型、区域和模型”、“配额类型、模型和区域”或“无”对列表进行分组。 “无”分组显示模型部署列表。
- 展开分组以查看有关特定模型部署的信息。 查看模型部署时,选择“配额分配”列中的铅笔图标,以编辑模型部署的配额分配。
- 使用页面一侧的图表查看有关配额使用情况的更多详细信息。 图表是交互式的;将鼠标悬停在图表的某一部分上会显示更多信息,选择图表会筛选模型列表。 选择图表图例会筛选图表中显示的数据。
- 使用 Azure OpenAI Provisioned 链接查看有关预配模型的信息,包括容量计算器。
选择“VM 配额”链接时,可以查看所选 Azure 区域中虚拟机系列的配额和使用情况。 若要请求配额,请选择 VM 系列,然后选择“ 请求配额”。
小窍门
如果未看到 VM 配额 链接,则选择 管理中心时正在查看 Foundry 项目项目。 使用“所有资源”链接,然后选择“类型”包含“父资源:名称(中心)”的项目,再从左侧菜单中选择“配额”。
在 Azure AI Foundry 门户中,从左侧菜单底部选择 管理中心 。
从左侧菜单中,选择“配额”。
在配额视图中,可以看到所选 Azure 区域中模型的配额。 若要请求配额,请选择模型,然后选择“ 请求配额”。
- 使用“显示所有配额”切换开关来显示所有配额或仅显示当前分配的配额。
- 使用“分组依据”下拉列表按“配额类型、区域和模型”、“配额类型、模型和区域”或“无”对列表进行分组。 “无”分组显示模型部署列表。
- 展开分组以查看有关特定模型部署的信息。 查看模型部署时,选择“配额分配”列中的铅笔图标,以编辑模型部署的配额分配。
- 使用页面一侧的图表查看有关配额使用情况的更多详细信息。 图表是交互式的;将鼠标悬停在图表的某一部分上会显示更多信息,选择图表会筛选模型列表。 选择图表图例会筛选图表中显示的数据。
- 使用 Azure OpenAI Provisioned 链接查看有关预配模型的信息,包括容量计算器。