你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

Foundry 模型常见问题解答

如果在本文档中找不到问题的答案,但仍需要帮助查看 Azure AI Foundry 服务(以前已知的 Azure AI 服务)支持选项指南

常规

Azure OpenAI 和 Azure AI Foundry 模型之间的区别是什么?

Azure OpenAI 使客户能够从 OpenAI 访问高级语言模型。 Azure AI Foundry 模型扩展了此类功能,使客户能够在同一服务、终结点和凭据下访问 Azure AI Foundry 中的所有旗舰模型。 它包括 Azure OpenAI、Cohere、Mistral AI、Meta Llama、AI21 Labs 等。客户可以在模型之间无缝切换,而无需更改其代码。

Azure OpenAI 包含在 Foundry Models 中的 Azure 系列直接销售的模型中。

Azure AI 服务和 Azure AI Foundry 有何区别?

Azure AI 服务是一套 AI 服务,可为常见 AI 方案提供预生成 API。 Azure AI 服务是 Azure AI Foundry 平台的一部分。 Azure AI 服务可在 Azure AI Foundry 门户中使用,通过预生成的 AI 功能增强模型。

标准部署和 Foundry 模型之间的区别是什么?

这两项功能都允许在 Azure AI Foundry 中部署模型即服务模型。 但是,它们之间存在一些差异:

  • 涉及的资源:标准部署部署在 AI 项目资源中,而 Foundry 模型是 Azure AI Foundry 资源的一部分。
  • 部署选项:标准部署允许区域部署,而 Foundry 模型允许全球容量下的部署。
  • 模型:Foundry 模型还支持部署 Azure OpenAI 模型。
  • 终结点:标准部署为每个部署创建一个终结点和凭据,而 Foundry 模型则为每个资源创建一个终结点和凭据。
  • 模型路由器:Foundry 模型允许在模型之间切换,而无需使用模型路由器更改代码。

模型

为什么 Azure AI Foundry 服务不支持 Azure AI 模型目录中的所有模型?

Foundry Models 支持 Azure AI 目录中具有标准计费的所有模型。 有关详细信息,请参阅“模型”一文

Azure AI 模型目录包含更广泛的模型列表,但是,这些模型需要订阅中的计算配额。 它们还需要有一个项目或 AI 中心来托管部署。 有关详细信息,请参阅 Azure AI Foundry 中的部署选项

我的公司尚未批准使用的特定模型。 如何防止用户部署它们?

可以使用 Azure 策略限制可用于在 Azure AI 服务中部署的模型。 模型列在目录中,但阻止了部署模型的任何尝试。 使用自定义策略读取控制 AI 模型部署

SDK 和编程语言

Foundry 模型支持的 SDK 和编程语言是什么?

可以将 Azure 推理 SDK 与 Azure AI Foundry 服务 AzureOpenAI 中的 Foundry 模型支持的任何模型、OpenAI SDK 中的类或 Azure OpenAI SDK 配合使用。

连接到 Azure AI 服务时,不支持 Cohere SDK、Mistral SDK 和模型提供商特定的 SDK。

有关详细信息,请参阅支持的 SDK 和编程模型

Foundry 模型是否适用于 OpenAI(版本>=1.0)发布的最新 Python 库?

Azure AI 服务支持最新版本的 OpenAI Python 库(版本>=1.0)

我请求支持 Foundry Models 的模型,但我收到 404 错误。 应采取何种操作?

确保为给定模型创建部署,并且部署名称完全匹配传入 model 参数的值。 虽然路由不区分大小写,但请确保没有特殊的标点符号或空格,因为这些都是常见错误。

我使用的是适用于 Python 的 `azure-ai-inference` 包,尝试使用密钥进行身份验证时遇到 401 错误。 应采取何种操作?

Azure AI 服务资源需要 Python 版本 azure-ai-inference>=1.0.0b5。 确保使用该版本。

我使用的是 OpenAI SDK,并指示 Azure OpenAI 推理终结点作为基 URL(https://<resource-name>.openai.azure.com)。 但是,我收到 404 错误。 应采取何种操作?

确保为 Azure OpenAI 使用正确的终结点和正确的凭据集。 此外,请确保使用 OpenAI SDK 中的 AzureOpenAI 类,因为使用的身份验证机制和 URL 不同。

Foundry 模型是否支持自定义 API 标头? 我们在 API 请求中附加了自定义标头,但出现 HTTP 431 失败错误。

我们的当前 API 最多允许 10 个自定义标头,这些标头通过管道传递并返回。 我们注意到一些客户现在超过了此标头计数,从而导致 HTTP 431 错误。 除了减少标头量之外,此错误没有其他解决方案。 在未来的 API 版本中,我们不再传递自定义标头。 我们不建议你在未来的系统体系结构中依赖自定义标头。

定价与计费

Foundry 模型如何计费?

你需要为 API 的输入和输出(通常为标记形式)付费。 与资源本身或部署无关。

令牌价格因每个模型而异,按照每 1,000 个令牌计费。 在部署给定模型之前,可以查看定价详细信息。 有关计费的详细信息,请参阅管理成本

在哪里可以查看计费详细信息?

计费和成本在 Microsoft成本管理 + 计费中显示。 可以在 Azure 门户中查看使用情况详细信息。

Azure AI Foundry 门户中未显示计费。

如何对账单设置支出限制?

可以在 Azure 门户中Microsoft成本管理 + 计费下设置支出限制。 此限制可防止支出超过所设置的上限。 达到支出限制后,订阅将被禁用,在下一个计费周期之前,将无法使用该终结点。

数据和隐私

合作伙伴和社区的模型如何可用?

模型提供程序提供来自合作伙伴和社区的模型,可用于在 Azure AI 服务中使用标准计费(例如 Meta AI 模型或 Mistral 模型)进行部署,但托管在Microsoft托管的 Azure 基础结构中,并通过 Foundry 模型终结点中的 API 进行访问。 模型提供程序定义许可条款并设置其模型的使用价格,而 Azure AI Services 服务管理托管基础结构,使推理 API 可用,并充当数据处理者,供部署的模型提交和内容输出。 了解 第三方模型的数据隐私和安全性

Global-Standard 部署类型如何处理数据?

对于 Azure AI Services 资源下的模型部署,将使用 Azure 的全局基础结构处理提示和输出,以动态将流量路由到数据中心,并为每个请求提供最佳可用性。 全球标准提供最高的默认配额,且无需跨多个资源进行负载均衡。 静态存储的数据仍保留在指定的 Azure 地理位置中,而数据可能会被处理,以便在任何 Azure 位置进行推理。 详细了解 数据驻留

你是否使用我的公司数据来训练这其中的任何模型?

Foundry 模型不使用客户数据重新训练模型,并且客户数据永远不会与模型提供程序共享。

数据是否与模型提供程序共享?

Microsoft充当数据处理者,用于在 Azure AI 服务资源下向模型部署发送和生成的提示和输出。 Microsoft 不会与模型提供商共享这些提示和输出。 此外,Microsoft 不会使用这些提示和输出来训练或改进 Microsoft 模型、模型提供商的模型或任何第三方模型。 如模型即服务模型部署过程中所述,Microsoft可能会与模型发布者共享客户联系信息和交易详细信息(包括与产品/服务关联的使用量),以便发布者可以与客户联系有关模型的信息。 在访问合作伙伴中心 Microsoft 商业市场的见解中详细了解为模型发布者提供的信息。

客户版权承诺

如何根据客户版权承诺享受权益?

客户版权承诺是 2023 年 12 月 1 日 Microsoft 产品条款中包括的一项规定,其描述了 Microsoft 有义务保护客户免受与输出内容相关的某些非 Microsoft 知识产权索赔。 如果声明的主题是从 Azure OpenAI(或任何其他允许客户配置安全系统的涵盖产品)生成的输出内容,则为了接收覆盖范围,客户必须在提供输出内容的产品/服务中实施 Azure OpenAI 文档所需的所有缓解措施。 此处记录并持续更新了所需的缓解措施。 对于新的服务、功能、模型或用例,新的 CCC 要求将在此类服务、功能、模型或用例启动后发布并生效。 否则,自发布之日起,客户将有六个月的时间实施新的缓解措施,以享受 CCC 的权益。 如果客户提出索赔,则客户需要证明符合相关要求。 涵盖产品需要这些缓解措施,这些缓解措施允许客户配置安全系统,包括 Azure OpenAI;它们不会影响使用其他涵盖产品的客户的覆盖范围。