通过

导入与 OpenAI 兼容的语言模型 API

适用于：所有 API 管理层级

可以将 OpenAI 兼容的语言模型终结点作为 API 导入 API 管理实例。 例如，你可能想要管理自承载的 LLM，或者托管在 Azure AI 服务以外的推理提供程序上的 LLM。 使用 API 管理中的 AI 网关策略和其他功能来简化集成，提高可观测性，并增强对模型终结点的控制。

详细了解如何在 API 管理中管理 AI API：

语言模型 API 类型

API 管理支持此方案的两种类型的语言模型 API。 选择适合模型部署的选项。 该选项确定客户端如何调用 API，以及 API 管理实例如何将请求路由到 AI 服务。

  • OpenAI 兼容 - 与 OpenAI API 兼容的语言模型终结点。 示例包括某些由推理提供商公开的模型，例如Hugging Face Text Generation Inference (TGI)。

    API 管理配置与 OpenAI 兼容的聊天完成终结点。

  • 直通 - 与 OpenAI API 不兼容的其他语言模型终结点。 示例包括 Amazon Bedrock 或其他提供商中部署的模型。

    API 管理为常见的 HTTP 谓词配置通配符操作。 客户端可以将路径追加到通配符作，API 管理会将请求传递给后端。

先决条件

使用门户导入语言模型 API

将语言模型 API 导入至 API 管理系统中。

  1. 在 Azure 门户，导航到 API 管理实例。

  2. 在左侧菜单中的 API 下，选择 API>+ 添加 API。

  3. 在 “定义新 API”下，选择 “语言模型 API”。

    在门户中创建与 OpenAI 兼容的 API 的屏幕截图。

  4. 在 “配置 API ”选项卡上：

    1. 输入 API 的显示名称和（可选）说明。
    2. 输入 LLM API 终结点的 URL 。
    3. （可选）选择要与 API 关联的一个或多个 产品 。
    4. 在 Path 中，追加 API 管理实例用于访问 LLM API 终结点的路径。
    5. 在 “类型”中，选择 “创建 OpenAI API ”或 “创建传递 API”。 有关详细信息，请参阅 语言模型 API 类型 。
    6. 在 Access 密钥中，输入用于访问 LLM API 的授权标头名称和 API 密钥（如果需要）。
    7. 选择“下一步”。

    门户中语言模型 API 配置的屏幕截图。

  5. 在 “管理令牌使用 ”选项卡上，可以选择输入设置或接受定义以下策略的默认设置，以帮助监视和管理 API：

  6. 在 “应用语义缓存 ”选项卡上，可以选择输入设置或接受定义策略的默认值，以帮助优化性能并减少 API 的延迟：

  7. 在 AI 内容安全性上，可以选择输入设置或接受默认设置以配置 Azure AI 内容安全服务以阻止包含不安全内容的提示：

  8. 选择“审核”。

  9. 验证设置后，选择“创建”。

测试 LLM API

若要确保 LLM API 按预期工作，请在 API 管理控制台中对其进行测试。

  1. 选择上一步中创建的 API。

  2. 选择“测试”选项卡。

  3. 选择与模型部署兼容的操作。 该页将显示查询参数和标头的字段。

  4. 根据需要输入参数和标头。 根据操作，可能需要配置或更新 请求正文。

    注释

    在测试控制台中，API 管理自动填充 Ocp-Apim-Subscription-Key 标头，并配置内置全访问订阅的订阅密钥。 此密钥允许访问 API 管理实例中的每个 API。 可选择性地通过选择 HTTP 请求旁的“眼睛”图标来显示 Ocp-Apim-Subscription-Key 标头。

  5. 选择发送。

    当测试成功时，后端会使用成功的 HTTP 响应代码和某些数据进行响应。 追加到响应中是令牌使用情况数据，可帮助你监视和管理语言模型令牌消耗。

相关内容