你当前正在访问 Microsoft Azure Global Edition 技术文档网站。如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

LLM 工具

使用提示流中的大型语言模型（LLM）工具，可以利用 Azure AI Foundry 模型中的 OpenAI 或 Azure OpenAI 等广泛使用的大型语言模型，或者 Azure AI 模型推理 API 支持的任何语言模型，以便进行自然语言处理。

提示流提供几个不同的大型语言模型 API：

注意

我们从 LLM 工具 API 设置中删除了 embedding 该选项。可以将嵌入 API 与嵌入工具一起使用。 Azure OpenAI 连接仅支持基于密钥的身份验证。请不要在 Azure OpenAI 资源的资源组名称中使用非 ascii 字符，提示流不支持这种情况。

先决条件

创建 OpenAI 资源：

OpenAI：
- 在 OpenAI 网站上注册帐户。
- 登录并查找个人 API 密钥。
Azure OpenAI：
- 按照这些说明创建 Azure OpenAI 资源。
部署到标准部署的模型
- 从感兴趣的目录中创建包含模型的终结点，并使用标准部署部署来部署该终结点。
- 若要使用部署到 Azure AI 模型推理 API 支持的标准部署的模型，例如 Mistral、Cohere、Meta Llama 或 Microsoft 系列模型（等等），需要在项目中创建到终结点的连接

在提示流中设置与预配资源的连接。

类型	名称	API 密钥	API 类型	API 版本
OpenAI	必需	必需	-	-
Azure OpenAI - API 密钥	必需	必需	必需	必需
Azure OpenAI - Microsoft Entra ID	必需	-	-	必需
无服务器模型	必需	必需	-	-

提示

若要对 Azure OpenAI 连接使用 Microsoft Entra ID 身份验证类型，需要为用户或用户分配的托管标识分配 Cognitive Services OpenAI User 或 Cognitive Services OpenAI Contributor role。
详细了解如何指定使用用户标识提交流运行。
详细了解如何使用托管标识配置 Azure OpenAI。

以下部分显示了各种输入。

名称	类型	描述	必需
提示	字符串	语言模型用于响应的文本提示。	是
model、deployment_name	字符串	要使用的语言模型。如果模型部署到标准部署，则不需要此参数。	是*
max_tokens	整数	要在响应中生成的最大令牌数。默认为 inf。	否
温度	FLOAT	所生成文本的随机性。默认值为 1。	否
停	列表	所生成文本的停止序列。默认值为 null。	否
top_p	FLOAT	使用所生成令牌中首选项的概率。默认值为 1。	否
presence_penalty	FLOAT	用于控制模型重复短语的行为的值。默认为 0。	否
frequency_penalty	FLOAT	用于控制模型生成罕见短语的行为的值。默认为 0。	否
logit_bias	字典	语言模型的 Logit 偏差。默认值为空字典。	否

API（应用程序编程接口）	返回类型	描述
补全	字符串	一个预测完成的文本
聊天	字符串	对话的一个响应的文本