通过

你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

Azure AI Foundry 门户中用于流的 LLM 工具

重要

本文中标记了“（预览版）”的项目目前为公共预览版。 此预览版未提供服务级别协议，不建议将其用于生产工作负载。 某些功能可能不受支持或者受限。 有关详细信息，请参阅 Microsoft Azure 预览版补充使用条款。

若要使用大型语言模型 (LLM) 进行自然语言处理，请使用提示流 LLM 工具。

注释

有关将文本转换为密集矢量表示形式以执行各种自然语言处理任务的嵌入，请参阅 Embedding 工具。

先决条件

按照提示工具文档中的说明准备提示。 LLM 工具和 Prompt 工具都支持 Jinja 模板。 有关更多信息和最佳做法，请参阅提示工程技术。

使用 LLM 工具进行生成

  1. 在 Azure AI Foundry 中创建或打开流。 有关详细信息，请参阅创建流。

  2. 选择“+ LLM”，将 LLM 工具添加到流中。

    屏幕截图显示已在 Azure AI Foundry 门户中向流添加 LLM 工具。

  3. 选择与所预配的资源之一的连接。 例如，选择“Default_AzureOpenAI”。

  4. 从“Api”下拉列表中选择“聊天”或“补全”。

  5. 输入文本补全输入表中描述的 LLM 工具输入参数的值。 如果选择了“聊天”API，请参阅聊天输入表。 如果选择了“补全”API，请参阅文本补全输入表。 若要了解如何准备提示输入，请参阅先决条件。

  6. 根据需要向流添加更多工具。 或者，选择“运行”以运行流。

  7. 输出表中介绍了输出。

输入

以下输入参数可用。

文本补全输入

名称 类型 DESCRIPTION 必选
提示 字符串 语言模型的文本提示。 是的
model、deployment_name 字符串 要使用的语言模型。 是的
max_tokens 整数 完成时要生成的最大令牌数。 默认值为 16。 否
温度 漂浮 生成的文本的随机性。 默认值为 1。 否
停 列表 生成的文本的停止序列。 默认值为 null。 否
后缀 字符串 追加到补全内容末尾的文本。 否
top_p 漂浮 使用所生成令牌中的最高选项的概率。 默认值为 1。 否
logprobs 整数 要生成的对数概率数。 默认值为 null。 否
回波 布尔 指示是否回显响应中的提示的值。 默认值为 false。 否
presence_penalty 漂浮 控制模型在重复短语方面的行为的值。 默认为 0。 否
frequency_penalty 漂浮 控制模型在生成罕见短语方面的行为的值。 默认为 0。 否
best_of 整数 要生成的最佳补全数。 默认值为 1。 否
logit_bias 字典 语言模型的分对数偏差。 默认值为空字典。 否

聊天输入

名称 类型 DESCRIPTION 必选
提示 字符串 语言模型应答复的文本提示。 是的
model、deployment_name 字符串 要使用的语言模型。 是的
max_tokens 整数 在响应中生成的最大令牌数。 默认为 inf。 否
温度 漂浮 生成的文本的随机性。 默认值为 1。 否
停 列表 生成的文本的停止序列。 默认值为 null。 否
top_p 漂浮 使用所生成令牌中的最高选项的概率。 默认值为 1。 否
presence_penalty 漂浮 控制模型在重复短语方面的行为的值。 默认为 0。 否
frequency_penalty 漂浮 控制模型在生成罕见短语方面的行为的值。 默认为 0。 否
logit_bias 字典 语言模型的分对数偏差。 默认值为空字典。 否

输出

输出根据你为输入选择的 API 的不同而有所不同。

API（应用程序编程接口） 返回类型 DESCRIPTION
补全 字符串 一个预测补全的文本。
聊天 字符串 对话的一个响应的文本。

后续步骤