快速入门：在 AI 聊天中使用图像

使用本文开始使用 Azure AI Foundry，以部署和测试具有图像理解功能的聊天完成模型。

先决条件

• Azure 订阅。 免费创建一个。
• 拥有 Azure 订阅后，请创建 Azure OpenAI 资源。 有关资源创建的详细信息，请参阅资源部署指南。
• 一个 Azure AI Foundry 项目，其中添加了你的 Azure OpenAI 资源作为连接。

准备媒体

需要一个图像才能完成本快速入门。 可以使用以下图像或任何其他可用的图像。

转到 Azure AI Foundry

1. 浏览到 Azure AI Foundry，然后使用与 Azure OpenAI 资源关联的凭据登录。 在登录过程中或登录之后，选择适当的目录、Azure 订阅和 Azure OpenAI 资源。
2. 选择要处理的项目。
3. 在左侧导航菜单中，选择“模型 + 终结点”，然后选择“+ 部署模型”。
4. 通过选择模型名称选择支持映像的部署：gpt-4o 或 gpt-4o-mini。 在显示的窗口中，选择名称和部署类型。 确保已连接 Azure OpenAI 资源。 有关模型部署的详细信息，请参阅资源部署指南。
5. 选择“部署”。
6. 接下来，选择新模型，然后选择“在操场中打开”。 在聊天操场中，应在“部署”下拉列表中选择已创建的部署。

操场

在此聊天会话中，你将指示助手来帮助理解你输入的图像。

有关助手设置、聊天会话、设置和面板的一般帮助，请参阅聊天快速入门。

启动聊天会话来分析图像

在此聊天会话中，你将指示助手来帮助理解你输入的图像。

1. 若要开始，请确保在“部署”下拉列表中选择支持映像的部署。

2. 在“设置”面板的上下文文本框中，提供以下提示来指导助手：，也可以根据图像或方案定制该提示。"You're an AI assistant that helps people find information."

   注意

   我们建议更新系统消息，使之与任务具体相关，以免模型做出无用的响应。

3. 选择“应用更改”以保存更改。

4. 在聊天会话窗格中，选择附件按钮，然后“上传图像”。 选择图像。

5. 在聊天字段中添加以下提示：Describe this image，然后选择发送图标以提交它。

6. 发送图标将替换为停止按钮。 如果选择该按钮，助手会停止处理你的请求。 对于本快速入门，请让助手完成其回复。

7. 助手会使用图像的描述进行回复。

8. 提出与图像分析相关的后续问题。 你可以输入 "What should I highlight about this image to my insurance company?"。

9. 你应会收到类似于此处所示内容的相关响应：

   When reporting the incident to your insurance company, you should highlight the following key points from the image:  
   
   1. **Location of Damage**: Clearly state that the front end of the car, particularly the driver's side, is damaged. Mention the crumpled hood, broken front bumper, and the damaged left headlight.  
   
   2. **Point of Impact**: Indicate that the car has collided with a guardrail, which may suggest that no other vehicles were involved in the accident.  
   
   3. **Condition of the Car**: Note that the damage seems to be concentrated on the front end, and there is no visible damage to the windshield or rear of the car from this perspective.  
   
   4. **License Plate Visibility**: Mention that the license plate is intact and can be used for identification purposes.  
   
   5. **Environment**: Report that the accident occurred near a roadside with a guardrail, possibly in a rural or semi-rural area, which might help in establishing the accident ___location and context.  
   
   6. **Other Observations**: If there were any other circumstances or details not visible in the image that may have contributed to the accident, such as weather conditions, road conditions, or any other relevant information, be sure to include those as well.  
   
   Remember to be factual and descriptive, avoiding speculation about the cause of the accident, as the insurance company will conduct its own investigation.
   

查看和导出代码

在聊天会话中的任何时间点，你都可以启用聊天窗口顶部的“显示原始 JSON”开关来查看 JSON 格式的对话。 快速入门聊天会话开始时如下所示：

[
	{
		"role": "system",
		"content": [
			"You are an AI assistant that helps people find information."
		]
	},
]

清理资源

如果你想要清理和删除 OpenAI 资源，可以删除资源或资源组。 删除资源组同时也会删除与之相关联的任何其他资源。

• Azure 门户
• Azure CLI

按照本文的要求，开始通过 Azure OpenAI REST API 来部署和使用 GPT-4 Turbo with Vision 模型。

先决条件

• Azure 订阅。 免费创建一个。
• Python 3.8 或更高版本。
• 以下 Python 库：requests、json。
• Azure AI Foundry 中的 Azure OpenAI 模型资源，其中已部署带有视觉的 GPT-4 Turbo 模型。 请参阅适用区域的 GPT-4 和 GPT-4 Turbo 预览版模型可用性。 有关资源创建的详细信息，请参阅资源部署指南。

检索密钥和终结点

若要成功调用 Azure OpenAI API，需要有关 Azure OpenAI 资源的以下信息：

在 Azure 门户中转到你的资源。 在导航窗格中，选择“资源管理”下的“密钥和终结点”。 复制“终结点”值和访问密钥值。 可以使用 KEY 1 或 KEY 2 值。 准备好两个密钥可以安全地轮换和重新生成密钥，而不会导致服务中断。

创建新的 Python 应用程序

创建名为“quickstart.py”的新 Python 文件。 在首选编辑器或 IDE 中打开新文件。

1. 将 quickstart.py 的内容替换为以下代码。

   # Packages required:
   import requests 
   import json 
   
   api_base = '<your_azure_openai_endpoint>' 
   deployment_name = '<your_deployment_name>'
   API_KEY = '<your_azure_openai_key>'
   
   base_url = f"{api_base}openai/deployments/{deployment_name}" 
   headers = {   
       "Content-Type": "application/json",   
       "api-key": API_KEY 
   } 
   
   # Prepare endpoint, headers, and request body 
   endpoint = f"{base_url}/chat/completions?api-version=2023-12-01-preview" 
   data = { 
       "messages": [ 
           { "role": "system", "content": "You are a helpful assistant." }, 
           { "role": "user", "content": [  
               { 
                   "type": "text", 
                   "text": "Describe this picture:" 
               },
               { 
                   "type": "image_url",
                   "image_url": {
                       "url": "<image URL>"
                   }
               }
           ] } 
       ], 
       "max_tokens": 2000 
   }   
   
   # Make the API call   
   response = requests.post(endpoint, headers=headers, data=json.dumps(data))   
   
   print(f"Status Code: {response.status_code}")   
   print(response.text)
   

2. 做出以下更改：

   1. 在相应的字段中输入终结点 URL 和密钥。
   2. 在相应字段中输入 GPT-4 Turbo with Vision 部署名称。
   3. 将 "image" 字段的值更改为图像的 URL。

      提示

      还可以使用 base 64 编码的图像数据代替 URL。 有关详细信息，请参阅 GPT-4 Turbo with Vision 操作指南。

3. 使用 python 命令运行应用程序：

   python quickstart.py
   

清理资源

如果你想要清理和删除 OpenAI 资源，可以删除资源或资源组。 删除资源组同时也会删除与之相关联的任何其他资源。

• Azure 门户
• Azure CLI

按照本文的要求，开始通过 Azure OpenAI Python SDK 来部署和使用 GPT-4 Turbo with Vision 模型。

库源代码 | 包 (PyPi) |

先决条件

• Azure 订阅。 免费创建一个。
• Python 3.8 或更高版本。
• 以下 Python 库：os
• Azure AI Foundry 中的 Azure OpenAI 模型资源，其中已部署带有视觉的 GPT-4 Turbo 模型。 请参阅适用区域的 GPT-4 和 GPT-4 Turbo 预览版模型可用性。 有关资源创建的详细信息，请参阅资源部署指南。

设置

使用以下项安装 OpenAI Python 客户端库：

pip install openai

检索密钥和终结点

若要成功对 Azure OpenAI 发出调用，需要一个终结点和一个密钥。

在 Azure 门户中转到你的资源。 可在“资源管理”部分中找到“密钥和终结点”部分。 复制终结点和访问密钥，因为在对 API 调用进行身份验证时需要这两项。 可以使用 KEY1 或 KEY2。 始终准备好两个密钥可以安全地轮换和重新生成密钥，而不会导致服务中断。

环境变量

为密钥和终结点创建和分配持久环境变量。

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE" 
setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE" 

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')
[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE"
export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE"

创建新的 Python 应用程序

创建名为“quickstart.py”的新 Python 文件。 在首选编辑器或 IDE 中打开新文件。

1. 将 quickstart.py 的内容替换为以下代码。

   from openai import AzureOpenAI
   
   api_base = os.getenv("AZURE_OPENAI_ENDPOINT")
   api_key= os.getenv("AZURE_OPENAI_API_KEY")
   deployment_name = '<your_deployment_name>'
   api_version = '2023-12-01-preview' # this might change in the future
   
   client = AzureOpenAI(
       api_key=api_key,  
       api_version=api_version,
       base_url=f"{api_base}/openai/deployments/{deployment_name}"
   )
   
   response = client.chat.completions.create(
       model=deployment_name,
       messages=[
           { "role": "system", "content": "You are a helpful assistant." },
           { "role": "user", "content": [  
               { 
                   "type": "text", 
                   "text": "Describe this picture:" 
               },
               { 
                   "type": "image_url",
                   "image_url": {
                       "url": "<image URL>"
                   }
               }
           ] } 
       ],
       max_tokens=2000 
   )
   
   print(response)
   

2. 做出以下更改：

   1. 在相应字段中输入 GPT-4 Turbo with Vision 部署的名称。
   2. 将 "url" 字段的值更改为图像的 URL。

      提示

      还可以使用 base 64 编码的图像数据代替 URL。 有关详细信息，请参阅 GPT-4 Turbo with Vision 操作指南。

3. 使用 python 命令运行应用程序：

   python quickstart.py
   

清理资源

如果你想要清理和删除 OpenAI 资源，可以删除资源或资源组。 删除资源组同时也会删除与之相关联的任何其他资源。

• Azure 门户
• Azure CLI

按照本文的要求，开始通过 OpenAI JavaScript SDK 来部署和使用 GPT-4 Turbo with Vision 模型。

此 SDK 由 OpenAI 提供，Azure 则提供特定于 Azure 的类型。

参考文档 | 库源代码 | 包 (npm) | 示例

先决条件

• Azure 订阅 - 免费创建订阅
• LTS 版本的 Node.js
• Azure CLI用于本地开发环境中的无密码身份验证，请使用 Azure CLI 登录以创建必要的上下文。
• 在受支持的区域中创建的 Azure OpenAI 资源（请参阅区域可用性）。 有关详细信息，请参阅使用 Azure OpenAI 创建资源和部署模型。

Microsoft Entra ID 先决条件

若要使用 Microsoft Entra ID 进行推荐的无密钥身份验证，你需要：

• 安装使用 Microsoft Entra ID 进行无密钥身份验证所需的 Azure CLI。
• 将Cognitive Services User角色分配给用户帐户。 你可以在 Azure 门户的“访问控制(IAM)”“添加角色分配”下分配角色。>

设置

1. 创建新文件夹 vision-quickstart，并使用以下命令转到快速入门文件夹：

   mkdir vision-quickstart && cd vision-quickstart
   

2. 使用以下命令创建 package.json：

   npm init -y
   

3. 使用以下命令安装适用于 JavaScript 的 OpenAI 客户端库：

   npm install openai
   

4. 对于推荐的无密码身份验证：

   npm install @azure/identity
   

检索资源信息

需要检索以下信息才能使用 Azure OpenAI 资源对应用程序进行身份验证：

创建用于图像提示的新 JavaScript 应用程序

从 azure-samples/cognitive-services-sample-data-files 中选择一个映像。 使用下面的代码中的图像 URL，或将 IMAGE_URL 环境变量设置为图像 URL。

清理资源

如果你想要清理和删除 OpenAI 资源，可以删除资源或资源组。 删除资源组同时也会删除与之相关联的任何其他资源。

• Azure 门户
• Azure CLI

按照本文的要求，开始通过 OpenAI JavaScript SDK 来部署和使用 GPT-4 Turbo with Vision 模型。

此 SDK 由 OpenAI 提供，Azure 则提供特定于 Azure 的类型。

参考文档 | 库源代码 | 包 (npm) | 示例

先决条件

• Azure 订阅 - 免费创建订阅
• LTS 版本的 Node.js
• TypeScript
• Azure CLI用于本地开发环境中的无密码身份验证，请使用 Azure CLI 登录以创建必要的上下文。
• 在受支持的区域中创建的 Azure OpenAI 资源（请参阅区域可用性）。 有关详细信息，请参阅使用 Azure OpenAI 创建资源和部署模型。

Microsoft Entra ID 先决条件

若要使用 Microsoft Entra ID 进行推荐的无密钥身份验证，你需要：

• 安装使用 Microsoft Entra ID 进行无密钥身份验证所需的 Azure CLI。
• 将Cognitive Services User角色分配给用户帐户。 你可以在 Azure 门户的“访问控制(IAM)”“添加角色分配”下分配角色。>

设置

1. 创建新文件夹 vision-quickstart，并使用以下命令转到快速入门文件夹：

   mkdir vision-quickstart && cd vision-quickstart
   

2. 使用以下命令创建 package.json：

   npm init -y
   

3. 使用以下命令将 package.json 更新为 ECMAScript：

   npm pkg set type=module
   

4. 使用以下命令安装适用于 JavaScript 的 OpenAI 客户端库：

   npm install openai
   

5. 对于推荐的无密码身份验证：

   npm install @azure/identity
   

检索资源信息

需要检索以下信息才能使用 Azure OpenAI 资源对应用程序进行身份验证：

创建用于图像提示的新 JavaScript 应用程序

从 azure-samples/cognitive-services-sample-data-files 中选择一个映像。 使用下面的代码中的图像 URL，或将 IMAGE_URL 环境变量设置为图像 URL。

清理资源

如果你想要清理和删除 OpenAI 资源，可以删除资源或资源组。 删除资源组同时也会删除与之相关联的任何其他资源。

• Azure 门户
• Azure CLI

按照本文的要求，开始通过 Azure OpenAI .NET SDK 来部署和使用 GPT-4 Turbo with Vision 模型。

先决条件

• Azure 订阅。 可以免费创建一个帐户。
• The .NET 8.0 SDK
• Azure AI Foundry 中的 Azure OpenAI 模型资源，其中已部署带有视觉的 GPT-4 Turbo 模型。 请参阅适用区域的 GPT-4 和 GPT-4 Turbo 预览版模型可用性。 有关资源创建的详细信息，请参阅资源部署指南。

Microsoft Entra ID 先决条件

若要使用 Microsoft Entra ID 进行推荐的无密钥身份验证，你需要：

• 安装使用 Microsoft Entra ID 进行无密钥身份验证所需的 Azure CLI。
• 将Cognitive Services User角色分配给用户帐户。 你可以在 Azure 门户的“访问控制(IAM)”“添加角色分配”下分配角色。>

设置

1. 创建新文件夹 vision-quickstart，并使用以下命令转到快速入门文件夹：

   mkdir vision-quickstart && cd vision-quickstart
   

2. 使用以下命令创建新的控制台应用程序：

   dotnet new console
   

3. 使用 dotnet add package 命令安装 OpenAI .NET 客户端库：

   dotnet add package Azure.AI.OpenAI
   

4. 若要使用 Microsoft Entra ID 进行推荐的无密钥身份验证，请使用以下命令安装 Azure.Identity 包：

   dotnet add package Azure.Identity
   

5. 若要使用 Microsoft Entra ID 进行推荐的无密钥身份验证，请使用以下命令登录到 Azure：

   az login
   

检索资源信息

需要检索以下信息才能使用 Azure OpenAI 资源对应用程序进行身份验证：

运行快速入门

本快速入门中的示例代码使用 Microsoft Entra ID 进行推荐的无密钥身份验证。 如果希望使用 API 密钥，可以将 DefaultAzureCredential 对象替换为 AzureKeyCredential 对象。

AzureOpenAIClient openAIClient = new AzureOpenAIClient(new Uri(endpoint), new DefaultAzureCredential()); 

AzureOpenAIClient openAIClient = new AzureOpenAIClient(new Uri(endpoint), new AzureKeyCredential(key));

若要运行快速入门，请执行以下步骤：

1. 将 Program.cs 的内容替换为以下代码，并将占位符值更新为你自己的值。

   using Azure;
   using Azure.AI.OpenAI;
   using Azure.Identity;
   using OpenAI.Chat; // Required for Passwordless auth
   
   string deploymentName = "gpt-4";
   
   string endpoint = Environment.GetEnvironmentVariable("AZURE_OPENAI_ENDPOINT") ?? "https://<your-resource-name>.openai.azure.com/";
   string key = Environment.GetEnvironmentVariable("AZURE_OPENAI_API_KEY") ?? "<your-key>";
   
   // Use the recommended keyless credential instead of the AzureKeyCredential credential.
   AzureOpenAIClient openAIClient = new AzureOpenAIClient(new Uri(endpoint), new DefaultAzureCredential()); 
   //AzureOpenAIClient openAIClient = new AzureOpenAIClient(new Uri(endpoint), new AzureKeyCredential(key));
   
   var chatClient = openAIClient.GetChatClient(deploymentName);
   
   var imageUrl = "YOUR_IMAGE_URL";
   
   var chatMessages = new List<ChatMessage>
   {
       new SystemChatMessage("You are a helpful assistant."),
       new UserChatMessage($"Describe this picture: {imageUrl}")
   };
   
   ChatCompletion chatCompletion = await chatClient.CompleteChatAsync(chatMessages);
   
   Console.WriteLine($"[ASSISTANT]:");
   Console.WriteLine($"{chatCompletion.Content[0].Text}");
   

2. 使用 dotnet run 命令或 Visual Studio 顶部的运行按钮运行应用程序：

   dotnet run
   

输出

应用程序的输出将是变量中 imageUri 提供的图像的说明。 助手将分析图像，并根据图像内容提供详细说明。

清理资源

如果你想要清理和删除 OpenAI 资源，可以删除资源或资源组。 删除资源组同时也会删除与之相关联的任何其他资源。

• Azure 门户
• Azure CLI