Compartir a través de

Emisión de métricas para el consumo de tokens de Azure OpenAI

SE APLICA A: todos los niveles de API Management

La directiva azure-openai-emit-token-metric envía métricas personalizadas a Application Insights sobre el consumo de tokens de modelo de lenguaje grande mediante las API de Azure OpenAI Service. Las métricas de recuento de tokens incluyen: Tokens totales, Tokens de solicitud y Tokens de finalización.

Nota:

Establezca los elementos de la directiva y los elementos secundarios en el orden proporcionado en la instrucción de directiva. Obtenga más información sobre el establecimiento o modificación de directivas de API Management.

Modelos de Foundry compatibles con Azure OpenAI

La directiva se usa con las API agregadas a API Management desde Azure OpenAI en los modelos foundry de los siguientes tipos:

Tipo de API Modelos admitidos
Finalización del chat gpt-3.5

gpt-4

gpt-4o

gpt-4o-mini

o1

o3
Inserciones text-embedding-3-large

text-embedding-3-small

text-embedding-ada-002
Respuestas (versión preliminar) gpt-4o (Versiones: 2024-11-20, 2024-08-06, 2024-05-13)

gpt-4o-mini (Versión: 2024-07-18)

gpt-4.1 (Versión: 2025-04-14)

gpt-4.1-nano (Versión: 2025-04-14)

gpt-4.1-mini (Versión: 2025-04-14)

gpt-image-1 (Versión: 2025-04-15)

o3 (Versión: 2025-04-16)

o4-mini (Versión: '2025-04-16)

Nota:

Las API de finalización tradicionales solo están disponibles con versiones de modelo heredadas y la compatibilidad es limitada.

Para obtener información actual sobre los modelos y sus funcionalidades, consulte Azure OpenAI en Foundry Models.

Límites de métricas personalizadas

Azure Monitor impone límites de uso para métricas personalizadas que pueden afectar la capacidad de emitir métricas de API Management. Por ejemplo, Azure Monitor establece actualmente un límite de 10 claves de dimensión por métrica y un límite de 50 000 series temporales activas totales por región en una suscripción (dentro de un período de 12 horas).

Estos límites tienen las siguientes implicaciones para configurar métricas personalizadas en una directiva de API Management como emit-metric o azure-openai-emit-token-metric:

  • Puede configurar un máximo de 10 dimensiones personalizadas por directiva .

  • El número de series temporales activas generadas por la directiva en un período de 12 horas es el producto del número de valores únicos de cada dimensión configurada durante el período. Por ejemplo, si se configuraron tres dimensiones personalizadas en la directiva y cada dimensión tenía 10 valores posibles en el período, la directiva contribuiría a 1000 (10 x 10 x 10) series temporales activas.

  • Si configura la directiva en varias instancias de API Management que se encuentran en la misma región de una suscripción, todas las instancias pueden contribuir al límite regional de series temporales activas.

Obtenga más información sobre las limitaciones y consideraciones de diseño para las métricas personalizadas en Azure Monitor.

Requisitos previos

Instrucción de la directiva

<azure-openai-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</azure-openai-emit-token-metric>

Atributos

Atributo Descripción Obligatorio Valor predeterminado
espacio de nombres Una cadena. Espacio de nombres de la métrica. No se permiten expresiones de directiva. No API Management

Elementos

Elemento Descripción Obligatorio
dimensión Agregue uno o varios de estos elementos para cada dimensión incluida en la métrica. Sí

Atributos de dimensión

Atributo Descripción Obligatorio Valor predeterminado
nombre Una cadena o expresión de directiva. Nombre de la dimensión. Sí N/D
valor Una cadena o expresión de directiva. Valor de la dimensión. Solo se puede omitir si name coincide con una de las dimensiones predeterminadas. Si es así, el valor se proporciona según el nombre de la dimensión. No N/D

Nombres de las dimensiones predeterminadas que se pueden usar sin valor

  • Id. de API
  • Id. de operación
  • Id. del producto
  • Identificador de usuario
  • Id. de suscripción
  • Ubicación
  • Id. de puerta de enlace
  • Id. de back-end

Uso

Notas de uso

  • Esta directiva se puede usar varias veces por definición de directiva.
  • Puede configurar como máximo 10 dimensiones personalizadas para esta directiva.
  • Esta directiva se puede configurar opcionalmente al agregar una API desde el Azure OpenAI Service mediante el portal.
  • Si están disponibles, los valores de la sección de uso de la respuesta de la API de Azure OpenAI Service se utilizan para determinar las métricas del token.
  • Algunos puntos de conexión de Azure OpenAI admiten el streaming de respuestas. Cuando stream se establece true en la solicitud de API para habilitar el streaming, se tienen también en cuenta las métricas del token.

Ejemplo

En el ejemplo siguiente se envían métricas de recuento de tokens de Azure OpenAI a Application Insights junto con el identificador de API como una dimensión predeterminada.

<policies>
  <inbound>
      <azure-openai-emit-token-metric
            namespace="AzureOpenAI">   
            <dimension name="API ID" />
        </azure-openai-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

Contenido relacionado

Para más información sobre el trabajo con directivas, vea: