Limitar el uso de tokens de API del modelo de lenguaje grande

SE APLICA A: Desarrollador | Básico | Básico v2 | Estándar | Standard v2 | Premium |Premium v2

La llm-token-limit directiva evita picos de uso de API de modelo de lenguaje grande (LLM) por clave limitando el consumo de tokens del modelo de lenguaje a una tasa especificada (número por minuto), una cuota durante un período especificado o ambos. Cuando se supera un límite de velocidad de tokens especificado, el autor de la llamada recibe un 429 Too Many Requests código de estado de respuesta. Cuando se supera una cuota especificada, el autor de la llamada recibe un 403 Forbidden código de estado de respuesta.

Al confiar en las métricas de uso de tokens devueltas desde el punto de conexión de LLM, la directiva puede supervisar y aplicar con precisión los límites en tiempo real. La directiva también habilita el cálculo previo de los tokens de solicitud por API Management, lo que minimiza las solicitudes innecesarias al back-end de LLM si ya se ha superado el límite.

Modelos admitidos

Use la directiva con las API de LLM agregadas a Azure API Management que están disponibles a través de la API de inferencia de modelos de Azure AI o con modelos compatibles con OpenAI que se proporcionan a través de proveedores de inferencia de terceros.

Instrucción de la directiva

<llm-token-limit counter-key="key value"
        tokens-per-minute="number"
        token-quota="number"
        token-quota-period="Hourly | Daily | Weekly | Monthly | Yearly"
        estimate-prompt-tokens="true | false"    
        retry-after-header-name="custom header name, replaces default 'Retry-After'" 
        retry-after-variable-name="policy expression variable name"
        remaining-quota-tokens-header-name="header name"  
        remaining-quota-tokens-variable-name="policy expression variable name"
        remaining-tokens-header-name="header name"  
        remaining-tokens-variable-name="policy expression variable name"
        tokens-consumed-header-name="header name"
        tokens-consumed-variable-name="policy expression variable name" />

Atributos

Uso

• Secciones de la directiva: inbound (entrada)
• Ámbitos de la directiva: global, área de trabajo, producto, API, operación
• Puertas de enlace: clásico, v2, autohospedado, área de trabajo

Notas de uso

• Esta directiva se puede usar varias veces por definición de directiva.
• Si está disponible cuando estimate-prompt-tokens se establece en false, los valores de la sección de uso de la respuesta de la API de LLM se usan para determinar el uso del token.
• Algunos puntos de conexión de LLM admiten el streaming de respuestas. Cuando se establece stream en true en la solicitud de API para habilitar el streaming, los tokens de solicitud siempre se estiman, independientemente del valor del atributo estimate-prompt-tokens.
• En el caso de los modelos que aceptan entrada de imagen, los tokens de imagen se cuentan generalmente por el modelo de lenguaje back-end y se incluyen en los cálculos de límite y cuota. Sin embargo, cuando se usa el streaming o estimate-prompt-tokens se establece trueen , la directiva cuenta actualmente en exceso cada imagen como un recuento máximo de 1200 tokens.
• API Management usa un único contador para cada valor counter-key que se especifique en la directiva. El contador se actualiza en todos los ámbitos en los que la directiva está configurada con ese valor de clave. Si quiere configurar contadores independientes en distintos ámbitos (por ejemplo, una API o un producto específicos), especifique valores de clave diferentes en los distintos ámbitos. Por ejemplo, anexe una cadena que identifique el ámbito al valor de una expresión.
• Esta directiva realiza un seguimiento del uso de tokens de forma independiente en cada puerta de enlace en la que se aplica, incluidas las puertas de enlace del área de trabajo y las puertas de enlace regionales en una implementación de varias regiones. No agrega recuentos de tokens en toda la instancia.

Ejemplos

Límite de velocidad de tokens

En el ejemplo siguiente, el límite de velocidad de tokens de 5000 por minuto está clavedo por la dirección IP del autor de la llamada. La directiva no calcula el número de tokens necesarios para un mensaje. Después de cada ejecución de directiva, los tokens restantes permitidos en el período de tiempo se almacenan en la variable remainingTokens.

<policies>
    <inbound>
        <base />
        <llm-token-limit
            counter-key="@(context.Request.IpAddress)"
            tokens-per-minute="5000" estimate-prompt-tokens="false" remaining-tokens-variable-name="remainingTokens" />
    </inbound>
    <outbound>
        <base />
    </outbound>
</policies>

Cuota de tokens

En el ejemplo siguiente, la cuota de tokens de 10000 está claveda por el identificador de suscripción y restablece mensualmente. Después de cada ejecución de directiva, el número de tokens restantes permitidos para ese identificador de suscripción en el período de tiempo se almacena en la variable remainingQuotaTokens.

<policies>
    <inbound>
        <base />
        <llm-token-limit
            counter-key="@(context.Subscription.Id)"
            token-quota="100000" token-quota-period="Monthly" remaining-quota-tokens-variable-name="remainingQuotaTokens" />
    </inbound>
    <outbound>
        <base />
    </outbound>
</policies>

Directivas relacionadas

• Limitación de frecuencia y cuotas
• azure-openai-token-limitdirectiva
• directivallm-emit-token-metric policy

Contenido relacionado

Para más información sobre el trabajo con directivas, vea:

• Tutorial: Transformación y protección de una API
• Referencia de directivas para una lista completa de instrucciones de directivas y su configuración
• Expresiones de directiva
• Establecimiento o edición de directivas
• Reutilización de configuraciones de directivas
• Repositorio de fragmentos de código de directiva
• Repositorio de área de juegos de directivas
• Kit de herramientas de directivas de Azure API Management
• Obtener ayuda de Copilot para crear, explicar y solucionar problemas de directivas