大規模言語モデル API トークンの使用を制限する

適用対象: Developer | Basic | Basic v2 | Standard | Standard v2 | Premium | Premium v2

llm-token-limit ポリシーでは、言語モデル トークンの使用量を、指定したレート (1 分あたりの数)、指定した期間のクォータ、またはその両方に制限することで、キーごとに大規模な言語モデル (LLM) API の使用が急増しないようにします。 指定したトークン レート制限を超えると、呼び出し元は 429 Too Many Requests 応答状態コードを受け取ります。 指定したクォータを超えると、呼び出し元は 403 Forbidden 応答状態コードを受け取ります。

LLM エンドポイントから返されるトークン使用状況メトリックを使用することで、ポリシーはリアルタイムで制限を正確に監視して適用できます。 このポリシーにより、API Management によるプロンプト トークンの事前計算も可能になり、制限を既に超えている場合に LLM バックエンドへの不要な要求が最小限に抑えられます。

サポートされているモデル

Azure AI モデル推論 API またはサードパーティの推論プロバイダーを介して提供される OpenAI と互換性のあるモデルを使用して、Azure API Management に追加された LLM API でポリシーを使用します。

ポリシー ステートメント

<llm-token-limit counter-key="key value"
        tokens-per-minute="number"
        token-quota="number"
        token-quota-period="Hourly | Daily | Weekly | Monthly | Yearly"
        estimate-prompt-tokens="true | false"    
        retry-after-header-name="custom header name, replaces default 'Retry-After'" 
        retry-after-variable-name="policy expression variable name"
        remaining-quota-tokens-header-name="header name"  
        remaining-quota-tokens-variable-name="policy expression variable name"
        remaining-tokens-header-name="header name"  
        remaining-tokens-variable-name="policy expression variable name"
        tokens-consumed-header-name="header name"
        tokens-consumed-variable-name="policy expression variable name" />

属性

使用法

• ポリシー セクション: inbound
• ポリシー スコープ: グローバル、ワークスペース、製品、API、操作
• ゲートウェイ: クラシック、v2、セルフホステッド、ワークスペース

使用上の注意

• このポリシーは、ポリシー定義ごとに複数回使用できます。
• estimate-prompt-tokens が false に設定されているときに使用可能な場合、LLM API からの応答の使用状況セクションの値を使用してトークンの使用状況を判別します。
• 特定の LLM エンドポイントでは、応答のストリーミングがサポートされています。 API 要求で stream が true に設定されてストリーミングを有効になっている場合は、estimate-prompt-tokens 属性の値に関係なく、プロンプト トークンが常に推定されます。
• イメージ入力を受け入れるモデルの場合、通常、イメージ トークンはバックエンド言語モデルによってカウントされ、制限とクォータの計算に含まれます。 ただし、ストリーミングが使用されるか、 estimate-prompt-tokens が trueに設定されている場合、ポリシーは現在、各イメージを 1200 トークンの最大カウントとしてオーバーカウントします。
• API Management では、ポリシーで指定した counter-key 値ごとに 1 つのカウンターが使用されます。 このカウンターは、ポリシーがそのキー値で構成されているすべてのスコープで更新されます。 異なるスコープ (特定の API や製品など) で個別のカウンターを構成する場合は、異なるスコープで異なるキー値を指定します。 たとえば、式の値にスコープを識別する文字列を追加します。
• このポリシーは、複数リージョンデプロイのワークスペース ゲートウェイやリージョン ゲートウェイなど、適用される各ゲートウェイでトークンの使用状況を個別に追跡します。 インスタンス全体のトークン数は集計されません。

例示

トークン レートの制限

次の例では、1 分あたり 5000 のトークン レート制限が呼び出し元の IP アドレスによってキー設定されます。 このポリシーでは、プロンプトに必要なトークンの数は見積もられません。 各ポリシーの実行後、その期間中にその呼び出し元 IP アドレスに対して許可されている残りのトークンが remainingTokens 変数に格納されます。

<policies>
    <inbound>
        <base />
        <llm-token-limit
            counter-key="@(context.Request.IpAddress)"
            tokens-per-minute="5000" estimate-prompt-tokens="false" remaining-tokens-variable-name="remainingTokens" />
    </inbound>
    <outbound>
        <base />
    </outbound>
</policies>

トークン クォータ

次の例では、10000 のトークン クォータがサブスクリプション ID によってキー設定され、毎月リセットされます。 各ポリシーの実行後、期間内にそのサブスクリプション ID に対して許可される残りのトークンの数は、変数 remainingQuotaTokensに格納されます。

<policies>
    <inbound>
        <base />
        <llm-token-limit
            counter-key="@(context.Subscription.Id)"
            token-quota="100000" token-quota-period="Monthly" remaining-quota-tokens-variable-name="remainingQuotaTokens" />
    </inbound>
    <outbound>
        <base />
    </outbound>
</policies>

関連ポリシー

• レート制限とクォータ
• azure-openai-token-limit ポリシー
• llm-emit-token-metric ポリシー

関連するコンテンツ

ポリシーに対する処理の詳細については、次のトピックを参照してください。

• チュートリアル:API を変換および保護する
• ポリシー ステートメントとその設定の一覧に関するポリシー リファレンス
• ポリシー式
• ポリシーの設定または編集
• ポリシー構成を再利用する
• ポリシー スニペットのリポジトリ
• ポリシープレイグラウンドリポジトリ
• Azure API Management ポリシー ツールキット
• ポリシーの作成、説明、トラブルシューティングを行う Copilot のサポートを受ける