OpenAIテレメトリプラグイン

インターセプトされた OpenAI 互換の要求と応答から OpenAI テレメトリ データをログに記録します。

プラグイン インスタンスの定義

{
  "name": "OpenAITelemetryPlugin",
  "enabled": true,
  "pluginPath": "~appFolder/plugins/dev-proxy-plugins.dll",
  "configSection": "openAITelemetryPlugin"
}

構成の例

{
  "openAITelemetryPlugin": {
    "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v0.28.0/openaitelemetryplugin.schema.json",
    "application": "My app",
    "includeCosts": true,
    "pricesFile": "prices.json"
  }
}

構成プロパティ

Prices ファイルの例

{
  "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v0.28.0/openaitelemetryplugin.pricesfile.schema.json",
  "prices": {
    "gpt-3.5-turbo": {
      "input": 0.0015,
      "output": 0.002
    },
    "gpt-4": {
      "input": 0.03,
      "output": 0.06
    }
  }
}

Prices ファイルのプロパティ

モデル価格オブジェクト

各モデル価格オブジェクトには、次のプロパティがあります。

コマンドライン オプション

無し

注釈

OpenAITelemetryPlugin は、OpenAI と互換性のある要求と、それがインターセプトする応答から OpenTelemetry データをログに記録します。 OpenTelemetry を使用してアプリケーションをインストルメント化しなくても、アプリケーションで大規模な言語モデルがどのように使用されているかをすばやく理解できます。 さらに、使用するモデルの価格ファイルを指定すると、アプリケーションで発生する LLM 関連のコストも確認できます。

インターセプトされた要求と応答ごとに、プラグインはスパンをログに記録します。 さらに、次の 3 つのメトリックがログに記録されます。

• gen_ai.client.token.usage - 要求と応答で使用されるトークンの数
• gen_ai.usage.cost - 要求と応答で使用されるトークンのコスト
• gen_ai.usage.total_cost - セッション中のすべての要求の合計コスト

記録されたテレメトリ データを表示するには、OpenTelemetry と互換性のあるダッシュボードを使用できます。 たとえば、 .NET アスパイア ダッシュボード または OpenLIT を使用できます。

次のステップ