開発プロキシでローカル言語モデルを使用する

開発プロキシをローカル言語モデルに接続することで、開発プロキシの機能を向上させることができます。開発プロキシプラグインを選択すると、言語モデルを使用して、自然言語が関係する出力が向上します。ローカル言語モデルを使用すると、追加のコストを発生させることなく、機能の改善を利用できます。

前提条件

Dev Proxy は、OpenAI 互換 API を公開する言語モデルホストをサポートしています。また、Ollama API もサポートしています。ローカル言語モデルホストを設定するには、そのドキュメントの指示に従います。

ローカル言語モデルを使用するように開発プロキシを構成するには、languageModel ファイルのdevproxyrc.json設定を使用します。

{
  "languageModel": {
    "enabled": true
  }
}

languageModel設定の一部として、次のオプションを使用できます。

オプション	説明	規定値
`cacheResponses`	言語モデルからの応答をキャッシュするかどうかを指定します。	`true`
`client`	使用するクライアントのタイプ。使用できる値: `Ollama`、 `OpenAI`	`OpenAI`
`enabled`	ローカル言語モデルを使用するかどうかを指定します。	`false`
`model`	使用する言語モデルの名前。	`llama3.2`
`url`	ローカル言語モデルクライアントの URL。	`http://localhost:11434/v1/`

デフォルトでは、Dev Proxyは、OllamaのOpenAI互換APIを使用した llama3.2 モデルで標準のOllama構成を使用します。また、言語モデルからの応答もキャッシュされます。つまり、同じプロンプトの場合、言語モデルが処理するのを待たずにすぐに応答が返されます。

重要

ローカル言語モデルを使用する場合は、Dev Proxy を起動する前に、必ずローカル言語モデルクライアントを起動してください。

次の開発プロキシプラグインでは、ローカル言語モデルが使用されます (使用可能な場合)。