Compartir a través de

Uso del modelo de lenguaje local con el proxy de desarrollo

Al conectar Dev Proxy a un modelo de lenguaje local, puede mejorar la funcionalidad del proxy de desarrollo. Seleccione Complementos de Proxy de desarrollo que usan el modelo de lenguaje para mejorar su salida, donde el lenguaje natural está implicado. Mediante el uso de un modelo de lenguaje local, puede beneficiarse de la funcionalidad mejorada sin incurrir en costos adicionales.

Requisitos previos

Dev Proxy admite hosts de modelos de lenguaje que exponen API compatibles con OpenAI. También tiene soporte para las API de Ollama. Para configurar un host de modelo de idioma local, siga las instrucciones de su documentación.

Configuración del proxy de desarrollo para usar un modelo de lenguaje local

Para configurar el proxy de desarrollo para usar un modelo de lenguaje local, use la languageModel configuración en el devproxyrc.json archivo.

{
  "languageModel": {
    "enabled": true
  }
}

Puede usar las siguientes opciones como parte de la languageModel configuración:

Opción Descripción Valor predeterminado
cacheResponses Especifica si se almacenan en caché las respuestas del modelo de lenguaje. true
client El tipo de cliente que se va a utilizar. Valores permitidos: Ollama, OpenAI OpenAI
enabled Especifica si se va a usar un modelo de lenguaje local. false
model Nombre del modelo de lenguaje que se va a usar. llama3.2
url La dirección URL del cliente del modelo de idioma local. http://localhost:11434/v1/

De forma predeterminada, Dev Proxy utiliza la configuración estándar de Ollama con el modelo llama3.2 que utiliza las API compatibles con OpenAI de Ollama. También almacena en caché las respuestas del modelo de lenguaje, lo que significa que, para el mismo mensaje, se obtiene una respuesta inmediata sin esperar a que el modelo de lenguaje lo procese.

Importante

Al usar un modelo de idioma local, asegúrese de iniciar el cliente del modelo de idioma local antes de iniciar Dev Proxy.

Complementos de proxy de desarrollo que pueden usar un modelo de lenguaje local

Los siguientes complementos de Proxy de desarrollo usan un modelo de lenguaje local si está disponible: