Compartir a través de


Enlace de entrada de finalización de texto de Azure OpenAI para Azure Functions

Importante

La extensión de Azure OpenAI para Azure Functions está actualmente en versión preliminar.

El enlace de entrada de finalización de texto de Azure OpenAI permite incorporar las API de finalización de texto de resultados a las ejecuciones de código. Puede definir el enlace para usar ambas indicaciones predefinidas con parámetros o pasar por un mensaje completo.

Para obtener información sobre la configuración y los detalles de configuración de la extensión de Azure OpenAI, consulte Extensiones de Azure OpenAI para Azure Functions. Para más información sobre las finalizaciones de Azure OpenAI, consulte Más información sobre cómo generar o manipular texto.

Nota:

Las referencias y ejemplos solo se proporcionan para el modelo de Node.js v4.

Nota:

Las referencias y ejemplos solo se proporcionan para el modelo de Python v2.

Nota:

Aunque se admiten ambos modelos de proceso de C#, solo se proporcionan ejemplos de modelos de trabajo aislados.

Ejemplo

En este ejemplo se muestra el patrón de plantillas , donde la función desencadenador HTTP toma un name parámetro e lo inserta en un mensaje de texto, que luego se envía a la API de finalizaciones de Azure OpenAI mediante la extensión. La respuesta a la solicitud se devuelve en la respuesta HTTP.

[Function(nameof(WhoIs))]
public static IActionResult WhoIs(
    [HttpTrigger(AuthorizationLevel.Function, Route = "whois/{name}")] HttpRequestData req,
    [TextCompletionInput("Who is {name}?", ChatModel = "%CHAT_MODEL_DEPLOYMENT_NAME%")] TextCompletionResponse response)
{
    return new OkObjectResult(response.Content);
}

En este ejemplo se toma un mensaje como entrada, se envía directamente a la API de finalizaciones y se devuelve la respuesta como salida.

[Function(nameof(GenericCompletion))]
public static IActionResult GenericCompletion(
    [HttpTrigger(AuthorizationLevel.Function, "post")] HttpRequestData req,
    [TextCompletionInput("{Prompt}", ChatModel = "%CHAT_MODEL_DEPLOYMENT_NAME%")] TextCompletionResponse response,
    ILogger log)
{
    string text = response.Content;
    return new OkObjectResult(text);
}

En este ejemplo se muestra el patrón de plantillas , donde la función desencadenador HTTP toma un name parámetro e lo inserta en un mensaje de texto, que luego se envía a la API de finalizaciones de Azure OpenAI mediante la extensión. La respuesta a la solicitud se devuelve en la respuesta HTTP.

@FunctionName("WhoIs")
public HttpResponseMessage whoIs(
    @HttpTrigger(
        name = "req", 
        methods = {HttpMethod.GET},
        authLevel = AuthorizationLevel.ANONYMOUS, 
        route = "whois/{name}") 
        HttpRequestMessage<Optional<String>> request,
    @BindingName("name") String name,
    @TextCompletion(prompt = "Who is {name}?", chatModel = "%CHAT_MODEL_DEPLOYMENT_NAME%", name = "response", isReasoningModel = false) TextCompletionResponse response,
    final ExecutionContext context) {
    return request.createResponseBuilder(HttpStatus.OK)
        .header("Content-Type", "application/json")
        .body(response.getContent())
        .build();
}

En este ejemplo se toma un mensaje como entrada, se envía directamente a la API de finalizaciones y se devuelve la respuesta como salida.

@FunctionName("GenericCompletion")
public HttpResponseMessage genericCompletion(
    @HttpTrigger(
        name = "req", 
        methods = {HttpMethod.POST},
        authLevel = AuthorizationLevel.ANONYMOUS) 
        HttpRequestMessage<Optional<String>> request,
    @TextCompletion(prompt = "{prompt}", chatModel = "%CHAT_MODEL_DEPLOYMENT_NAME%", name = "response", isReasoningModel = false) TextCompletionResponse response,
    final ExecutionContext context) {
    return request.createResponseBuilder(HttpStatus.OK)
        .header("Content-Type", "application/json")
        .body(response.getContent())
        .build();
}

En este ejemplo se muestra el patrón de plantillas , donde la función desencadenador HTTP toma un name parámetro e lo inserta en un mensaje de texto, que luego se envía a la API de finalizaciones de Azure OpenAI mediante la extensión. La respuesta a la solicitud se devuelve en la respuesta HTTP.

const { app, input } = require("@azure/functions");

// This OpenAI completion input requires a {name} binding value.
const openAICompletionInput = input.generic({
    prompt: 'Who is {name}?',
    maxTokens: '100',
    type: 'textCompletion',
    chatModel: '%CHAT_MODEL_DEPLOYMENT_NAME%'
})

app.http('whois', {
    methods: ['GET'],
    route: 'whois/{name}',
    authLevel: 'function',
    extraInputs: [openAICompletionInput],
    handler: async (_request, context) => {
        var response = context.extraInputs.get(openAICompletionInput)
        return { body: response.content.trim() }
    }
});

En este ejemplo se muestra el patrón de plantillas , donde la función desencadenador HTTP toma un name parámetro e lo inserta en un mensaje de texto, que luego se envía a la API de finalizaciones de Azure OpenAI mediante la extensión. La respuesta a la solicitud se devuelve en la respuesta HTTP.

import { app, input } from "@azure/functions";

// This OpenAI completion input requires a {name} binding value.
const openAICompletionInput = input.generic({
    prompt: 'Who is {name}?',
    maxTokens: '100',
    type: 'textCompletion',
    chatModel: '%CHAT_MODEL_DEPLOYMENT_NAME%'
})

app.http('whois', {
    methods: ['GET'],
    route: 'whois/{name}',
    authLevel: 'function',
    extraInputs: [openAICompletionInput],
    handler: async (_request, context) => {
        var response: any = context.extraInputs.get(openAICompletionInput)
        return { body: response.content.trim() }
    }
});

En este ejemplo se muestra el patrón de plantillas , donde la función desencadenador HTTP toma un name parámetro e lo inserta en un mensaje de texto, que luego se envía a la API de finalizaciones de Azure OpenAI mediante la extensión. La respuesta a la solicitud se devuelve en la respuesta HTTP.

Este es el archivo function.json para TextCompletionResponse:

{
  "bindings": [
    {
      "authLevel": "function",
      "type": "httpTrigger",
      "direction": "in",
      "name": "Request",
      "route": "whois/{name}",
      "methods": [
        "get"
      ]
    },
    {
      "type": "http",
      "direction": "out",
      "name": "Response"
    },
    {
      "type": "textCompletion",
      "direction": "in",
      "name": "TextCompletionResponse",
      "prompt": "Who is {name}?",
      "maxTokens": "100",
      "chatModel": "%CHAT_MODEL_DEPLOYMENT_NAME%"
    }
  ]
}

Para obtener más información sobre las propiedades del archivo function.json, consulte la sección de Configuración.

El código simplemente devuelve el texto de la API de finalización como respuesta:

using namespace System.Net

param($Request, $TriggerMetadata, $TextCompletionResponse)

Push-OutputBinding -Name Response -Value ([HttpResponseContext]@{
        StatusCode = [HttpStatusCode]::OK
        Body       = $TextCompletionResponse.Content
    })

En este ejemplo se muestra el patrón de plantillas , donde la función desencadenador HTTP toma un name parámetro e lo inserta en un mensaje de texto, que luego se envía a la API de finalizaciones de Azure OpenAI mediante la extensión. La respuesta a la solicitud se devuelve en la respuesta HTTP.

@app.route(route="whois/{name}", methods=["GET"])
@app.text_completion_input(
    arg_name="response",
    prompt="Who is {name}?",
    max_tokens="100",
    chat_model="%CHAT_MODEL_DEPLOYMENT_NAME%",
)
def whois(req: func.HttpRequest, response: str) -> func.HttpResponse:
    response_json = json.loads(response)
    return func.HttpResponse(response_json["content"], status_code=200)

En este ejemplo se toma un mensaje como entrada, se envía directamente a la API de finalizaciones y se devuelve la respuesta como salida.

@app.route(route="genericcompletion", methods=["POST"])
@app.text_completion_input(
    arg_name="response",
    prompt="{Prompt}",
    chat_model="%CHAT_MODEL_DEPLOYMENT_NAME%",
)
def genericcompletion(
    req: func.HttpRequest,
    response: str
) -> func.HttpResponse:
    response_json = json.loads(response)
    return func.HttpResponse(response_json["content"], status_code=200)

Atributos

El atributo específico que se aplica para definir un enlace de entrada de finalización de texto depende del modo de proceso de C#.

En el modelo de trabajo aislado, aplique TextCompletionInput para definir un enlace de entrada de finalización de texto.

El atributo admite estos parámetros:

Parámetro Descripción
Aviso Obtiene o establece el símbolo del sistema para generar finalizaciones para, codificadas como una cadena.
AIConnectionName Opcional. Obtiene o establece el nombre de la sección de configuración para la configuración de conectividad del servicio ai. Para Azure OpenAI: si se especifica, busca los valores "Punto de conexión" y "Clave" en esta sección de configuración. Si no se especifica o la sección no existe, vuelva a las variables de entorno: AZURE_OPENAI_ENDPOINT y AZURE_OPENAI_KEY. Para la autenticación de identidad administrada asignada por el usuario, esta propiedad es necesaria. Para el servicio OpenAI (que no es de Azure), establezca la variable de entorno OPENAI_API_KEY.
ChatModel Opcional. Obtiene o establece el identificador del modelo que se va a usar como una cadena, con un valor predeterminado de gpt-3.5-turbo.
Temperatura Opcional. Obtiene o establece la temperatura de muestreo que se va a usar, como una cadena entre 0 y 2. Los valores más altos (0.8) hacen que la salida sea más aleatoria, mientras que los valores más bajos como (0.2) hacen que la salida sea más centrada y determinista. Debe usar o TemperatureTopP, pero no ambos.
TopP Opcional. Obtiene o establece una alternativa al muestreo con temperatura, denominado muestreo de núcleo, como una cadena. En este método de muestreo, el modelo considera los resultados de los tokens con top_p masa de probabilidad. Por lo tanto, 0.1 solo se consideran los tokens que componen los 10% masa de probabilidad principales. Debe usar o TemperatureTopP, pero no ambos.
MaxTokens Opcional. Obtiene o establece el número máximo de tokens que se van a generar en la finalización, como una cadena con un valor predeterminado de 100. El número de tokens de su pregunta más max_tokens no puede exceder la longitud del contexto del modelo. La mayoría de los modelos tienen una longitud de contexto de 2048 tokens (excepto los modelos más recientes, que admiten 4096).
IsReasoningModel Opcional. Obtiene o establece un valor que indica si el modelo de finalización de chat es un modelo de razonamiento. Esta opción es experimental y asociada al modelo de razonamiento hasta que todos los modelos tienen paridad en las propiedades esperadas, con un valor predeterminado de false.

anotaciones

La TextCompletion anotación permite definir un enlace de entrada de finalización de texto, que admite estos parámetros:

Elemento Descripción
nombre Obtiene o establece el nombre del enlace de entrada.
solicitud Obtiene o establece el símbolo del sistema para generar finalizaciones para, codificadas como una cadena.
aiConnectionName Opcional. Obtiene o establece el nombre de la sección de configuración para la configuración de conectividad del servicio ai. Para Azure OpenAI: si se especifica, busca los valores "Punto de conexión" y "Clave" en esta sección de configuración. Si no se especifica o la sección no existe, vuelva a las variables de entorno: AZURE_OPENAI_ENDPOINT y AZURE_OPENAI_KEY. Para la autenticación de identidad administrada asignada por el usuario, esta propiedad es necesaria. Para el servicio OpenAI (que no es de Azure), establezca la variable de entorno OPENAI_API_KEY.
chatModel Obtiene o establece el identificador del modelo que se va a usar como una cadena, con un valor predeterminado de gpt-3.5-turbo.
temperatura Opcional. Obtiene o establece la temperatura de muestreo que se va a usar, como una cadena entre 0 y 2. Los valores más altos (0.8) hacen que la salida sea más aleatoria, mientras que los valores más bajos como (0.2) hacen que la salida sea más centrada y determinista. Debe usar o TemperatureTopP, pero no ambos.
topP Opcional. Obtiene o establece una alternativa al muestreo con temperatura, denominado muestreo de núcleo, como una cadena. En este método de muestreo, el modelo considera los resultados de los tokens con top_p masa de probabilidad. Por lo tanto, 0.1 solo se consideran los tokens que componen los 10% masa de probabilidad principales. Debe usar o TemperatureTopP, pero no ambos.
maxTokens Opcional. Obtiene o establece el número máximo de tokens que se van a generar en la finalización, como una cadena con un valor predeterminado de 100. El número de tokens de su pregunta más max_tokens no puede exceder la longitud del contexto del modelo. La mayoría de los modelos tienen una longitud de contexto de 2048 tokens (excepto los modelos más recientes, que admiten 4096).
isReasoningModel Opcional. Obtiene o establece un valor que indica si el modelo de finalización de chat es un modelo de razonamiento. Esta opción es experimental y asociada al modelo de razonamiento hasta que todos los modelos tienen paridad en las propiedades esperadas, con un valor predeterminado de false.

Elementos Decorator

Durante la versión preliminar, defina el enlace de entrada como un enlace generic_input_binding de tipo textCompletion, que admite estos parámetros:

Parámetro Descripción
arg_name Nombre de la variable que representa el parámetro de enlace.
solicitud Obtiene o establece el símbolo del sistema para generar finalizaciones para, codificadas como una cadena.
ai_connection_name Opcional. Obtiene o establece el nombre de la sección de configuración para la configuración de conectividad del servicio ai. Para Azure OpenAI: si se especifica, busca los valores "Punto de conexión" y "Clave" en esta sección de configuración. Si no se especifica o la sección no existe, vuelva a las variables de entorno: AZURE_OPENAI_ENDPOINT y AZURE_OPENAI_KEY. Para la autenticación de identidad administrada asignada por el usuario, esta propiedad es necesaria. Para el servicio OpenAI (que no es de Azure), establezca la variable de entorno OPENAI_API_KEY.
chat_model Obtiene o establece el identificador del modelo que se va a usar como una cadena, con un valor predeterminado de gpt-3.5-turbo.
temperatura Opcional. Obtiene o establece la temperatura de muestreo que se va a usar, como una cadena entre 0 y 2. Los valores más altos (0.8) hacen que la salida sea más aleatoria, mientras que los valores más bajos como (0.2) hacen que la salida sea más centrada y determinista. Debe usar o TemperatureTopP, pero no ambos.
top_p Opcional. Obtiene o establece una alternativa al muestreo con temperatura, denominado muestreo de núcleo, como una cadena. En este método de muestreo, el modelo considera los resultados de los tokens con top_p masa de probabilidad. Por lo tanto, 0.1 solo se consideran los tokens que componen los 10% masa de probabilidad principales. Debe usar o TemperatureTopP, pero no ambos.
max_tokens Opcional. Obtiene o establece el número máximo de tokens que se van a generar en la finalización, como una cadena con un valor predeterminado de 100. El número de tokens de su pregunta más max_tokens no puede exceder la longitud del contexto del modelo. La mayoría de los modelos tienen una longitud de contexto de 2048 tokens (excepto los modelos más recientes, que admiten 4096).
is_reasoning _model Opcional. Obtiene o establece un valor que indica si el modelo de finalización de chat es un modelo de razonamiento. Esta opción es experimental y asociada al modelo de razonamiento hasta que todos los modelos tienen paridad en las propiedades esperadas, con un valor predeterminado de false.

Configuración

El enlace admite estas propiedades de configuración que se establecen en el archivo function.json.

Propiedad Descripción
tipo Debe ser textCompletion.
dirección Debe ser in.
nombre Nombre del enlace de entrada.
solicitud Obtiene o establece el símbolo del sistema para generar finalizaciones para, codificadas como una cadena.
aiConnectionName Opcional. Obtiene o establece el nombre de la sección de configuración para la configuración de conectividad del servicio ai. Para Azure OpenAI: si se especifica, busca los valores "Punto de conexión" y "Clave" en esta sección de configuración. Si no se especifica o la sección no existe, vuelva a las variables de entorno: AZURE_OPENAI_ENDPOINT y AZURE_OPENAI_KEY. Para la autenticación de identidad administrada asignada por el usuario, esta propiedad es necesaria. Para el servicio OpenAI (que no es de Azure), establezca la variable de entorno OPENAI_API_KEY.
chatModel Obtiene o establece el identificador del modelo que se va a usar como una cadena, con un valor predeterminado de gpt-3.5-turbo.
temperatura Opcional. Obtiene o establece la temperatura de muestreo que se va a usar, como una cadena entre 0 y 2. Los valores más altos (0.8) hacen que la salida sea más aleatoria, mientras que los valores más bajos como (0.2) hacen que la salida sea más centrada y determinista. Debe usar o TemperatureTopP, pero no ambos.
topP Opcional. Obtiene o establece una alternativa al muestreo con temperatura, denominado muestreo de núcleo, como una cadena. En este método de muestreo, el modelo considera los resultados de los tokens con top_p masa de probabilidad. Por lo tanto, 0.1 solo se consideran los tokens que componen los 10% masa de probabilidad principales. Debe usar o TemperatureTopP, pero no ambos.
maxTokens Opcional. Obtiene o establece el número máximo de tokens que se van a generar en la finalización, como una cadena con un valor predeterminado de 100. El número de tokens de su pregunta más max_tokens no puede exceder la longitud del contexto del modelo. La mayoría de los modelos tienen una longitud de contexto de 2048 tokens (excepto los modelos más recientes, que admiten 4096).
isReasoningModel Opcional. Obtiene o establece un valor que indica si el modelo de finalización de chat es un modelo de razonamiento. Esta opción es experimental y asociada al modelo de razonamiento hasta que todos los modelos tienen paridad en las propiedades esperadas, con un valor predeterminado de false.

Configuración

El enlace admite estas propiedades, que se definen en el código:

Propiedad Descripción
solicitud Obtiene o establece el símbolo del sistema para generar finalizaciones para, codificadas como una cadena.
aiConnectionName Opcional. Obtiene o establece el nombre de la sección de configuración para la configuración de conectividad del servicio ai. Para Azure OpenAI: si se especifica, busca los valores "Punto de conexión" y "Clave" en esta sección de configuración. Si no se especifica o la sección no existe, vuelva a las variables de entorno: AZURE_OPENAI_ENDPOINT y AZURE_OPENAI_KEY. Para la autenticación de identidad administrada asignada por el usuario, esta propiedad es necesaria. Para el servicio OpenAI (que no es de Azure), establezca la variable de entorno OPENAI_API_KEY.
chatModel Obtiene o establece el identificador del modelo que se va a usar como una cadena, con un valor predeterminado de gpt-3.5-turbo.
temperatura Opcional. Obtiene o establece la temperatura de muestreo que se va a usar, como una cadena entre 0 y 2. Los valores más altos (0.8) hacen que la salida sea más aleatoria, mientras que los valores más bajos como (0.2) hacen que la salida sea más centrada y determinista. Debe usar o TemperatureTopP, pero no ambos.
topP Opcional. Obtiene o establece una alternativa al muestreo con temperatura, denominado muestreo de núcleo, como una cadena. En este método de muestreo, el modelo considera los resultados de los tokens con top_p masa de probabilidad. Por lo tanto, 0.1 solo se consideran los tokens que componen los 10% masa de probabilidad principales. Debe usar o TemperatureTopP, pero no ambos.
maxTokens Opcional. Obtiene o establece el número máximo de tokens que se van a generar en la finalización, como una cadena con un valor predeterminado de 100. El número de tokens de su pregunta más max_tokens no puede exceder la longitud del contexto del modelo. La mayoría de los modelos tienen una longitud de contexto de 2048 tokens (excepto los modelos más recientes, que admiten 4096).
isReasoningModel Opcional. Obtiene o establece un valor que indica si el modelo de finalización de chat es un modelo de razonamiento. Esta opción es experimental y asociada al modelo de razonamiento hasta que todos los modelos tienen paridad en las propiedades esperadas, con un valor predeterminado de false.

Uso

Consulte la sección de ejemplos para ver ejemplos completos.