Importante
En esta página se incluyen instrucciones para administrar componentes de Operaciones de IoT de Azure mediante manifiestos de implementación de Kubernetes, que se encuentra en versión preliminar. Esta característica se proporciona con varias limitacionesy no se debe usar para cargas de trabajo de producción.
Consulte Términos de uso complementarios para las versiones preliminares de Microsoft Azure para conocer los términos legales que se aplican a las características de Azure que se encuentran en la versión beta, en versión preliminar o que todavía no se han publicado para que estén disponibles generalmente.
Para enviar datos a Microsoft Fabric OneLake en Operaciones de IoT de Azure puede configurar un punto de conexión de flujo de datos. Esta configuración permite especificar el punto de conexión de destino, el método de autenticación, la tabla y otros ajustes.
Requisitos previos
Asignación de permisos a la identidad administrada
Para configurar un punto de conexión de flujo de datos para Microsoft Fabric OneLake, se recomienda usar una identidad administrada asignada por el usuario o por el sistema. Este enfoque es seguro y elimina la necesidad de administrar las credenciales manualmente.
Después de crear Microsoft Fabric OneLake, debe asignar un rol a la identidad administrada de Operaciones de IoT de Azure que concede permiso para escribir en el almacén de lago de Fabric.
Si usa la identidad administrada asignada por el sistema, en Azure Portal, vaya a la instancia de Operaciones de IoT de Azure y seleccione Información general. Copie el nombre de la extensión que se muestra después de la Extensión de Arc de Operaciones de IoT de Azure. Por ejemplo, azure-iot-operations-xxxx7. La identidad administrada asignada por el sistema se puede encontrar con el mismo nombre de la extensión de Arc de Operaciones de IoT de Azure.
Vaya al área de trabajo de Microsoft Fabric que creó, seleccione Administrar acceso>+ Agregar personas o grupos.
- Busque el nombre de la identidad administrada asignada por el usuario configurada para conexiones en la nube o la identidad administrada asignada por el sistema. Por ejemplo, azure-iot-operations-xxxx7.
- Seleccione Colaborador como rol y luego seleccione Agregar. Esto proporciona a la identidad administrada los permisos necesarios para escribir en el almacén de lago de datos de Fabric. Para más información, consulte Roles en áreas de trabajo en Microsoft Fabric.
Crear un punto de conexión de flujo de datos para Microsoft Fabric OneLake
En la experiencia de operaciones, seleccione la pestaña Puntos de conexión de flujo de datos.
En Crear punto de conexión de flujo de datos, seleccione Microsoft Fabric OneLake>Nuevo.
Escriba la siguiente configuración para el punto de conexión:
| Configuración |
Descripción |
| Anfitrión |
Nombre de host del punto de conexión OneLake de Microsoft Fabric con el formato onelake.dfs.fabric.microsoft.com. |
| Nombre del almacén de lago de datos |
El nombre del almacén de lago de datos donde se deben almacenar los datos. |
| Nombre del área de trabajo |
El nombre del área de trabajo asociada al almacén de lago de datos. |
| Tipo de ruta de acceso de OneLake |
El tipo de ruta de acceso usada en OneLake. Seleccione Archivos o tablas. |
| Método de autenticación |
El método usado para la autenticación. Elija Identidad administrada asignada por el sistema o Identidad administrada asignada por el usuario. |
| Id. de cliente |
El id. de cliente de la identidad administrada asignada por el usuario. Obligatorio si se usa Identidad administrada asignada por el usuario. |
| Id. de inquilino |
El id. de inquilino de la identidad administrada asignada por el usuario. Obligatorio si se usa Identidad administrada asignada por el usuario. |
Seleccione Aplicar para aprovisionar el punto de conexión.
Crear o reemplazar
Use el comando az iot ops dataflow endpoint create fabric-onelake para crear o reemplazar un punto de conexión de flujo de datos oneLake de Microsoft Fabric.
az iot ops dataflow endpoint create fabric-onelake --resource-group <ResourceGroupName> --instance <AioInstanceName> --name <EndpointName> --workspace <WorkspaceName> --lakehouse <LakehouseName> --path-type <PathType>
El --workspace parámetro es el nombre del área de trabajo de Microsoft Fabric. El --lakehouse es el nombre del almacén de lago de datos de Microsoft Fabric dentro del área de trabajo. El --path-type parámetro especifica el tipo de ruta OneLake, que puede ser Tables o Files.
Este es un comando de ejemplo para crear o reemplazar un punto de conexión de flujo de datos oneLake de Microsoft Fabric denominado fabric-endpoint:
az iot ops dataflow endpoint create fabric-onelake --resource-group myResourceGroup --instance myAioInstance --name fabric-endpoint --workspace myWorkspace --lakehouse myLakehouse --path-type Tables
Crear o cambiar
Use el comando az iot ops dataflow endpoint apply para crear o cambiar un punto de conexión de flujo de datos de Microsoft Fabric OneLake.
az iot ops dataflow endpoint apply --resource-group <ResourceGroupName> --instance <AioInstanceName> --name <EndpointName> --config-file <ConfigFilePathAndName>
El --config-file parámetro es la ruta de acceso y el nombre de archivo de un archivo de configuración JSON que contiene las propiedades del recurso.
En este ejemplo, supongamos que un archivo de configuración denominado fabric-endpoint.json con el siguiente contenido almacenado en el directorio principal del usuario:
{
"endpointType": "FabricOneLake",
"fabricOneLakeSettings": {
"authentication": {
"method": "SystemAssignedManagedIdentity",
"systemAssignedManagedIdentitySettings": {}
},
"batching": {
"latencySeconds": 60,
"maxMessages": 100000
},
"host": "https://onelake.dfs.fabric.microsoft.com",
"oneLakePathType": "Tables",
"names": {
"workspaceName": "<WorkspaceName>",
"lakehouseName": "<LakehouseName>"
}
}
}
Este es un comando de ejemplo para crear un nuevo punto de conexión de flujo de datos oneLake de Microsoft Fabric denominado fabric-endpoint:
az iot ops dataflow endpoint apply --resource-group myResourceGroupName --instance myAioInstanceName --name fabric-endpoint --config-file ~/fabric-endpoint.json
Cree un archivo .bicep de Bicep con el siguiente contenido.
param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param workspaceName string = '<WORKSPACE_NAME>'
param lakehouseName string = '<LAKEHOUSE_NAME>'
resource aioInstance 'Microsoft.IoTOperations/instances@2024-11-01' existing = {
name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
name: customLocationName
}
resource oneLakeEndpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-11-01' = {
parent: aioInstance
name: endpointName
extendedLocation: {
name: customLocation.id
type: 'CustomLocation'
}
properties: {
endpointType: 'FabricOneLake'
fabricOneLakeSettings: {
// The default Fabric OneLake host URL in most cases
host: 'https://onelake.dfs.fabric.microsoft.com'
authentication: {
// See available authentication methods section for method types
// method: <METHOD_TYPE>
}
oneLakePathType: 'Tables'
names: {
workspaceName: workspaceName
lakehouseName: lakehouseName
}
}
}
}
A continuación, realice la implementación mediante la CLI de Azure.
az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep
Cree un archivo .yaml de manifiesto de Kubernetes con el siguiente contenido.
apiVersion: connectivity.iotoperations.azure.com/v1
kind: DataflowEndpoint
metadata:
name: <ENDPOINT_NAME>
namespace: azure-iot-operations
spec:
endpointType: FabricOneLake
fabricOneLakeSettings:
# The default Fabric OneLake host URL in most cases
host: https://onelake.dfs.fabric.microsoft.com
authentication:
# See available authentication methods section for method types
# method: <METHOD_TYPE>
oneLakePathType: Tables
names:
workspaceName: <WORKSPACE_NAME>
lakehouseName: <LAKEHOUSE_NAME>
A continuación, aplique el archivo de manifiesto al clúster de Kubernetes.
kubectl apply -f <FILE>.yaml
Tipo de ruta de acceso de OneLake
El ajuste oneLakePathType determina el tipo de ruta de acceso que se va a usar en la ruta de acceso de OneLake. El valor predeterminado es Tables, que es el tipo de ruta de acceso recomendado para los casos de uso más comunes. El tipo de ruta de acceso Tables es una tabla de almacén de lago de datos de OneLake que se usa para almacenar los datos. También se puede establecer en Files, que es una tabla de almacén de lago de datos de OneLake que se usa para almacenar los datos. El tipo de ruta de acceso Files resulta útil cuando desea almacenar los datos en un formato de archivo que no sea compatible con el tipo de ruta de acceso de Tables.
El tipo de ruta de acceso de OneLake se establece en la pestaña Básico del punto de conexión de flujo de datos.
Si usa el comando az iot ops dataflow endpoint create fabric-onelake , el --path-type parámetro especifica el tipo de ruta de acceso oneLake, que puede ser Tables o Files.
az iot ops dataflow endpoint create fabric-onelake --resource-group <ResourceGroupName> --instance <AioInstanceName> --name <EndpointName> --workspace <WorkspaceName> --lakehouse <LakehouseName> --path-type <PathType>
Si usa az iot ops dataflow endpoint apply, la propiedad oneLakePathType se establece en el archivo de configuración JSON.
{
"endpointType": "FabricOneLake",
"fabricOneLakeSettings": {
"oneLakePathType": "Tables"
}
}
fabricOneLakeSettings: {
oneLakePathType: 'Tables' // Or 'Files'
}
fabricOneLakeSettings:
oneLakePathType: Tables # Or Files
Métodos de autenticación disponibles
Los siguientes métodos de autenticación están disponibles para los puntos de conexión de flujo de datos de Microsoft Fabric OneLake.
Identidad administrada asignada por el sistema
Antes de configurar el punto de conexión de flujo de datos, asigne un rol a la identidad administrada de Operaciones de IoT de Azure que conceda permiso para escribir en el almacén de lago de datos de Fabric:
- En Azure Portal, vaya a la instancia de Operaciones de IoT de Azure y seleccione Información general.
- Copie el nombre de la extensión que se muestra después de la Extensión de Arc de Operaciones de IoT de Azure. Por ejemplo, azure-iot-operations-xxxx7.
- Vaya al área de trabajo de Microsoft Fabric y seleccione Administrar acceso>+ Agregar personas o grupos.
- Busque el nombre de la identidad administrada asignada por el sistema. Por ejemplo, azure-iot-operations-xxxx7.
- Seleccione un rol adecuado y después, seleccione Agregar.
Luego, configure el punto de conexión de flujo de datos con los valores de la identidad administrada asignada por el sistema.
En la página de configuración del punto de conexión de flujo de datos de la experiencia de operaciones, seleccione la pestaña Básico y después, elija Método de autenticación>Identidad administrada asignada por el sistema.
Crear o reemplazar
Use el comando az iot ops dataflow endpoint create fabric-onelake para crear o reemplazar un punto de conexión de flujo de datos oneLake de Microsoft Fabric.
az iot ops dataflow endpoint create fabric-onelake --auth-type SystemAssignedManagedIdentity --resource-group <ResourceGroupName> --instance <AioInstanceName> --name <EndpointName> --workspace <WorkspaceName> --lakehouse <LakehouseName> --path-type <PathType>
El --workspace parámetro es el nombre del área de trabajo de Microsoft Fabric. El --lakehouse es el nombre del almacén de lago de datos de Microsoft Fabric dentro del área de trabajo. El --path-type parámetro especifica el tipo de ruta OneLake, que puede ser Tables o Files.
Este es un comando de ejemplo para crear o reemplazar un punto de conexión de flujo de datos oneLake de Microsoft Fabric denominado fabric-endpoint:
az iot ops dataflow endpoint create fabric-onelake --resource-group myResourceGroup --instance myAioInstance --name fabric-endpoint --workspace myWorkspace --lakehouse myLakehouse --path-type Tables
Crear o cambiar
Use el comando az iot ops dataflow endpoint apply para crear o cambiar un punto de conexión de flujo de datos de Microsoft Fabric OneLake.
az iot ops dataflow endpoint apply --resource-group <ResourceGroupName> --instance <AioInstanceName> --name <EndpointName> --config-file <ConfigFilePathAndName>
El --config-file parámetro es la ruta de acceso y el nombre de archivo de un archivo de configuración JSON que contiene las propiedades del recurso.
En este ejemplo, supongamos que un archivo de configuración denominado fabric-endpoint.json con el siguiente contenido almacenado en el directorio principal del usuario:
{
"endpointType": "FabricOneLake",
"fabricOneLakeSettings": {
"authentication": {
"method": "SystemAssignedManagedIdentity",
"systemAssignedManagedIdentitySettings": {}
},
"batching": {
"latencySeconds": 60,
"maxMessages": 100000
},
"host": "https://onelake.dfs.fabric.microsoft.com",
"oneLakePathType": "Tables",
"names": {
"workspaceName": "<WorkspaceName>",
"lakehouseName": "<LakehouseName>"
}
}
}
Este es un comando de ejemplo para crear un nuevo punto de conexión de flujo de datos oneLake de Microsoft Fabric denominado fabric-endpoint:
az iot ops dataflow endpoint apply --resource-group myResourceGroupName --instance myAioInstanceName --name fabric-endpoint --config-file ~/fabric-endpoint.json
fabricOneLakeSettings: {
authentication: {
method: 'SystemAssignedManagedIdentity'
systemAssignedManagedIdentitySettings: {}
}
}
fabricOneLakeSettings:
authentication:
method: SystemAssignedManagedIdentity
systemAssignedManagedIdentitySettings:
{}
Si necesita invalidar la audiencia de identidad administrada asignada por el sistema, puede especificar el ajuste audience.
En la mayoría de los casos, no es necesario especificar una audiencia de servicio. Si no se especifica una audiencia, se crea una identidad administrada con el ámbito de audiencia predeterminado a la cuenta de almacenamiento.
Crear o reemplazar
Use el comando az iot ops dataflow endpoint create fabric-onelake para crear o reemplazar un punto de conexión de flujo de datos oneLake de Microsoft Fabric.
az iot ops dataflow endpoint create fabric-onelake --auth-type SystemAssignedManagedIdentity fabric-onelake --audience https://<account>.onelake.dfs.fabric.microsoft.com --resource-group <ResourceGroupName> --instance <AioInstanceName> --name <EndpointName> --workspace <WorkspaceName> --lakehouse <LakehouseName> --path-type <PathType>
El --audience parámetro especifica la audiencia de la identidad administrada asignada por el sistema. La audiencia predeterminada es https://<account>.onelake.dfs.fabric.microsoft.com.
Este es un comando de ejemplo para crear o reemplazar un punto de conexión de flujo de datos oneLake de Microsoft Fabric denominado fabric-endpoint:
az iot ops dataflow endpoint create fabric-onelake --auth-type SystemAssignedManagedIdentity --audience https://account.onelake.dfs.fabric.microsoft.com --resource-group myResourceGroup --instance myAioInstance --name fabric-endpoint --workspace myWorkspace --lakehouse myLakehouse --path-type Tables
Crear o cambiar
Use el comando az iot ops dataflow endpoint apply para crear o cambiar un punto de conexión de flujo de datos de Microsoft Fabric OneLake.
az iot ops dataflow endpoint apply --resource-group <ResourceGroupName> --instance <AioInstanceName> --name <EndpointName> --config-file <ConfigFilePathAndName>
El --config-file parámetro es la ruta de acceso y el nombre de archivo de un archivo de configuración JSON que contiene las propiedades del recurso.
En este ejemplo, supongamos que un archivo de configuración denominado fabric-endpoint.json con el siguiente contenido almacenado en el directorio principal del usuario:
{
"endpointType": "FabricOneLake",
"fabricOneLakeSettings": {
"authentication": {
"method": "SystemAssignedManagedIdentity",
"systemAssignedManagedIdentitySettings": {
"audience": "https://<account>.onelake.dfs.fabric.microsoft.com"
}
},
"batching": {
"latencySeconds": 60,
"maxMessages": 100000
},
"host": "https://onelake.dfs.fabric.microsoft.com",
"oneLakePathType": "Tables",
"names": {
"workspaceName": "<WorkspaceName>",
"lakehouseName": "<LakehouseName>"
}
}
}
Este es un comando de ejemplo para crear un nuevo punto de conexión de flujo de datos oneLake de Microsoft Fabric denominado fabric-endpoint:
az iot ops dataflow endpoint apply --resource-group myResourceGroupName --instance myAioInstanceName --name fabric-endpoint --config-file ~/fabric-endpoint.json
fabricOneLakeSettings: {
authentication: {
method: 'SystemAssignedManagedIdentity'
systemAssignedManagedIdentitySettings: {
audience: 'https://<ACCOUNT>.onelake.dfs.fabric.microsoft.com'
}
}
}
fabricOneLakeSettings:
authentication:
method: SystemAssignedManagedIdentity
systemAssignedManagedIdentitySettings:
audience: https://<ACCOUNT>.onelake.dfs.fabric.microsoft.com
Identidad administrada asignada por el usuario
Para usar la identidad administrada asignada por el usuario para la autenticación, primero debe implementar Operaciones de IoT de Azure con la configuración segura habilitada. A continuación, debe configurar una identidad administrada asignada por el usuario para las conexiones en la nube. Para obtener más información, consulte Habilitar la configuración segura en la implementación de Operaciones de IoT de Azure.
Antes de configurar el endpoint de flujo de datos, asigne un rol a la identidad gestionada por el usuario que le conceda permiso para escribir en Fabric Lakehouse.
- Vaya al área de trabajo de Microsoft Fabric y seleccione Administrar acceso>+ Agregar personas o grupos.
- Busque el nombre de la identidad administrada asignada por el usuario.
- Seleccione un rol adecuado y después, seleccione Agregar.
Luego, configure el punto de conexión de flujo de datos con las configuraciones de la identidad administrada asignada por el usuario.
En la página de configuración del punto de conexión de flujo de datos de la experiencia de operaciones, seleccione la pestaña Básico y elija Método de autenticación>Identidad administrada asignada por el usuario.
Escriba el id. de cliente de la identidad administrada asignada por el usuario y el id. de inquilino en los campos adecuados.
Crear o reemplazar
Usa el comando az iot ops dataflow endpoint create fabric-onelake para crear o reemplazar un punto de conexión de flujo de datos OneLake de Microsoft Fabric con la identidad administrada asignada por el usuario.
az iot ops dataflow endpoint create fabric-onelake --auth-type UserAssignedManagedIdentity --client-id <ClientId> --tenant-id <TenantId> --scope <Scope> --resource-group <ResourceGroupName> --instance <AioInstanceName> --name <EndpointName> --workspace <WorkspaceName> --lakehouse <LakehouseName> --path-type <PathType>
El --auth-type parámetro especifica el método de autenticación, que es UserAssignedManagedIdentity en este caso. Los parámetros --client-id, --tenant-id y --scope especifican el ID de cliente de la identidad administrada asignada por el usuario, el ID de inquilino y el alcance, respectivamente.
Este es un comando de ejemplo para crear o reemplazar un punto de conexión de flujo de datos oneLake de Microsoft Fabric denominado fabric-endpoint:
Comando de ejemplo:
az iot ops dataflow endpoint create fabric-onelake --auth-type UserAssignedManagedIdentity --client-id ClientId --tenant-id TenantId --scope https://storage.azure.com/.default --resource-group myResourceGroup --instance myAioInstance --name fabric-endpoint --workspace myWorkspace --lakehouse myLakehouse --path-type Tables
Crear o cambiar
Use el comando az iot ops dataflow endpoint apply para crear o cambiar un punto de conexión de flujo de datos OneLake de Microsoft Fabric con la identidad administrada asignada por el usuario.
az iot ops dataflow endpoint apply --resource-group <ResourceGroupName> --instance <AioInstanceName> --name <EndpointName> --config-file <ConfigFilePathAndName>
El --config-file parámetro es la ruta de acceso y el nombre de archivo de un archivo de configuración JSON que contiene las propiedades del recurso.
Ejemplo fabric-endpoint.json:
{
"endpointType": "FabricOneLake",
"fabricOneLakeSettings": {
"authentication": {
"method": "UserAssignedManagedIdentity",
"userAssignedManagedIdentitySettings": {
"clientId": "<ClientId>",
"scope": "<Scope>",
"tenantId": "<TenantId>"
}
},
"batching": {
"latencySeconds": 60,
"maxMessages": 100000
},
"host": "https://onelake.dfs.fabric.microsoft.com",
"oneLakePathType": "Tables",
"names": {
"workspaceName": "<WorkspaceName>",
"lakehouseName": "<LakehouseName>"
}
}
}
Comando de ejemplo:
az iot ops dataflow endpoint apply --resource-group myResourceGroupName --instance myAioInstanceName --name fabric-endpoint --config-file ~/fabric-endpoint.json
fabricOneLakeSettings: {
authentication: {
method: 'UserAssignedManagedIdentity'
userAssignedManagedIdentitySettings: {
clientId: '<ID>'
tenantId: '<ID>'
// Optional, defaults to 'https://storage.azure.com/.default'
// scope: 'https://<SCOPE_URL>'
}
}
}
Para usar una identidad administrada asignada por el usuario, especifique el método de autenticación UserAssignedManagedIdentity y proporcione los clientId y tenantId de la identidad administrada.
fabricOneLakeSettings:
authentication:
method: UserAssignedManagedIdentity
userAssignedManagedIdentitySettings:
clientId: <ID>
tenantId: <ID>
# Optional, defaults to 'https://storage.azure.com/.default'
# scope: https://<SCOPE_URL>
Aquí, el ámbito es opcional y el valor predeterminado es https://storage.azure.com/.default. Si necesita invalidar el ámbito predeterminado, especifique el valor scope mediante Bicep o Kubernetes.
Configuración avanzada
Puede establecer la configuración avanzada para el punto de conexión de Fabric OneLake, como la latencia de procesamiento por lotes y el recuento de mensajes. Esta configuración se puede establecer en la pestaña del portal Avanzado del punto de conexión del flujo de datos o dentro del recurso personalizado del punto de conexión del flujo de datos.
Procesamiento por lotes
Use el ajuste batching para configurar el número máximo de mensajes y la latencia máxima antes de que los mensajes se envíen al destino. Este ajuste es útil cuando desea optimizar el ancho de banda de red y reducir el número de solicitudes al destino.
| Campo |
Descripción |
Obligatorio |
latencySeconds |
El número máximo de segundos que se deben esperar antes de enviar los mensajes al destino. El valor predeterminado es 60 segundos. |
No |
maxMessages |
El número máximo de mensajes que se van a enviar al destino. El valor predeterminado es 100 000 mensajes. |
No |
Por ejemplo, para configurar el número máximo de mensajes en 1000 y la latencia máxima en 100 segundos, use la siguiente configuración:
En la experiencia de operaciones, seleccione la pestaña Avanzado del punto de conexión de flujo de datos.
Use el comando az iot ops dataflow endpoint apply para crear o cambiar la configuración avanzada del punto de conexión de flujo de datos de Microsoft Fabric OneLake.
az iot ops dataflow endpoint apply --resource-group <ResourceGroupName> --instance <AioInstanceName> --name <EndpointName> --config-file <ConfigFilePathAndName>
El --config-file parámetro es la ruta de acceso y el nombre de archivo de un archivo de configuración JSON que contiene las propiedades del recurso.
En este ejemplo, supongamos que un archivo de configuración denominado fabric-endpoint.json con el siguiente contenido almacenado en el directorio principal del usuario:
{
"endpointType": "FabricOneLake",
"fabricOneLakeSettings": {
"authentication": {
"method": "SystemAssignedManagedIdentity",
"systemAssignedManagedIdentitySettings": {}
},
"batching": {
"latencySeconds": 100,
"maxMessages": 1000
},
"host": "https://onelake.dfs.fabric.microsoft.com",
"oneLakePathType": "Tables",
"names": {
"workspaceName": "<WorkspaceName>",
"lakehouseName": "<LakehouseName>"
}
}
}
Este es un comando de ejemplo para crear un nuevo punto de conexión de flujo de datos oneLake de Microsoft Fabric denominado fabric-endpoint:
az iot ops dataflow endpoint apply --resource-group myResourceGroupName --instance myAioInstanceName --name fabric-endpoint --config-file ~/fabric-endpoint.json
fabricOneLakeSettings: {
batching: {
latencySeconds: 100
maxMessages: 1000
}
}
fabricOneLakeSettings:
batching:
latencySeconds: 100
maxMessages: 1000
Siguientes pasos
Para más información sobre los flujos de datos, consulte Crear flujos de datos.