중요합니다
이 페이지에는 미리 보기 상태인 Kubernetes 배포 매니페스트를 사용하여 Azure IoT 작업 구성 요소를 관리하는 방법에 대한 지침이 포함되어 있습니다. 이 기능은 여러 제한 사항을 가지고 있으므로 프로덕션 워크로드에는 사용하면 안 됩니다.
베타, 미리 보기로 제공되거나 아직 일반 공급으로 릴리스되지 않은 Azure 기능에 적용되는 약관은 Microsoft Azure 미리 보기에 대한 추가 사용 약관을 참조하세요.
데이터 흐름을 시작하려면 먼저 데이터 흐름 엔드포인트를 만듭니다. 데이터 흐름 엔드포인트는 데이터 흐름의 연결점입니다. 엔드포인트를 데이터 흐름의 원본 또는 대상으로 사용할 수 있습니다. 일부 엔드포인트 유형은 원본과 대상 모두로 사용할 수 있으며, 대상에만 사용할 수 있는 엔드포인트 유형도 있습니다. 데이터 흐름에는 최소한 하나의 원본 엔드포인트와 하나의 대상 엔드포인트가 필요합니다.
다음 표를 사용하여 구성할 엔드포인트 형식을 선택합니다.
| 엔드포인트 유형 |
설명 |
원본으로 활용 가능 |
대상으로 사용할 수 있습니다. |
|
MQTT |
Azure IoT 작업 및 Event Grid에 기본 제공되는 MQTT 브로커를 포함하여 MQTT 브로커와 양방향 메시징을 위한 기능입니다. |
예 |
예 |
|
Kafka |
Azure Event Hubs를 포함하여 Kafka 브로커와 양방향 메시징을 위한 기능입니다. |
예 |
예 |
|
Data Lake |
Azure Data Lake Gen2 스토리지 계정에 데이터를 업로드합니다. |
아니요 |
예 |
|
Microsoft Fabric OneLake |
Microsoft Fabric OneLake 레이크하우스에 데이터를 업로드합니다. |
아니요 |
예 |
|
Azure Data Explorer |
Azure Data Explorer 데이터베이스에 데이터를 업로드합니다. |
아니요 |
예 |
|
로컬 스토리지 |
Azure Arc에서 사용하도록 설정된 Azure 컨테이너 스토리지를 사용하여 선택적으로 구성할 수 있는 로컬에서 사용 가능한 영구 볼륨으로 데이터를 전송합니다. |
아니요 |
예 |
중요합니다
스토리지 엔드포인트에는 serialization을 위한 스키마가 필요합니다. Microsoft Fabric OneLake, Azure Data Lake Storage, Azure Data Explorer 또는 Local Storage에서 데이터 흐름을 사용하려면 스키마 참조를 지정해야 합니다.
샘플 데이터 파일에서 스키마를 생성하려면 스키마 생성 도우미를 사용합니다.
데이터 흐름은 로컬 MQTT 브로커 엔드포인트를 사용해야 함
데이터 흐름을 만들 때 원본 및 대상 엔드포인트를 지정합니다. 데이터 흐름은 원본 엔드포인트에서 대상 엔드포인트로 데이터를 이동합니다. 여러 데이터 흐름에 동일한 엔드포인트를 사용할 수 있으며, 데이터 흐름에서 동일한 엔드포인트를 원본과 대상으로 모두 사용할 수 있습니다.
그러나 데이터 흐름에서 사용자 지정 엔드포인트를 원본과 대상으로 모두 사용하는 것은 지원되지 않습니다. 이러한 제한은 Azure IoT 작업의 기본 제공 MQTT 브로커가 최소한 하나의 엔드포인트여야 함을 의미합니다. 원본, 대상 또는 둘 다일 수 있습니다. 데이터 흐름 배포 실패를 방지하려면 모든 데이터 흐름에 대한 원본 또는 대상으로 기본 MQTT 데이터 흐름 엔드포인트를 사용합니다.
구체적인 요구 사항은 각 데이터 흐름에 호스트 aio-broker가 있는 MQTT 엔드포인트로 구성된 원본 또는 대상이 있어야 한다는 것입니다. 따라서 기본 엔드포인트를 반드시 사용해야 하는 것은 아니며, 호스트가 aio-broker인 한 로컬 MQTT 브로커를 가리키는 추가 데이터 흐름 엔드포인트를 만들 수 있습니다. 그러나 혼동과 관리 용이성 문제를 피하기 위해 기본 엔드포인트를 사용하는 것이 좋습니다.
다음 표는 지원되는 시나리오를 보여 줍니다.
| 시나리오 |
지원됨 |
| 원본으로서의 기본 엔드포인트 |
예 |
| 대상으로서의 기본 엔드포인트 |
예 |
| 원본으로서의 사용자 지정 엔드포인트 |
예, 대상이 기본 엔드포인트이거나 호스트 aio-broker가 있는 MQTT 엔드포인트인 경우 |
| 대상으로 사용자 지정 엔드포인트 |
예, 원본이 기본 엔드포인트이거나 호스트 aio-broker가 있는 MQTT 엔드포인트인 경우 |
| 원본 및 대상으로 사용자 지정 엔드포인트 |
아니요(호스트 aio-broker가 있는 MQTT 엔드포인트가 아닌 경우) |
엔드포인트 다시 사용
각 데이터 흐름 엔드포인트는 데이터가 어디에서 오거나 어디로 가야 하는지(host 값), 엔드포인트에서 인증하는 방법, TLS 구성이나 일괄 처리 기본 설정과 같은 기타 설정을 포함하는 구성 설정의 묶음으로 생각합니다. 따라서 한 번만 만들면 설정이 동일한 여러 데이터 흐름에서 다시 사용할 수 있습니다.
엔드포인트 다시 사용을 더 쉽게 하기 위해 MQTT 또는 Kafka 항목 필터는 엔드포인트 구성에 포함되지 않습니다. 대신 데이터 흐름 구성에서 항목 필터를 지정합니다. 즉, 서로 다른 항목 필터를 사용하는 여러 데이터 흐름에 대해 동일한 엔드포인트를 사용할 수 있습니다.
예를 들어, 기본 MQTT 브로커 데이터 흐름 엔드포인트를 사용할 수 있습니다. 다양한 항목 필터를 사용하여 원본과 대상 모두에 사용할 수 있습니다.
az iot ops dataflow apply 명령을 사용하여 데이터 흐름을 만들거나 변경합니다.
az iot ops dataflow apply --resource-group <ResourceGroupName> --instance <AioInstanceName> --profile <DataflowProfileName> --name <DataflowName> --config-file <ConfigFilePathAndName>
--config-file 매개 변수는 리소스 속성을 포함하는 JSON 구성 파일의 경로 및 파일 이름입니다.
이 예제에서는 사용자의 홈 디렉터리에 저장된 다음 콘텐츠로 명명 data-flow.json 된 구성 파일을 가정합니다.
{
"mode": "Enabled",
"operations": [
{
"operationType": "Source",
"sourceSettings": {
"endpointRef": "default",
"dataSources": [
"example/topic/1"
]
}
},
{
"operationType": "Destination",
"destinationSettings": {
"endpointRef": "default",
"dataDestination": "example/topic/2"
}
}
]
}
resource dataflow 'Microsoft.IoTOperations/instances/dataflowProfiles/dataflows@2024-11-01' = {
parent: <DEFAULT_PROFILE_RESOURCE>
name: 'broker-to-broker'
extendedLocation: {
name: <CUSTOM_LOCATION_RESOURCE>.id
type: 'CustomLocation'
}
properties: {
mode: 'Enabled'
operations: [
{
operationType: 'Source'
sourceSettings: {
endpointRef: 'default'
dataSources: [
'example/topic/1'
]
}
}
{
operationType: 'Destination'
destinationSettings: {
endpointRef: 'default'
dataDestination: 'example/topic/2'
}
}
]
}
}
apiVersion: connectivity.iotoperations.azure.com/v1
kind: Dataflow
metadata:
name: broker-to-broker
namespace: azure-iot-operations
spec:
profileRef: default
operations:
- operationType: Source
sourceSettings:
endpointRef: default
dataSources:
- example/topic/1
- operationType: Destination
destinationSettings:
endpointRef: default
dataDestination: example/topic/2
마찬가지로, 다른 엔드포인트와 항목에 대해 동일한 MQTT 엔드포인트를 사용하는 여러 데이터 흐름을 만들 수 있습니다. 예를 들어, Event Hubs 엔드포인트로 데이터를 전송하는 데이터 흐름에 대해 동일한 MQTT 엔드포인트를 사용할 수 있습니다.
az iot ops dataflow apply 명령을 사용하여 데이터 흐름을 만들거나 변경합니다.
az iot ops dataflow apply --resource-group <ResourceGroupName> --instance <AioInstanceName> --profile <DataflowProfileName> --name <DataflowName> --config-file <ConfigFilePathAndName>
--config-file 매개 변수는 리소스 속성을 포함하는 JSON 구성 파일의 경로 및 파일 이름입니다.
이 예제에서는 사용자의 홈 디렉터리에 저장된 다음 콘텐츠로 명명 data-flow.json 된 구성 파일을 가정합니다.
{
"mode": "Enabled",
"operations": [
{
"operationType": "Source",
"sourceSettings": {
"endpointRef": "default",
"dataSources": [
"example/topic/3"
]
}
},
{
"operationType": "Destination",
"destinationSettings": {
// The endpoint needs to be created before you can reference it here
"endpointRef": "example-event-hub-endpoint",
"dataDestination": "example/topic/4"
}
}
]
}
resource dataflow 'Microsoft.IoTOperations/instances/dataflowProfiles/dataflows@2024-11-01' = {
parent: <DEFAULT_PROFILE_RESOURCE>
name: 'broker-to-eh'
extendedLocation: {
name: <CUSTOM_LOCATION_RESOURCE>.id
type: 'CustomLocation'
}
properties: {
mode: 'Enabled'
operations: [
{
operationType: 'Source'
sourceSettings: {
endpointRef: 'default'
dataSources: [
'example/topic/3'
]
}
}
{
operationType: 'Destination'
destinationSettings: {
// The endpoint needs to be created before you can reference it here
endpointRef: 'example-event-hub-endpoint'
dataDestination: 'example/topic/4'
}
}
]
}
}
apiVersion: connectivity.iotoperations.azure.com/v1
kind: Dataflow
metadata:
name: broker-to-eh
namespace: azure-iot-operations
spec:
profileRef: default
operations:
- operationType: Source
sourceSettings:
endpointRef: default
dataSources:
- example/topic/3
- operationType: Destination
destinationSettings:
# The endpoint needs to be created before you can reference it here
endpointRef: example-event-hub-endpoint
dataDestination: example/topic/4
MQTT 예와 유사하게, 서로 다른 항목에 대해 동일한 Kafka 엔드포인트를 사용하거나 서로 다른 테이블에 대해 동일한 Data Lake 엔드포인트를 사용하는 여러 데이터 흐름을 만들 수 있습니다.
다음 단계
데이터 흐름 엔드포인트 만들기:
