데이터 흐름을 통해 다양한 데이터 원본을 연결하고 데이터 작업을 수행할 수 있으며, 데이터를 이동, 변환, 보강하기 위한 데이터 경로 설정이 간소화됩니다. 데이터 흐름 구성 요소는 Azure Arc 확장으로 배포되는 Azure IoT 작업의 일부입니다. 데이터 흐름에 대한 구성은 Kubernetes CRD(사용자 지정 리소스 정의)를 통해 수행됩니다.
다음과 같은 다양한 사용 사례에 대한 구성을 작성할 수 있습니다.
- 데이터를 변환하여 MQTT로 다시 전송
- 데이터를 변환하여 클라우드로 전송
- 변환 없이 클라우드 또는 에지로 데이터 전송
데이터 흐름은 IoT 운영 인스턴스가 배포된 지역에만 국한되지 않습니다. 데이터 흐름을 사용하여 여러 지역의 클라우드 엔드포인트로 데이터를 전송할 수 있습니다.
주요 기능
데이터 흐름의 주요 기능은 다음과 같습니다.
데이터 처리 및 라우팅
데이터 흐름을 통해 메시지를 수집, 처리하고 지정된 싱크로 라우팅할 수 있습니다. 다음을 지정할 수 있습니다.
- 원본: 메시지가 수집되는 위치
- 대상: 메시지가 드레이닝되는 위치
- 변환(선택 사항): 데이터 처리 작업을 위한 구성
변환 기능
변환은 처리 단계에서 데이터에 적용되어 다양한 작업을 수행할 수 있습니다. 이러한 작업에는 다음이 포함될 수 있습니다.
- 새로운 속성 컴퓨팅: 메시지의 기존 속성을 기반으로 합니다.
- 속성 이름 바꾸기: 데이터를 표준화하거나 명확히 합니다.
- 단위 변환: 값을 다른 측정 단위로 변환합니다.
- 값 표준화: 속성 값을 사용자 정의 범위에 맞게 조정합니다.
- 데이터 컨텍스트화: 메시지에 참조 데이터를 추가하여 보강 및 인사이트 있는 정보를 제공합니다.
구성 및 배포
구성은 Kubernetes CRD를 사용하여 지정됩니다. 이러한 구성을 기반으로 데이터 흐름 운영자는 고가용성과 안정성을 보장하기 위해 데이터 흐름 인스턴스를 만듭니다.
이점
- 간소화된 설정: 데이터 원본과 대상을 쉽게 연결합니다.
- 유연한 변환: 광범위한 데이터 작업을 수행합니다.
- 확장성 있는 구성: 확장 가능하고 관리 가능한 구성을 위해 Kubernetes CRD를 사용합니다.
- 고가용성: Kubernetes 네이티브 리소스는 안정성을 보장합니다.
데이터 흐름을 사용하면 데이터 경로를 효율적으로 관리할 수 있습니다. 운영 요구 사항에 맞게 데이터를 정확하게 보내고, 변환하고, 보강할 수 있습니다.
스키마 레지스트리
Azure Device Registry가 제공하는 기능인 스키마 레지스트리는 클라우드와 에지에 동기화된 리포지토리입니다. 스키마 레지스트리는 에지 자산에서 들어오는 메시지의 정의를 저장한 다음, 에지에서 해당 스키마에 액세스할 수 있는 API를 제공합니다. OPC UA용 커넥터와 같은 사우스바운드 커넥터는 메시지 스키마를 만들어 스키마 레지스트리에 추가할 수 있으며, 고객은 스키마를 운영 환경 웹 UI에 업로드할 수 있습니다.
데이터 흐름은 메시지 스키마를 사용하여 메시지를 대상 엔드포인트에서 예상하는 형식으로 변환합니다.
자세한 내용은 메시지 스키마 이해를 참조하세요.
로컬 MQTT 브로커 엔드포인트 메시지 스토리지
데이터 흐름에서 로컬 MQTT 브로커를 원본 엔드포인트로 사용하는 경우, 데이터 흐름과 대상 엔드포인트 간의 연결이 끊어져도 메시지가 저장됩니다. 시나리오 예로, 기본 로컬 MQTT 브로커를 원본 엔드포인트로 사용하고 Azure Event Hubs를 대상 엔드포인트로 사용하여 데이터 흐름을 만든다고 가정해 보겠습니다. 데이터 흐름과 Azure Event Hubs 간의 연결이 끊어지면 메시지는 MQTT 브로커 구독자 메시지 큐에 저장됩니다. 연결이 복원되면 데이터 흐름은 구독자 메시지 큐에 있는 메시지를 Azure Event Hubs로 전송합니다.
로컬 MQTT 브로커 메시지 큐는 기본적으로 메모리에 저장됩니다. 디스크 백업 메시지 버퍼 구성을 사용하여 MQTT 브로커가 디스크에 메시지를 저장하도록 구성할 수 있습니다. MQTT 브로커 구성에 대한 자세한 내용은 고가용성, 크기 조정성 및 메모리 사용을 위한 브로커 설정 구성을 참조하세요. 디스크 백업 메시지 버퍼에 대한 자세한 내용은 디스크 백업 메시지 버퍼 동작 구성을 참조하세요.