Azure에서 메인프레임 파일 복제 및 동기화
솔루션 아이디어
이 문서는 솔루션 아이디어 설명입니다. 클라우드 설계자는 이 지침을 사용하여 이 아키텍처의 일반적인 구현을 위한 주요 구성 요소를 시각화할 수 있습니다. 이 문서를 시작점으로 사용하여 워크로드의 특정 요구 사항에 맞는 잘 설계된 솔루션을 디자인할 수 있습니다.
온-프레미스 메인프레임 또는 미드레인지 애플리케이션을 Azure로 마이그레이션하는 경우 데이터 전송이 주요 고려 사항입니다. 여러 현대화 시나리오에서는 파일을 Azure에 신속하게 복제하거나 온-프레미스 파일과 Azure 파일 간의 동기화를 유지 관리해야 합니다.
이 문서에서는 Azure로 파일을 전송하고, 파일 데이터를 변환 및 변환하고, 온-프레미스 및 Azure에 데이터를 저장하는 여러 가지 방법을 설명합니다.
아키텍처
이 아키텍처의 Visio 파일을 다운로드합니다.
데이터 흐름
다음 데이터 흐름은 이전 다이어그램에 해당합니다.
Azure로 파일 전송:
온-프레미스에서 Azure로 파일을 전송하는 가장 쉬운 방법은 FTP(파일 전송 프로토콜)를 사용하는 것입니다. Azure VM(가상 머신)에서 FTP 서버를 호스트할 수 있습니다. 간단한 FTP JCL(작업 제어 언어)이 메인프레임과 미드레인지 계산 및 이진 데이터 형식을 유지하는 데 필수적인 이진 형식으로 Azure에 파일을 보냅니다. 전송된 파일을 온-프레미스 디스크, Azure VM 파일 스토리지 또는 Azure Blob Storage에 저장할 수 있습니다.
AzCopy와 같은 도구를 사용하여 온-프레미스 파일을 Blob Storage에 업로드할 수도 있습니다.
Azure Data Factory FTP 또는 SFTP(보안 파일 전송 프로토콜) 커넥터를 사용하여 메인프레임 시스템에서 Blob Storage로 데이터를 전송할 수 있습니다. 이 메서드를 사용하려면 자체 호스팅 통합 런타임이 설치된 중간 VM이 필요합니다.
또한 Azure Marketplace에서 Microsoft 이외의 도구를 찾아 메인프레임에서 Azure로 파일을 전송할 수도 있습니다.
데이터 오케스트레이션, 변환 및 변형:
Azure는 Azure VM 디스크 또는 Blob Storage에서 IBM EBCDIC(Extended Binary Coded Decimal Interchange Code) 코드 페이지 파일을 읽을 수 없습니다. 이러한 파일을 Azure와 호환되도록 HIS(Host Integration Server)는 EBCDIC에서 ASCII(American Standard Code for Information Interchange) 형식으로 변환합니다.
복사 문서는 COBOL, PL/I 및 어셈블리 언어 파일의 데이터 구조를 정의합니다. HIS는 복사 문서 레이아웃에 따라 이러한 파일을 ASCII로 변환합니다.
메인프레임 파일 데이터 변환은 IBM 호스트 파일용 Azure Logic Apps 커넥터를 사용하여 수행할 수 있습니다.
Azure 데이터 저장소로 데이터를 전송하기 전에 데이터를 변환하거나 분석에 사용해야 할 수 있습니다. Azure Data Factory는 이러한 ETL(추출-변환-로드) 및 ELT(추출-로드-변환) 작업을 관리하고 Azure Data Lake Storage에 직접 데이터를 저장할 수 있습니다.
빅 데이터 통합의 경우 Azure Databricks 및 Azure Synapse Analytics는 메모리 내 계산에 Apache Spark 엔진을 사용하여 모든 변환 작업을 빠르고 효과적으로 수행할 수 있습니다.
데이터 저장:
요구 사항에 따라 전송된 데이터를 사용 가능한 여러 영구 Azure 스토리지 모드 중 하나로 저장할 수 있습니다.
분석이 필요하지 않은 경우 Azure Data Factory는 Data Lake Storage 및 Blob Storage와 같은 광범위한 스토리지 옵션에 데이터를 직접 저장할 수 있습니다.
Azure는 다양한 요구 사항을 해결하는 다양한 데이터베이스를 호스팅합니다 .
관계형 데이터베이스에는 SQL Server 제품군 및 PostgreSQL 및 MySQL과 같은 오픈 소스 데이터베이스가 포함됩니다.
비관계형 데이터베이스에는 빠른 다중 모델, 전역적으로 분산된 NoSQL 데이터베이스인 Azure Cosmos DB가 포함됩니다.
분석 및 비즈니스 인텔리전스를 검토합니다. Microsoft Fabric 은 조직에서 데이터 이동을 연구하고, 데이터 과학을 실험하고, 실시간 분석 및 비즈니스 인텔리전스를 검토하는 데 사용할 수 있는 올인원 분석 솔루션입니다. 데이터 레이크, 데이터 엔지니어링 및 데이터 통합을 비롯한 포괄적인 기능 모음을 제공합니다.
구성 요소
이 아키텍처는 다음 구성 요소를 사용합니다.
네트워킹
이 아키텍처는 온-프레미스 데이터 게이트웨이를 브리지 소프트웨어로 사용하여 온-프레미스 메인프레임 데이터를 클라우드 서비스에 연결합니다. 전용 온-프레미스 VM에 게이트웨이를 설치할 수 있습니다.
데이터 통합 및 변환
이 아키텍처는 조직에서 메인프레임 원본 데이터 및 대상 데이터베이스를 기반으로 사용할 수 있는 다양한 Azure 네이티브 마이그레이션 도구를 간략하게 설명합니다.
호스트 파일용 데이터 공급자는 EBCDIC 코드 페이지 파일을 ASCII로 변환하는 HIS의 구성 요소입니다. 공급자는 로컬 이진 파일에서 오프라인으로 레코드를 읽고 쓸 수 있습니다. 또는 SNA(시스템 네트워크 아키텍처) 또는 TCP/IP(Transmission Control Protocol/Internet Protocol)를 사용하여 원격 IBM z/OS 메인프레임 데이터 세트 또는 i5/OS 물리적 파일에서 레코드를 읽고 쓸 수 있습니다. HIS 커넥터는 BizTalk 및 Logic Apps에 사용할 수 있습니다.
Azure Data Factory 는 ETL 및 ELT 워크플로를 만들고 예약하고 오케스트레이션하는 데 사용할 수 있는 하이브리드 데이터 통합 서비스입니다. 이 아키텍처에서 Azure Data Factory는 FTP를 통해 메인프레임 파일을 Blob Storage로 보내는 데 사용됩니다.
Azure Databricks는 Azure에 최적화된 Apache Spark 기반 분석 플랫폼입니다. Azure Databricks를 사용하여 들어오는 데이터의 상관 관계를 지정하고 Azure Databricks에 저장된 다른 데이터와 보강할 수 있습니다.
Azure Synapse Analytics 는 데이터를 탄력적이고 독립적으로 확장, 컴퓨팅 및 저장하는 데 사용할 수 있는 대규모 병렬 처리 아키텍처를 갖춘 빠르고 유연한 클라우드 데이터 웨어하우스입니다. Azure 데이터베이스에 로드하기 전에 메인프레임 데이터 변환에 사용할 수 있습니다.
Logic Apps 는 워크플로를 자동화하고 다양한 환경에서 애플리케이션, 데이터 및 서비스를 통합하는 데 사용할 수 있는 클라우드 기반 서비스입니다. 메인프레임 시스템과 상호 작용하여 호스트 파일 콘텐츠를 읽고 구문 분석하고 생성하는 네이티브 IBM 호스트 파일 커넥터를 제공합니다.
데이터베이스
이 아키텍처는 메인프레임 파일 데이터를 Azure의 클라우드 스토리지 및 관리되는 데이터베이스로 마이그레이션하는 프로세스를 간략하게 설명합니다. 여기에는 Azure의 대상 스키마와 일치하도록 메인프레임 파일 메타데이터 변환이 포함됩니다.
Azure SQL Database는 확장 가능한 관계형 클라우드 데이터베이스 서비스입니다. SQL Database는 성능과 내구성을 최적화하는 AI 기반 및 자동화된 기능을 사용하여 항상 up-to. 서버리스 컴퓨팅 및 하이퍼스케일 스토리지 옵션은 필요에 따라 리소스 크기를 자동으로 조정합니다. Azure 하이브리드 혜택을 사용하면 기존 온-프레미스 SQL Server 라이선스를 추가 비용 없이 클라우드에서 사용할 수 있습니다.
Azure SQL Managed Instance 는 가장 광범위한 SQL Server 데이터베이스 엔진 호환성과 완전 관리형 및 상록 플랫폼의 모든 이점을 서비스로 결합합니다. SQL Managed Instance를 사용하면 익숙한 도구, 기술 및 리소스를 사용하여 기존 앱을 대규모로 현대화할 수 있습니다.
Azure Virtual Machines 의 SQL Server는 SQL Server 워크로드를 클라우드로 리프트 앤 시프트하여 Azure의 유연성과 하이브리드 연결을 SQL Server 성능, 보안 및 분석과 결합합니다. 총 코드 호환성을 사용하여 최신 SQL Server 업데이트 및 릴리스에 액세스할 수 있습니다.
Azure Database for PostgreSQL은 오픈 소스 PostgreSQL 데이터베이스 엔진의 커뮤니티 버전을 기반으로 하는 완전 관리형 관계형 데이터베이스 서비스입니다.
Azure Database for MySQL은 오픈 소스 MySQL 데이터베이스 엔진의 커뮤니티 버전을 기반으로 하는 완전 관리형 관계형 데이터베이스 서비스입니다.
Azure Cosmos DB는 확장성 있는 고성능 애플리케이션을 빌드하고 현대화하기 위한 완전 관리형 다중 모델 NoSQL 데이터베이스 서비스입니다. Azure Cosmos DB는 지리적 지역에 걸쳐 처리량 및 스토리지 크기를 탄력적으로 독립적으로 조정하고 전 세계 어디서나 한 자리 밀리초 응답 시간 및 99번째 백분위수 가용성을 보장합니다.
다른 데이터 저장소
Blob Storage 는 텍스트 또는 이진 데이터와 같은 많은 양의 구조화되지 않은 데이터를 저장하는 클라우드 기반 개체 스토리지 솔루션입니다. HTTP 또는 HTTPS를 통해 어디서나 이 데이터에 액세스할 수 있습니다. Blob Storage를 사용하여 데이터를 공개적으로 노출하거나 애플리케이션 데이터를 비공개로 저장할 수 있습니다.
Data Lake Storage는 대량의 데이터를 네이티브, 원시 형식으로 보관하는 스토리지 리포지토리입니다. Data Lake Storage는 테라바이트 및 페타바이트 데이터로 빅 데이터 분석 워크로드의 크기를 조정합니다. 데이터는 일반적으로 여러 다른 유형의 원본에서 제공되며 구조화, 반구조화 또는 비구조화될 수 있습니다.
시나리오 세부 정보
메인프레임 시스템에서 Azure 클라우드 스토리지 및 데이터베이스로 데이터를 마이그레이션하려면 메인프레임 파일을 EBCDIC로 인코딩된 형식에서 ASCII 형식으로 변환해야 합니다. 메인프레임 애플리케이션은 매일 많은 양의 데이터를 생성하고 처리합니다. 이 데이터는 다른 플랫폼에서 사용하기 위해 정확하게 변환되어야 합니다.
조직에서 메인프레임 파일 시스템 데이터를 전환할 때 파일 메타데이터를 클라우드 네이티브 도형으로 변환해야 합니다. 그리고 효과적인 파일 변환 기술을 포함하는 마이그레이션 전략을 개발합니다.
잠재적인 사용 사례
온-프레미스 파일 복제 및 동기화는 다양한 사용 사례에 필수적입니다.
메인프레임에서 실행되는 애플리케이션과 Azure에서 실행되는 애플리케이션이 파일을 통해 데이터를 교환해야 하는 경우와 같은 다운스트림 또는 업스트림 종속성
온-프레미스 애플리케이션을 사용하여 Azure에서 다시 호스팅되거나 다시 엔지니어링된 애플리케이션의 병렬 테스트
즉시 수정하거나 현대화할 수 없는 시스템의 긴밀하게 결합된 온-프레미스 애플리케이션
참가자
Microsoft는 이 문서를 유지 관리합니다. 다음 기여자는 이 문서를 작성했습니다.
주요 작성자:
- Nithish Aruldoss | 엔지니어링 설계자
- 아시쉬 칸델왈 | 수석 엔지니어링 아키텍처 관리자
LinkedIn 비공개 프로필을 보려면, LinkedIn에 로그인하세요.
다음 단계
- 자세한 내용은 Microsoft SQL Data Engineering 팀에 문의하세요.
- Azure 데이터베이스 마이그레이션 가이드