メインフレームとミッドレンジのデータを最新化する

Apache®、 Spark、および炎のロゴは、米国およびその他の国の Apache Software Foundation の登録商標または商標です。 これらのマークを使用することが、Apache Software Foundation による保証を意味するものではありません。

この記事では、メインフレームおよびミッドレンジ データ ソースのエンド ツー エンドのモダン化計画について説明します。 最新化により、ミッション クリティカルなワークロードのスケーラビリティとパフォーマンスが向上します。

アーキテクチャ

このアーキテクチャの Visio ファイルをダウンロードします。

データフロー

次のデータフローは、前の図に対応しています。

1. メインフレーム システムとミッドレンジ システムは、次のデータ ソースにデータを格納します。

   • ファイル システム:

     • Virtual Storage Access Method (VSAM)
     • フラット ファイル
     • リニア テープ ファイル システム

   • リレーショナル データベース:

     • Db2 for z/OS
     • Db2 for IBM i
     • Db2 for Linux UNIX および Windows

   • 非リレーショナル データベース:

     • 情報管理システム (IMS)
     • Adabas
     • 統合データベース管理システム (IDMS)

2. オブジェクト変換プロセスは、ソース オブジェクトからオブジェクト定義を抽出します。 その後、定義はターゲット データ ストア内の対応するオブジェクトに変換されます。

   • SQL Server Migration Assistant for Db2 は、スキーマとデータを IBM Db2 データベースから Azure データベースに移行します。

   • マネージド データ プロバイダー for Host Files は、 次の方法でオブジェクトを変換します。

     • 一般的なビジネス指向言語 (COBOL) およびレポート・プログラム・ジェネレーターのレコード・レイアウト、または コピーブックの解析。
     • .NET アプリケーションが使用する C# オブジェクトへのコピーブックのマッピング。

   • Db2toAzurePostgreSQL ツールは、データベース オブジェクトを Db2 から Azure Database for PostgreSQL に移行します。

   • パートナー ツールは、非リレーショナル データベース、ファイル システム、およびその他のデータ ストアに対して自動オブジェクト変換を実行します。

3. データが取り込まれると変換されます。 メインフレームおよびミッドレンジ システムは、EBCDIC でエンコードされた形式でファイル システム データを次のようなファイル形式で格納します。

   • インデックス付き VSAM ファイル。
   • インデックスのない GDG ファイル。
   • フラット ファイル。

   COBOL、プログラミング言語 1、およびアセンブリ言語のコピーブックは、これらのファイルのデータ構造を定義します。

   ある。 ファイル転送プロトコル (FTP) は、メインフレームとミッドレンジのファイル システム データセットとそれに対応するコピーブックを Azure に転送します。 これらのデータセットには、バイナリ形式で単一のレイアウトとアンパックされたフィールドがあります。

   b。 データ変換は、Host Integration Server のホスト ファイル コンポーネントを使用するか、Azure Logic Apps の IBM ホスト ファイル用の組み込みコネクタを使用して、カスタム プログラムを開発することによって実現されます。

   Spark Notebook コンバーターは、オープンソースの Spark フレームワークを使用して開発されています。 Microsoft Fabric、Azure Synapse Analytics、Azure Databricks などの Spark 環境と互換性があります。

   c. リレーショナル データベース データが移行されます。

   IBM メインフレームおよびミッドレンジ システムは、次のようなリレーショナル データベースにデータを格納します。

   • Db2 for z/OS。
   • Db2 for Linux UNIX および Windows。
   • Db2 for IBM i.

   次のサービスは、データベース データを移行します。

   • Azure Data Factory では、Db2 コネクタを使用してデータベースからデータを抽出および統合します。
   • SQL Server Integration Services は、さまざまなデータ 抽出、変換、および読み込みタスクを 処理します。
   • Fabric Data Factory は、IBM Db2 コネクタを使用して Db2 データを移行します。

   d. 非リレーショナル データベース データが移行されます。

   IBM メインフレームおよびミッドレンジ システムは、次のような非リレーショナル データベースにデータを格納します。

   • IDMS。 ネットワーク モデル データベース管理システム (DBMS)。
   • IMS( 階層モデル DBMS)。
   • Adabas。
   • Datacom。

   パートナー製品は、これらのデータベースのデータを統合します。

4. Azure Data Factory や AzCopy などの Azure ツールは、Azure データベースと Azure データ ストレージにデータを読み込みます。 また、パートナー ソリューションとカスタム読み込みソリューションを使用してデータを読み込むこともできます。

5. Azure では、Azure SQL Database などのフル マネージド リレーショナル データベース サービスや、Azure Cosmos DB などの NoSQL オプションなど、さまざまなデータベース サービスが提供されます。 これらのサービスは、スケーラビリティ、柔軟性、グローバル分散を目的として設計されています。

   また、Azure には、非構造化データ用の Azure Blob Storage や、フル マネージド ファイル共有用の Azure Files など、さまざまなストレージ ソリューションも用意されています。

6. Azure サービスは、コンピューティング、分析、ストレージ、ネットワークに最新化されたデータ層を使用します。

7. クライアント アプリケーションでは、最新化されたデータ層も使用されます。

コンポーネント

このアーキテクチャでは、次のコンポーネントを使用します。

データ ストレージ

このアーキテクチャでは、Azure での柔軟でインテリジェントなデータ管理のために、スケーラブルで安全なクラウド ストレージとマネージド データベースにデータを移行する方法について説明します。

• SQL Database は、 Azure SQL ファミリの一部です。 これはクラウド向けに設計されており、フル マネージドで常緑化されたサービスとしてのプラットフォーム (PaaS) のすべての利点を提供します。 SQL Database は、パフォーマンスと持続性を最適化する、AI を活用した自動機能も備えています。 サーバーレスコンピューティングと ハイパースケールストレージのオプション は、リソースをオンデマンドで自動的にスケーリングします。

• Azure Database for PostgreSQL は、オープンソースの PostgreSQL データベース エンジンのコミュニティ エディションに基づくフル マネージドのリレーショナル データベース サービスです。

• Azure Cosmos DB は、グローバルに分散された 複数モデルのNoSQL データベースです。

• Azure Database for MySQL は、オープンソース の MySQL データベース エンジンのコミュニティ エディションに基づくフル マネージドのリレーショナル データベース サービスです。

• SQL Managed Instance は、フル マネージドの常緑 PaaS のすべての利点を提供するインテリジェントでスケーラブルなクラウド データベース サービスです。 SQL Managed Instance には、最新の SQL Server Enterprise Edition データベース エンジンとのほぼ完全な互換性があります。 また、一般的なセキュリティの問題に対応するネイティブ仮想ネットワーク実装も提供されます。

• Azure Data Lake Storage は、ネイティブの生形式で大量のデータを保持するストレージ リポジトリです。 Data Lake Store は、テラバイトとペタバイトのデータにスケーリングするために最適化されています。 通常、データは複数の異種ソースから取得されます。 構造化、半構造化、非構造化のいずれかです。

• Microsoft Fabric の SQL データベース は、SQL Database に基づく開発者向けのトランザクション データベースです。 これを使用して、Fabric で運用データベースを簡単に作成できます。 Fabric の SQL データベースでは、SQL Database と同じ SQL データベース エンジンが使用されます。

• Microsoft Fabric Lakehouse は、構造化データと非構造化データを一元的に保存、管理、分析するためのデータアーキテクチャプラットフォームです。

コンピューティング

• Azure Data Factory は、コンピューティング インフラストラクチャである 統合ランタイム (IR) を使用して、さまざまなネットワーク環境間でデータを統合します。 Azure Data Factory は、セルフホステッド IR を使用して、クラウド データ ストアとオンプレミス ネットワーク内のデータ ストアの間でデータをコピーします。

• オンプレミス データ ゲートウェイは、ローカルにインストールされた Windows クライアント アプリケーションであり、Microsoft Cloud 内のローカルのオンプレミス データ ソースとサービスの間のブリッジとして機能します。

• Azure Virtual Machines は、オンデマンドでスケーラブルなコンピューティング リソースを提供します。 Azure 仮想マシン (VM) は、仮想化の柔軟性を提供しますが、物理ハードウェアのメンテナンス要求を排除します。 Azure VM には、Windows や Linux などのオペレーティング システムが用意されています。

データ インテグレーター

このアーキテクチャでは、メインフレーム ソース データとターゲット データベースに応じて使用するさまざまな Azure ネイティブ移行ツールの概要を示します。

• Azure Data Factory は、ハイブリッド データ統合サービスです。 このソリューションでは、Azure Data Factory はネイティブ コネクタを使用して、Db2 ソースから Azure データベース ターゲットにデータを移行します。

• AzCopy は、BLOB またはファイルをストレージ アカウントとの間で移動するコマンド ライン ユーティリティです。

• SQL Server Integration Services は、エンタープライズ レベルのデータ統合および変換ソリューションを作成するためのプラットフォームです。 これを使用すると、次の方法で複雑なビジネス上の問題を解決できます。

  • ファイルのコピーまたはダウンロード。
  • データ ウェアハウスの読み込み。
  • クレンジングとマイニング データ。
  • SQL Server オブジェクトとデータの管理。

• Host Integration Server の テクノロジとツールは、既存の IBM ホスト システム、プログラム、メッセージ、およびデータを Azure アプリケーションと統合できます。 ホスト ファイル クライアント コンポーネントは、EBCDIC から ASCII に変換されたデータに柔軟性を提供します。 たとえば、変換されたデータから JSON または XML 形式のデータを生成できます。

• Azure Synapse Analytics は 、データ統合、エンタープライズ データ ウェアハウス、ビッグ データ分析を組み合わせたものになります。 このアーキテクチャでは、Azure Synapse Analytics 変換ソリューションを使用します。 これは Apache Spark に基づいており、大規模なメインフレーム データセット ワークロード変換に適しています。 幅広いメインフレームデータ構造とターゲットをサポートし、コーディング作業を最小限に抑える必要があります。

• Microsoft Fabric は、エンタープライズ対応のエンド ツー エンドの分析プラットフォームです。 データ移動、データ処理、インジェスト、変換、リアルタイム イベント ルーティング、レポート作成を統合します。 次の統合サービスを使用して、これらの機能をサポートしています。

  • ファブリック データ エンジニア
  • ファブリック データ ファクトリー
  • Fabric Data Science
  • ファブリック Real-Time インテリジェンス
  • ファブリックデータウェアハウス
  • Fabric データベース

その他のツール

• SQL Server Migration Assistant for Db2 は、Db2 から Microsoft データベース サービスへの移行を自動化します。 このツールを VM 上で実行すると、Db2 データベース オブジェクトが SQL Server データベース オブジェクトに変換され、それらのオブジェクトが SQL Server に作成されます。

• ホスト ファイルのデータ プロバイダー は、オフライン、SNA、または TCP/IP 接続を使用する Host Integration Server の コンポーネントです。

  • オフライン接続では、データ プロバイダーはローカル バイナリ ファイル内のレコードの読み取りと書き込みを行います。
  • SNA および TCP/IP 接続を使用すると、データ・プロバイダーは、リモート z/OS (IBM Z シリーズのメインフレーム) データセットまたはリモート i5/OS (IBM AS/400 および iSeries システム) 物理ファイルに格納されているレコードを読み取りおよび書き込みます。 TCP/IP を使用するのは i5/OS システムだけです。

• Azure サービス は、パブリック クラウドで新しいアプリケーションを開発およびスケーリングするための環境、ツール、プロセスを提供します。

シナリオの詳細

Azure データ プラットフォームのような最新のデータ ストレージ ソリューションは、メインフレームおよびミッドレンジ システムよりも優れたスケーラビリティとパフォーマンスを提供します。 システムを最新化することで、これらの利点を活用できます。 ただし、テクノロジ、インフラストラクチャ、プラクティスの更新は複雑です。 このプロセスには、ビジネスとエンジニアリングのアクティビティに関する徹底的な調査が含まれます。 データ管理は、システムを最新化する際の考慮事項の 1 つです。 また、データの視覚化と統合も確認する必要があります。

最新化を成功させるには、 データ優先戦略を使用します。 この方法を使用する場合は、新しいシステムではなくデータに重点を置きます。 データ管理は、モダン化チェックリストの項目に過ぎなくなりました。 代わりに、データが中心になります。 調整された品質指向のデータ ソリューションは、断片化され、管理が不十分なものを置き換えます。

このソリューションでは、データ優先アプローチで Azure データ プラットフォーム コンポーネントを使用します。 具体的には、ソリューションには次のものが含まれます。

• オブジェクト変換。 オブジェクト定義をソース データ ストアからターゲット データ ストア内の対応するオブジェクトに変換します。

• データ インジェスト。 ソース データ ストアに接続し、データを抽出します。

• データ変換。 抽出されたデータを適切なターゲット データ ストア構造に変換します。

• データ ストレージ。 最初と継続的の両方で、ソース データ ストアからターゲット データ ストアにデータを読み込みます。

考えられるユース ケース

メインフレームおよびミッドレンジ システムを使用する組織は、特に次のような場合に、このソリューションを利用できます。

• ミッション クリティカルなワークロードを最新化します。

• ビジネス インテリジェンスを獲得して運用を改善し、競争上の優位性を獲得します。

• メインフレームとミッドレンジのデータ ストアに関連付けられている高コストと剛性を削除します。

考慮事項

これらの考慮事項では、Azure Well-Architected Framework の柱を実装します。これは、ワークロードの品質を向上させるために使用できる一連の基本原則です。 詳細については、「 Well-Architected Framework」を参照してください。

安全

セキュリティは、意図的な攻撃や貴重なデータとシステムの誤用に対する保証を提供します。 詳細については、「セキュリティの設計レビュー チェックリスト」を参照してください。

• オンプレミスのクライアント ID と Azure のクライアント ID の違いに注意してください。 違いを補う必要があります。

• コンポーネント間データ フローには マネージド ID を 使用します。

• ホスト ファイルのデータ プロバイダーを使用してデータを変換する場合は、「 ホスト ファイルのセキュリティと保護のためのデータ プロバイダー」の推奨事項に従ってください。

コストの最適化

コストの最適化では、不要な経費を削減し、運用効率を向上させる方法に重点を置いています。 詳細については、「コスト最適化の設計レビュー チェックリスト」を参照してください。

• SQL Server Migration Assistant は、Db2 から SQL Server、SQL Database、SQL Managed Instance へのデータベースの移行を簡略化する、サポートされている無料のツールです。 SQL Server Migration Assistant は、移行評価分析、スキーマと SQL ステートメントの変換、データ移行など、移行のすべての側面を自動化します。

• Azure Synapse Analytics Spark ベースのソリューションは、オープンソース ライブラリから構築されています。 これにより、ライセンス変換ツールの財務上の負担がなくなります。

• このソリューションの実装コストを見積もるには、Azure 料金計算ツールを使用します。

パフォーマンス効率

パフォーマンス効率とは、ユーザーの要求を効率的に満たすためにスケーリングするワークロードの能力を指します。 詳細については、「パフォーマンス効率の設計レビュー チェックリスト」を参照してください。

• パフォーマンス効率の重要な柱は、パフォーマンス管理、容量計画、 スケーラビリティ、適切なパフォーマンス パターンの選択です。

• アクティブ/アクティブ モードの複数のオンプレミス マシンに論理インスタンスを関連付けることで、 セルフホステッド IR をスケールアウト できます。

• SQL Database を使用してデータベースを動的にスケーリングします。 サーバーレス層では、コンピューティング リソースを自動的にスケーリングできます。 エラスティック プールを使用すると、データベースはプール内のリソースを共有でき、手動でのみスケーリングできます。

Data Provider for Host Files クライアントを使用してデータを変換する場合は、 接続プールを有効に して接続の起動時間を短縮します。 Azure Data Factory を使用してデータを抽出する場合は、 コピー アクティビティのパフォーマンスを調整します。

貢献者達

Microsoft では、この記事を保持しています。 次の共同作成者がこの記事を書きました。

主要著者:

• アシッシュ カンデルワル |プリンシパル エンジニアリング アーキテクト マネージャー

その他の共同作成者:

• Nithish Aruldoss | エンジニアリング アーキテクト

公開されていない LinkedIn プロフィールを見るには、LinkedIn にサインインしてください。

次のステップ

「Azure データベースの移行ガイド」を確認します。 詳細については、 Azure Data Engineering - Mainframe および Midrange Modernization にお問い合わせください。

次の記事をご覧ください。

• Azure 上の IBM ワークロード
• Azure VM でのメインフレームのホスト変更
• Azure でサポートされているメインフレーム ワークロード
• メインフレーム コンピューティングを Azure に移行する

関連リソース

• Azure Synapse Analytics を使用した分析のエンドツーエンド