Azure Data Lake Analytics は 2024 年 2 月 29 日に廃止されます。 詳細については 、このお知らせを参照してください。
既に Azure Data Lake Analytics を使用している場合は、組織の Azure Synapse Analytics への移行計画を作成できます。
Microsoft は、独自のビッグ データ分析エクスペリエンスのためにデータ レイクとデータ ウェアハウスの両方を統合することを目的とした Azure Synapse Analytics を立ち上げました。 データを収集して分析し、データの非効率性を解決し、チームが連携するのに役立ちます。 さらに、Synapse と Azure Machine Learning および Power BI の統合により、組織はデータから分析情報を取得し、すべてのスマート アプリに機械学習を実行する機能が向上します。
このドキュメントでは、Azure Data Lake Analytics から Azure Synapse Analytics への移行を行う方法について説明します。
推奨される方法
- 手順 1:適応性を評価する
- 手順 2:移行を準備する
- 手順 3: データとアプリケーション ワークロードを移行する
- 手順 4: Azure Data Lake Analytics から Azure Synapse Analytics へのカットオーバー
手順 1:適応性を評価する
Azure Synapse Analytics の Apache Spark を見て、Azure Data Lake Analytics と Azure Synapse Analytics 上の Spark の主な違いを理解します。
アイテム Azure Data Lake Analytics Synapse 上の Spark 価格設定 解析単位時間あたり 仮想コア時間ごと エンジン Azure Data Lake Analytics Apache Spark 既定のプログラミング言語 U-SQL T-SQL、Python、Scala、Spark SQL、.NET データ ソース Azure Data Lake Storage Azure Blob Storage、Azure Data Lake Storage 移行評価のアンケートを確認し、検討する可能性のあるリスクを一覧表示します。
手順 2:移行を準備する
移行するジョブとデータを特定します。
- この機会に、使用しなくなったジョブをクリーンアップしてください。 すべてのジョブを一度に移行する予定がない限り、この時間を取って、段階的に移行できるジョブの論理グループを特定します。
- データのサイズを評価し、Apache Spark データ形式を理解します。 U-SQL スクリプトを確認し、スクリプトの書き換え作業を評価し、Apache Spark コードの概念を理解します。
移行がビジネスに与える影響を決定します。 たとえば、移行中にダウンタイムを許容できるかどうかなどです。
移行計画を作成します。
手順 3: データとアプリケーションのワークロードを移行する
Azure Data Lake Storage Gen1 から Azure Data Lake Storage Gen2 にデータを移行します。
Azure Data Lake Storage Gen1 の提供終了は 2024 年 2 月になります。 公式発表を参照してください。 最初にデータを Gen2 に移行することをお勧めします。 Azure Data Lake Analytics U-SQL 開発者向けの Apache Spark データ形式を理解し、U-SQL テーブルに格納されているファイルとデータの両方を移動して、Azure Synapse Analytics からアクセスできるようにします。 移行ガイドの詳細 については、こちらをご覧ください。U-SQL スクリプトを Spark に変換します。 U-SQL スクリプトを Spark に変換するには、「 Azure Data Lake Analytics U-SQL 開発者向けの Apache Spark コードの概念について」 を参照してください。
ジョブ オーケストレーション パイプラインを新しい Spark プログラムに変換または再作成します。
手順 4: Azure Data Lake Analytics から Azure Synapse Analytics に移行する
アプリケーションとワークロードが安定していることを確信したら、Azure Synapse Analytics の使用を開始してビジネス シナリオを満たすことができます。 Azure Data Lake Analytics で実行されている残りのパイプラインをすべてオフにし、Azure Data Lake Analytics アカウントを廃止します。
移行評価のアンケート
| カテゴリ | 質問 | リファレンス |
|---|---|---|
| 移行のサイズを評価する | Azure Data Lake Analytics アカウントの数はいくつですか? 使用中のパイプラインの数はいくつですか? 使用されている U-SQL スクリプトの数 | 移行するデータとスクリプトが多いほど、スクリプトで UDO/UDF が使用されるほど、移行が困難になります。 移行に必要な時間とリソースは、プロジェクトの規模に応じて適切に計画する必要があります。 |
| データ ソース | データ ソースのサイズは何ですか? 処理するデータ形式の種類 | Azure Data Lake Analytics U-SQL 開発者向けの Apache Spark データ形式について |
| データ出力 | 後で使用できるように出力データを保持しますか? 出力データが U-SQL テーブルに保存されている場合、それを処理する方法 | 出力データが頻繁に使用され、U-SQL テーブルに保存される場合は、スクリプトを変更し、出力データを Spark でサポートされているデータ形式に変更する必要があります。 |
| データ移行 | ストレージ移行計画を作成しましたか? | Azure Data Lake Storage を Gen1 から Gen2 に移行する |
| U-SQL スクリプトの変換 | UDO/UDF (.NET、Python など) を使用していますか?上記の答えが 「はい」の場合、UDO/UDF のどの言語を使用し、変換中に変換に問題がありますか?フェデレーション クエリは U-SQL で使用されていますか? | Azure Data Lake Analytics U-SQL 開発者向けの Apache Spark コードの概念を理解する |