Azure Synapse Analytics で Spark を使用してデータを変換する
中級
データ エンジニア
Azure Synapse Analytics
データ エンジニアは、通常、大量のデータを変換する必要があります。 Azure Synapse Analytics の Apache Spark プールは、この目標を達成するために使用できる分散処理プラットフォームを備えています。
学習の目的
このモジュールでは、次の内容について説明します。
- Apache Spark を使用してデータフレームを変更および保存する
- パフォーマンスとスケーラビリティを向上させるためにデータ ファイルをパーティション分割します。
- SQL を使用してデータを変換する
前提条件
このモジュールを実行する前に、Azure Synapse Analytics の Apache Spark プールについて理解しておく必要があります。 まず、Azure Synapse Analytics モジュールで Apache Spark を使用してデータを分析する を完了することを検討してください。