注
Apache Airflow ジョブは Apache Airflow を活用しています。
Apache Airflow は、複雑なジョブをプログラムにより作成、スケジュール、監視するために使用されるオープンソース プラットフォームです。 これにより、オペレーターと呼ばれる一連のタスクを定義でき、有向非循環グラフ (DAG) と組み合わせてデータ パイプラインを表すことができます。
Apache Airflow ジョブは、Apache Airflow 環境を簡単かつ効率的に作成および管理する方法を提供します。これにより、オーケストレーション ジョブを簡単に大規模に実行できます。 このクイック スタートでは、Apache Airflow ジョブの環境と機能を理解するための単純な Apache Airflow ジョブを作成しましょう。
Apache Airflow ジョブを作成する
既存のワークスペースを使用するか、新しいワークスペースを作成することができます。
+ New
ドロップダウンを展開し、> [その他のオプション] をクリックし、>Data Factory
セクション内で> Apache エアフロー ジョブを選択します。プロジェクトに適切な名前を付け、[作成] ボタンをクリックします。
DAG ファイルを作成する
[新しい DAG ファイル] カードをクリック -> ファイルに名前を付け、[作成] ボタンをクリックします。
定型 DAG コードが表示されます。 ファイルは、実際の要件に応じて編集することができます。
[保存アイコン] をクリックします。
DAG を実行する
まず、[DAG の実行] ボタンをクリックします。
開始されると、DAG が実行されていることを示す通知がすぐに表示されます。
DAG 実行の進行状況を監視するには、通知センター内の [詳細の表示] をクリックします。 このアクションにより Apache Airflow UI にリダイレクトされます。この UI を使用すると、DAG 実行の状態と詳細を簡単に追跡できます。
Apache Airflow UI で Apache Airflow DAG を監視する
保存された dag ファイルは、Apache Airflow UI に読み込まれます。 それらを監視するには、[Apache Airflowで監視] ボタンをクリックします。