クイック スタート: Azure Synapse Pipelines を使用してデータを取り込む (プレビュー)

Microsoft Cloud Migration Factory (CMF) プログラムは、お客様が Fabric に移行できるように設計されています。 このプログラムは、顧客に無料でハンズオン キーボード リソースを提供します。 これらのリソースは、定義済みの合意されたスコープで、6 ~ 8 週間割り当てられます。 顧客の指名は、Microsoft アカウント チームから受け入れられるか、CMF チームに ヘルプの要求 を送信することによって直接受け入れられます。

このクイック スタートでは、データ ソースから Azure Synapse Data Explorer プールにデータを読み込む方法について説明します。

[前提条件]

• Azure サブスクリプション。 無料の Azure アカウントを作成します。

• Synapse Studio または Azure portal を使用して Data Explorer プールを作成します

• Data Explorer データベースを作成します。

  1. Synapse Studio の左側のペインで、 [データ] を選択します。

  2. + (新しいリソースの追加) >[Data Explorer プール] を選択し、次の情報を使用します。

     設定	推奨値	説明
     プール名	contosodataexplorer	使用する Data Explorer プールの名前
     名前	TestDatabase	データベース名はクラスター内で一意である必要があります。
     既定のリテンション期間	365	クエリにデータを使用できることが保証される期間 (日数) です。 期間は、データが取り込まれた時点から測定されます。
     既定のキャッシュ期間	31	頻繁にクエリされるデータが、長期ストレージではなく SSD ストレージまたは RAM で利用できるように保持される期間 (日数) です。

  3. [作成] を選択してデータベースを作成します。 通常、作成にかかる時間は 1 分未満です。

• テーブルを作成する

  1. Synapse Studio の左側のウィンドウで、 [開発] を選択します。
  2. [KQL スクリプト] で、[+] (新しいリソースの追加) >[KQL スクリプト] を選びます。 右側のウィンドウで、スクリプト名を指定できます。
  3. [接続先] メニューで、[contosodataexplorer] を選択します。
  4. [データベースの使用] メニューで、 [TestDatabase] を選択します。
  5. 次のコマンドを貼り付け、 [実行] を選択してテーブルを作成します。

  .create table StormEvents (StartTime: datetime, EndTime: datetime, EpisodeId: int, EventId: int, State: string, EventType: string, InjuriesDirect: int, InjuriesIndirect: int, DeathsDirect: int, DeathsIndirect: int, DamageProperty: int, DamageCrops: int, Source: string, BeginLocation: string, EndLocation: string, BeginLat: real, BeginLon: real, EndLat: real, EndLon: real, EpisodeNarrative: string, EventNarrative: string, StormSummary: dynamic)
  

  ヒント

  テーブルが正常に作成されたことを確認します。 左側のペインで、 [データ] を選択し、contosodataexplorer の [その他] メニューを選択し、 [最新の情報に更新] を選択します。 [contosodataexplorer] で [テーブル] を展開し、StormEvents テーブルが一覧に表示されていることを確認します。

• クエリとデータ インジェストのエンドポイントを取得します。 リンクされたサービスを構成するには、クエリ エンドポイントが必要です。

  1. Synapse Studio の左側のペインで、 [管理]>[Data Explorer プール] を選びます。

  2. 詳細を表示するために使用するデータ エクスプローラー プールを選択します。

     

  3. クエリとデータ インジェストのエンドポイントを書き留めます。 Data Explorer プールへの接続を構成するときは、クエリ エンドポイントをクラスターとして使用します。 データ インジェスト用に SDK を構成する場合は、データ インジェスト エンドポイントを使用します。

     

リンクされたサービスを作成する

Azure Synapse Analytics で、リンクされたサービスとは、他のサービスへの接続情報を定義した場所です。 このセクションでは、Azure Data Explorer のリンクされたサービスを作成します。

1. Synapse Studio の左側のウィンドウで、[ 管理>リンクされたサービス] を選択します。

2. [+新規] を選択します。

   

3. ギャラリーから Azure Data Explorer サービスを選択し、[ 続行] を選択します。

   

4. [新しいリンクされたサービス] ページで、次の情報を使用します。

   設定	推奨値	説明
   名前	contosodataexplorerlinkedservice	新しい Azure Data Explorer のリンクされたサービスの名前。
   認証方法	マネージド ID	新しいサービスの認証方法。
   アカウントの選択方法	手動で入力する	クエリ エンドポイントを指定するためのメソッド。
   エンドポイント	https://contosodataexplorer.contosoanalytics.dev.kusto.windows.net	前にメモしたクエリ エンドポイント。
   データベース	TestDatabase	データを取り込むデータベース。

   

5. [テスト接続] を選択して設定を検証し、 [作成] を選択します。

データを取り込むパイプラインを作成する

パイプラインには、一連のアクティビティを実行するための論理フローが含まれています。 このセクションでは、好みのソースからデータ エクスプローラー プールにデータを取り込むコピー アクティビティを含むパイプラインを作成します。

1. Synapse Studio の左側のウィンドウで、[ 統合] を選択します。

2. + > Pipeline を選択します。 右側のウィンドウで、パイプラインに名前を付けることができます。

   

3. [ アクティビティ>Move & transform で、 データのコピー をパイプライン キャンバスにドラッグします。

4. コピー アクティビティを選択し、[ ソース ] タブに移動します。データのコピー元のソースとして新しいソース データセットを選択または作成します。

5. [ シンク ] タブに移動します。[ 新規 ] を選択して新しいシンク データセットを作成します。

   

6. ギャラリーから Azure Data Explorer データセットを選択し、[ 続行] を選択します。

7. [ プロパティの設定 ] ウィンドウで、次の情報を使用し、[ OK] を選択します。

   設定	推奨値	説明
   名前	AzureDataExplorerTable	新しいパイプラインの名前。
   リンクされたサービス	contosodataexplorerlinkedservice	前に作成したリンクされたサービス。
   表	StormEvents	前に作成したテーブル。

   

8. パイプラインを検証するには、ツール バーの [検証 ] を選択します。 パイプライン検証出力の結果がページの右側に表示されます。

パイプラインをデバッグして発行する

パイプラインの構成が完了したら、成果物を発行する前にデバッグ実行を実行して、すべてが正しいことを確認できます。

1. ツール バーの [デバッグ ] を選択します。 ウィンドウ下部の [出力] タブにパイプラインの実行の状態が表示されます。

2. パイプラインの実行が成功したら、上部のツール バーで [ すべて発行] を選択します。 このアクションにより、作成したエンティティ (データセットとパイプライン) が Synapse Analytics サービスに発行されます。

3. [正常に発行されました] というメッセージが表示されるまで待機します。 通知メッセージを表示するには、右上にあるベル ボタンを選択します。

パイプラインをトリガーして監視する

このセクションでは、前の手順で発行したパイプラインを手動でトリガーします。

1. ツール バーの [トリガーの追加] を選択し、 [Trigger Now](今すぐトリガー) を選択します。 [Pipeline Run]\(パイプラインの実行\) ページで [OK] を選択します。

2. 左側のサイドバーにある [モニター ] タブに移動します。 手動トリガーによって開始されたパイプラインの実行が表示されます。

3. パイプラインの実行が正常に完了したら、[ パイプライン名 ] 列の下にあるリンクを選択して、アクティビティの実行の詳細を表示するか、パイプラインを再実行します。 この例では、アクティビティが 1 つだけなので、一覧に表示されるエントリは 1 つのみです。

4. コピー操作の詳細を確認するには、 [アクティビティ名] 列の [詳細] リンク (眼鏡アイコン) を選択します。 ソースからシンクにコピーされるデータの量、データのスループット、実行ステップと対応する期間、使用される構成などの詳細を監視できます。

5. パイプラインの実行ビューに戻るには、上部の [すべてのパイプラインの実行] リンクを選択します。 [最新の情報に更新] を選択して、一覧を更新します。

6. データがデータ エクスプローラー プールに正しく書き込まれたかどうかを確認します。

次のステップ

• Data Explorer を使用して分析する
• データエクスプローラー プールを監視する