次の方法で共有


クイック スタート: Azure Synapse Pipelines を使用してデータを取り込む (プレビュー)

Von Bedeutung

Azure Synapse Analytics データ エクスプローラー (プレビュー) は、2025 年 10 月 7 日に廃止されます。 この日以降、Synapse Data Explorer で実行されているワークロードは削除され、関連付けられているアプリケーション データは失われます。 Microsoft Fabric の Eventhouse に移行 することを強くお勧めします。

Microsoft Cloud Migration Factory (CMF) プログラムは、お客様が Fabric に移行できるように設計されています。 このプログラムは、顧客に無料でハンズオン キーボード リソースを提供します。 これらのリソースは、定義済みの合意されたスコープで、6 ~ 8 週間割り当てられます。 顧客の指名は、Microsoft アカウント チームから受け入れられるか、CMF チームに ヘルプの要求 を送信することによって直接受け入れられます。

このクイック スタートでは、データ ソースから Azure Synapse Data Explorer プールにデータを読み込む方法について説明します。

[前提条件]

  • Azure サブスクリプション。 無料の Azure アカウントを作成します。

  • Synapse Studio または Azure portal を使用して Data Explorer プールを作成します

  • Data Explorer データベースを作成します。

    1. Synapse Studio の左側のペインで、 [データ] を選択します。

    2. + (新しいリソースの追加) >[Data Explorer プール] を選択し、次の情報を使用します。

      設定 推奨値 説明
      プール名 contosodataexplorer 使用する Data Explorer プールの名前
      名前 TestDatabase データベース名はクラスター内で一意である必要があります。
      既定のリテンション期間 365 クエリにデータを使用できることが保証される期間 (日数) です。 期間は、データが取り込まれた時点から測定されます。
      既定のキャッシュ期間 31 頻繁にクエリされるデータが、長期ストレージではなく SSD ストレージまたは RAM で利用できるように保持される期間 (日数) です。
    3. [作成] を選択してデータベースを作成します。 通常、作成にかかる時間は 1 分未満です。

  • テーブルを作成する

    1. Synapse Studio の左側のウィンドウで、 [開発] を選択します。
    2. [KQL スクリプト] で、[+] (新しいリソースの追加) >[KQL スクリプト] を選びます。 右側のウィンドウで、スクリプト名を指定できます。
    3. [接続先] メニューで、[contosodataexplorer] を選択します。
    4. [データベースの使用] メニューで、 [TestDatabase] を選択します。
    5. 次のコマンドを貼り付け、 [実行] を選択してテーブルを作成します。
    .create table StormEvents (StartTime: datetime, EndTime: datetime, EpisodeId: int, EventId: int, State: string, EventType: string, InjuriesDirect: int, InjuriesIndirect: int, DeathsDirect: int, DeathsIndirect: int, DamageProperty: int, DamageCrops: int, Source: string, BeginLocation: string, EndLocation: string, BeginLat: real, BeginLon: real, EndLat: real, EndLon: real, EpisodeNarrative: string, EventNarrative: string, StormSummary: dynamic)
    

    ヒント

    テーブルが正常に作成されたことを確認します。 左側のペインで、 [データ] を選択し、contosodataexplorer の [その他] メニューを選択し、 [最新の情報に更新] を選択します。 [contosodataexplorer][テーブル] を展開し、StormEvents テーブルが一覧に表示されていることを確認します。

  • クエリとデータ インジェストのエンドポイントを取得します。 リンクされたサービスを構成するには、クエリ エンドポイントが必要です。

    1. Synapse Studio の左側のペインで、 [管理]>[Data Explorer プール] を選びます。

    2. 詳細を表示するために使用するデータ エクスプローラー プールを選択します。

      [データ エクスプローラー プール] 画面のスクリーンショット。既存のプールの一覧が表示されています。

    3. クエリとデータ インジェストのエンドポイントを書き留めます。 Data Explorer プールへの接続を構成するときは、クエリ エンドポイントをクラスターとして使用します。 データ インジェスト用に SDK を構成する場合は、データ インジェスト エンドポイントを使用します。

      [データ エクスプローラー プールのプロパティ] ウィンドウのスクリーンショット。クエリとデータ インジェストの URI アドレスが表示されています。

リンクされたサービスを作成する

Azure Synapse Analytics で、リンクされたサービスとは、他のサービスへの接続情報を定義した場所です。 このセクションでは、Azure Data Explorer のリンクされたサービスを作成します。

  1. Synapse Studio の左側のウィンドウで、[ 管理>リンクされたサービス] を選択します。

  2. [+新規] を選択します。

    [リンクされたサービス] 画面のスクリーンショット。既存のサービスの一覧が表示され、[新しい追加] ボタンが強調表示されています。

  3. ギャラリーから Azure Data Explorer サービスを選択し、[ 続行] を選択します。

    新しい [リンクされたサービス] ウィンドウのスクリーンショット。使用可能なサービスの一覧が表示され、新しい Azure Data Explorer サービスの追加が強調表示されています。

  4. [新しいリンクされたサービス] ページで、次の情報を使用します。

    設定 推奨値 説明
    名前 contosodataexplorerlinkedservice 新しい Azure Data Explorer のリンクされたサービスの名前。
    認証方法 マネージド ID 新しいサービスの認証方法。
    アカウントの選択方法 手動で入力する クエリ エンドポイントを指定するためのメソッド。
    エンドポイント https://contosodataexplorer.contosoanalytics.dev.kusto.windows.net 前にメモしたクエリ エンドポイント。
    データベース TestDatabase データを取り込むデータベース。

    新しいリンクされたサービスの詳細ウィンドウのスクリーンショット。新しいサービスに対して完了する必要があるフィールドが表示されています。

  5. [テスト接続] を選択して設定を検証し、 [作成] を選択します。

データを取り込むパイプラインを作成する

パイプラインには、一連のアクティビティを実行するための論理フローが含まれています。 このセクションでは、好みのソースからデータ エクスプローラー プールにデータを取り込むコピー アクティビティを含むパイプラインを作成します。

  1. Synapse Studio の左側のウィンドウで、[ 統合] を選択します。

  2. + > Pipeline を選択します。 右側のウィンドウで、パイプラインに名前を付けることができます。

    新しいパイプラインを作成するための選択を示すスクリーンショット。

  3. [ アクティビティ>Move & transform で、 データのコピー をパイプライン キャンバスにドラッグします。

  4. コピー アクティビティを選択し、[ ソース ] タブに移動します。データのコピー元のソースとして新しいソース データセットを選択または作成します。

  5. [ シンク ] タブに移動します。[ 新規 ] を選択して新しいシンク データセットを作成します。

    新しいシンクを作成するための選択を示すパイプライン コピー アクティビティのスクリーンショット。

  6. ギャラリーから Azure Data Explorer データセットを選択し、[ 続行] を選択します。

  7. [ プロパティの設定 ] ウィンドウで、次の情報を使用し、[ OK] を選択します。

    設定 推奨値 説明
    名前 AzureDataExplorerTable 新しいパイプラインの名前。
    リンクされたサービス contosodataexplorerlinkedservice 前に作成したリンクされたサービス。
    StormEvents 前に作成したテーブル。

    パイプライン コピー アクティビティ セットのプロパティ ペインのスクリーンショット。新しいシンクに対して完了する必要があるフィールドが示されています。

  8. パイプラインを検証するには、ツール バーの [検証 ] を選択します。 パイプライン検証出力の結果がページの右側に表示されます。

パイプラインをデバッグして発行する

パイプラインの構成が完了したら、成果物を発行する前にデバッグ実行を実行して、すべてが正しいことを確認できます。

  1. ツール バーの [デバッグ ] を選択します。 ウィンドウ下部の [出力] タブにパイプラインの実行の状態が表示されます。

  2. パイプラインの実行が成功したら、上部のツール バーで [ すべて発行] を選択します。 このアクションにより、作成したエンティティ (データセットとパイプライン) が Synapse Analytics サービスに発行されます。

  3. [正常に発行されました] というメッセージが表示されるまで待機します。 通知メッセージを表示するには、右上にあるベル ボタンを選択します。

パイプラインをトリガーして監視する

このセクションでは、前の手順で発行したパイプラインを手動でトリガーします。

  1. ツール バーの [トリガーの追加] を選択し、 [Trigger Now](今すぐトリガー) を選択します。 [Pipeline Run]\(パイプラインの実行\) ページで [OK] を選択します。

  2. 左側のサイドバーにある [モニター ] タブに移動します。 手動トリガーによって開始されたパイプラインの実行が表示されます。

  3. パイプラインの実行が正常に完了したら、[ パイプライン名 ] 列の下にあるリンクを選択して、アクティビティの実行の詳細を表示するか、パイプラインを再実行します。 この例では、アクティビティが 1 つだけなので、一覧に表示されるエントリは 1 つのみです。

  4. コピー操作の詳細を確認するには、 [アクティビティ名] 列の [詳細] リンク (眼鏡アイコン) を選択します。 ソースからシンクにコピーされるデータの量、データのスループット、実行ステップと対応する期間、使用される構成などの詳細を監視できます。

  5. パイプラインの実行ビューに戻るには、上部の [すべてのパイプラインの実行] リンクを選択します。 [最新の情報に更新] を選択して、一覧を更新します。

  6. データがデータ エクスプローラー プールに正しく書き込まれたかどうかを確認します。

次のステップ