この記事では、既存のイベントストリームから新しいテーブルまたは既存のテーブルにデータを取得する方法について説明します。
既定のストリームまたは派生ストリームからデータを取り込むことができます。 派生ストリームは、 フィルター やフィールドの管理などの一連のストリーム操作をイベントストリームに追加した後に作成 されます。 詳細については、「 Eventstream の概念」を参照してください。
新しいイベントストリームからデータを取得するには、「新しい eventstreamからデータを取得する」を参照してください。
前提 条件
- Microsoft Fabric 対応の容量を持つワークスペース
- 編集アクセス許可を持つ KQL データベース
- データ ソースを含む イベントストリーム
手順 1: ソース
イベントストリームからデータを取得するには、データ ソースとして eventstream を選択する必要があります。 イベントストリームは、次の方法で選択できます。
KQL データベースのリボンで、次のいずれかを実行します。
リボンの [ データの取得 ] オプションから、[ Eventstream ] タイルを選択します。
[ データの取得 ] ドロップダウン メニューから、 Eventstream>Existing Eventstream を選択します。
[ データの取得 ] ドロップダウン メニューから データ ハブReal-Time 選択し、一覧からイベントストリームを選択します。
手順 2: 構成する
ターゲット テーブルを選択します。 新しいテーブルにデータを取り込む場合は、+ 新しいテーブル を選択し、テーブル名を入力します。
手記
テーブル名には、スペース、英数字、ハイフン、アンダースコアを含む、最大 1024 文字を使用できます。 特殊文字はサポートされていません。
[データ ソースの構成] で、次の表の情報を使用して設定を入力します。
- ソースとして Eventstream を選択する場合は、 ワークスペース、 Eventstream、および既定または派生 ストリームを指定する必要があります。
重要
派生ストリームからのデータの取得機能は プレビュー段階です。
- ソースとして Real-Time ハブ を選択すると、既定のストリームまたは派生ストリームが一覧から選択され、 ワークスペース、 Eventstream、 および Stream が自動的に設定され、構成は必要ありません。
設定 説明 ワークスペース eventstream のワークスペースの場所。 ドロップダウンからワークスペースを選択します。 イベントストリーム イベントストリームの名前。 ドロップダウンから eventstream を選択します。 ストリーム 既定または派生ストリームの名前。 ドロップダウンからストリームを選択
* 既定のストリームの場合、ストリーム名の形式は Eventstream-stream です
* 派生ストリームの場合、ストリームの作成時に名前が定義されました。Eventstream でインジェストする前にイベントを処理する このオプションを使用すると、データを変換先テーブルに取り込む前にデータ処理を構成できます。 選択した場合は、Eventstream でデータ インジェスト プロセスを続行します。 詳細については、「Eventstream でインジェストする前にイベントを処理するを参照してください。 データ接続名 ワークスペース内のデータ接続を参照および管理するために使用される名前。 データ接続名が自動的に設定され、ワークスペースでのデータ接続の管理を簡略化するために名前を編集できます。 名前に含めることができるのは英数字、ダッシュ、ドット文字のみで、最大 40 文字です。 [次へ] を選択します。
Eventstream でインジェストする前にイベントを処理する
Eventstream のインジェスト前にイベントを処理する オプションを使用すると、データを宛先テーブルに取り込む前に処理できます。 このオプションを使用すると、Eventstream でデータの取得プロセスがシームレスに続行され、変換先テーブルとデータ ソースの詳細が自動的に設定されます。
Eventstream でインジェストする前にイベントを処理するには:
[ の構成] タブで、Eventstream でインジェスト前に [プロセス イベント]を選択します。
[Eventstream でイベントを処理する] ダイアログ ボックス内で、[Eventstream で続行する] を選択します。
重要
Eventstream で Continue を選択すると、Real-Time Intelligence でデータの取得プロセスが終了し、宛先テーブルとデータ ソースの詳細が自動的に設定された状態で Eventstream で続行されます。
[Eventstream] で、[KQL データベース] の宛先ノードを選択し、[KQL データベース] ウィンドウ内で、[取り込む前のイベント処理] が選択されていること、および宛先の詳細が適切であることを確認します。
[イベント プロセッサ 開く] を選択してデータ処理を構成し、[保存]を選択します。 詳細については、「イベント プロセッサ エディター を使用したイベント データの処理」を参照してください。
KQL Database ペインに戻り、[ の追加] を選択して、KQL Database 宛先ノードのセットアップを完了します。
データがコピー先テーブルに取り込まれたかどうかを確認します。
手記
Eventstream プロセスでのインジェスト前のプロセス イベントが完了し、この記事の残りの手順は必要ありません。
手順 3: 検査
[検査] タブが開き、データのプレビューが表示されます。
インジェスト プロセスを完了するには、[完了]を選択します。
必要 に応じて:
[ファイルの種類] ドロップダウンを使用して、 データ型に基づいて詳細オプションを確認します。
Table_mapping ドロップダウンを使用して、新しいマッピングを定義します。
</>を選択してコマンド ビューアーを開き、入力から生成された自動コマンドを表示およびコピーします。 クエリセットでコマンドを開くこともできます。
鉛筆アイコンを選択して 列を編集します。
列の編集
手記
- 表形式 (CSV、TSV、PSV) の場合、列を 2 回マップすることはできません。 既存の列にマップするには、最初に新しい列を削除します。
- 既存の列の種類を変更することはできません。 別の形式の列にマップしようとすると、最終的に空の列になる可能性があります。
テーブルで行うことができる変更は、次のパラメーターによって異なります。
- テーブル の 種類は新規または既存です
- マッピングの種類が新規かまたは既存か
テーブルの種類 | マッピングの種類 | 使用可能な調整 |
---|---|---|
新しいテーブル | 新しいマッピング | 列の名前変更、データ型の変更、データ ソースの変更、マッピング変換 、列の追加、列の削除 |
既存のテーブル | 新しいマッピング | 列の追加 (データ型の変更、名前の変更、更新が可能) |
既存のテーブル | 既存のマッピング | 何一つ |
マッピング変換
一部のデータ形式マッピング (Parquet、JSON、Avro) では、単純な取り込み時間変換がサポートされています。 マッピング変換を適用するには、[列の編集] ウィンドウで列 作成または更新します。
マッピング変換は、データ型が int または long のソースを使用して、文字列型または datetime 型の列に対して実行できます。 詳細については、サポートされている マッピング変換 の完全な一覧を参照してください。
データ型に基づく詳細オプション
表形式 (CSV、TSV、PSV):
- 既存のテーブルに表形式を取り込む場合は、Table_mapping>既存のマッピングを使用するを選択できます。 表形式データには、ソース データを既存の列にマップするために使用される列名が必ずしも含まれているわけではありません。 このオプションをオンにすると、マッピングは順番に行われ、テーブル スキーマは変わりません。 このオプションをオフにすると、データ構造に関係なく、受信データに対して新しい列が作成されます。
JSON:
- JSON データの列分割を決定するには、 入れ子になったレベルを 1 から 100 まで選択します。
ステップ 4: 概要
[ 概要 ] ウィンドウでは、データ インジェストが正常に完了すると、すべての手順が完了としてマークされます。 カードを選択してデータを探索したり、取り込まれたデータを削除したり、主要なメトリックを含むダッシュボードを作成したりできます。 を選択してを閉じてウィンドウを閉じます。