次の方法で共有

ファイル メタデータ列

_metadata 列を使用して、入力ファイルのメタデータ情報を取得できます。 _metadata 列は非表示列であり、すべての入力ファイル形式で使用できます。 返された DataFrame に _metadata 列を含めるには、ソースを指定する読み取りクエリで明示的に選択する必要があります。

データ ソースに _metadata という名前の列が含まれている場合、クエリはファイル メタデータではなく、データ ソースから列を返します。

警告

新しいフィールドは、今後のリリースで _metadata 列に追加される可能性があります。 _metadata 列が更新された場合にスキーマの進化エラーを防ぐために、Databricks ではクエリ内の列から特定のフィールドを選択することをお勧めします。 例を参照してください。

サポート対象のメタデータ

列は、_metadata、次のフィールドが含まれている STRUCT です:

名前 種類 説明設定 例 Databricks の最低ランタイム リリース
file_path STRING 入力ファイルのファイル パス。 file:/tmp/f0.csv 10.5
file_name STRING 入力ファイルの名前とその拡張子。 f0.csv 10.5
file_size LONG 入力ファイルの長さ (バイト単位)。 628 10.5
ファイル変更時刻 TIMESTAMP 入力ファイルの最終変更タイムスタンプ。 2021-12-20 20:05:21 10.5
file_block_start LONG 読み取られるブロックの開始オフセット (バイト単位)。 0 13.0
ファイルブロックの長さ LONG 読み取られるブロックの長さ (バイト単位)。 628 13.0

例

基本的なファイル ベースのデータ ソース リーダーで使用する

Python（プログラミング言語）

df = spark.read \
  .format("csv") \
  .schema(schema) \
  .load("dbfs:/tmp/*") \
  .select("*", "_metadata")

display(df)

'''
Result:
+---------+-----+----------------------------------------------------+
|   name  | age |                 _metadata                          |
+=========+=====+====================================================+
|         |     | {                                                  |
|         |     |    "file_path": "dbfs:/tmp/f0.csv",                |
| Debbie  | 18  |    "file_name": "f0.csv",                          |
|         |     |    "file_size": 12,                                |
|         |     |    "file_block_start": 0,                          |
|         |     |    "file_block_length": 12,                        |
|         |     |    "file_modification_time": "2021-07-02 01:05:21" |
|         |     | }                                                  |
+---------+-----+----------------------------------------------------+
|         |     | {                                                  |
|         |     |    "file_path": "dbfs:/tmp/f1.csv",                |
| Frank   | 24  |    "file_name": "f1.csv",                          |
|         |     |    "file_size": 12,                                |
|         |     |    "file_block_start": 0,                          |
|         |     |    "file_block_length": 12,                        |
|         |     |    "file_modification_time": "2021-12-20 02:06:21" |
|         |     | }                                                  |
+---------+-----+----------------------------------------------------+
'''

スカラ (プログラミング言語)

val df = spark.read
  .format("csv")
  .schema(schema)
  .load("dbfs:/tmp/*")
  .select("*", "_metadata")

display(df_population)

/* Result:
+---------+-----+----------------------------------------------------+
|   name  | age |                 _metadata                          |
+=========+=====+====================================================+
|         |     | {                                                  |
|         |     |    "file_path": "dbfs:/tmp/f0.csv",                |
| Debbie  | 18  |    "file_name": "f0.csv",                          |
|         |     |    "file_size": 12,                                |
|         |     |    "file_block_start": 0,                          |
|         |     |    "file_block_length": 12,                        |
|         |     |    "file_modification_time": "2021-07-02 01:05:21" |
|         |     | }                                                  |
+---------+-----+----------------------------------------------------+
|         |     | {                                                  |
|         |     |    "file_path": "dbfs:/tmp/f1.csv",                |
| Frank   | 24  |    "file_name": "f1.csv",                          |
|         |     |    "file_size": 10,                                |
|         |     |    "file_block_start": 0,                          |
|         |     |    "file_block_length": 12,                        |
|         |     |    "file_modification_time": "2021-12-20 02:06:21" |
|         |     | }                                                  |
+---------+-----+----------------------------------------------------+
*/

特定のフィールドを選択する

Python（プログラミング言語）

spark.read \
  .format("csv") \
  .schema(schema) \
  .load("dbfs:/tmp/*") \
  .select("_metadata.file_name", "_metadata.file_size")

スカラ (プログラミング言語)

spark.read
  .format("csv")
  .schema(schema)
  .load("dbfs:/tmp/*")
  .select("_metadata.file_name", "_metadata.file_size")

フィルターで使用する

Python（プログラミング言語）

spark.read \
  .format("csv") \
  .schema(schema) \
  .load("dbfs:/tmp/*") \
  .select("*") \
  .filter(col("_metadata.file_name") == lit("test.csv"))

スカラ (プログラミング言語)

spark.read
  .format("csv")
  .schema(schema)
  .load("dbfs:/tmp/*")
  .select("*")
  .filter(col("_metadata.file_name") === lit("test.csv"))

COPY INTOでの使用 (レガシ)

COPY INTO my_delta_table
FROM (
  SELECT *, _metadata FROM 'abfss://my-container-name@storage-account-name.dfs.core.windows.net/csvData'
)
FILEFORMAT = CSV

自動ローダーで使用する

ソース データに _metadata という名前の列が含まれている場合は、名前を source_metadata に変更します。 名前を変更しない場合は、ターゲット テーブルのファイル メタデータ列にアクセスできません。クエリは代わりにソース列を返します。

Python（プログラミング言語）

spark.readStream \
  .format("cloudFiles") \
  .option("cloudFiles.format", "csv") \
  .schema(schema) \
  .load("abfss://my-container-name@storage-account-name.dfs.core.windows.net/csvData") \
  .selectExpr("*", "_metadata as source_metadata") \
  .writeStream \
  .option("checkpointLocation", checkpointLocation) \
  .start(targetTable)

スカラ (プログラミング言語)

spark.readStream
  .format("cloudFiles")
  .option("cloudFiles.format", "csv")
  .schema(schema)
  .load("abfss://my-container-name@storage-account-name.dfs.core.windows.net/csvData")
  .selectExpr("*", "_metadata as source_metadata")
  .writeStream
  .option("checkpointLocation", checkpointLocation)
  .start(targetTable)

foreachBatch を使用し、ストリーミング DataFrame にファイル メタデータ列を含める場合は、foreachBatch関数の前にストリーミング読み取り DataFrame で参照する必要があります。 foreachBatch関数内のファイル メタデータ列のみを参照する場合、列は含まれません。

Python（プログラミング言語）

spark.readStream \
  .format("cloudFiles") \
  .option("cloudFiles.format", "csv") \
  .load("abfss://my-container-name@storage-account-name.dfs.core.windows.net/csvData") \
  .select("*", "metadata") \
  .writeStream \
  .foreachBatch(...)

スカラ (プログラミング言語)

spark.readStream
  .format("cloudFiles")
  .option("cloudFiles.format", "csv")
  .load("abfss://my-container-name@storage-account-name.dfs.core.windows.net/csvData")
  .select("*", "metadata")
  .writeStream
  .foreachBatch(...)