Databricks Runtime 9.1 LTS

次のリリース ノートには、Apache Spark 3.1.2 で稼働する Databricks Runtime 9.1 LTS と Databricks Runtime 9.1 LTS Photon に関する情報が記載されています。 Databricks は、2021 年 9 月にこのバージョンをリリースしました。 Photon はパブリック プレビュー段階にあります。

新機能と機能強化

• 自動ローダー スキーマ ヒントが配列およびマップ型で動作するようになりました
• 統合スキーマ向けの Avro ファイルのサポート
• 自動ローダーの増分リストのサポート (パブリック プレビュー)
• 差分で任意の replaceWhere がサポートされるようになりました
• Google Cloud の自動ローダーがファイル通知をサポートするようになりました (パブリック プレビュー)
• CREATE FUNCTION でテーブル関数の作成がサポートされるようになった
• Kafka Streaming Source がestimatedTotalBytesBehindLatestメトリックをレポートするようになりました
• 配列内の構造体の場合、Delta の MERGE INTO で構造体フィールドの名前が解決され、構造体スキーマが展開されるようになった

自動ローダー スキーマ ヒントが配列およびマップ型で動作するようになりました

配列型とマップ型は、「自動ローダーのスキーマ ヒントを使用したスキーマ推論のオーバーライド」でサポートされています。

配列のスキーマ ヒントの例を次に示します。

1. arr Array<TYPE> 配列の型を変更します。
2. arr.element TYPE element キーワードを使用して、配列の型を変更します。
3. arr.element.x TYPE 構造体の配列で入れ子になったフィールド型を変更します。

最初の 2 つの例は、配列 arr の型を TYPE に変更するためのヒントですが、使用する構文は異なります。 3 番目の例では、arr はフィールド x を持つ構造体の配列です。 この例は、x の型を TYPE に変更する方法を示しています。

配列のマップ ヒントの例を次に示します。

1. m Map<KEY-TYPE, VALUE-TYPE> マップのキーと値の型を変更します。
2. m.key TYPE マップ キーの型を変更します。
3. m.value TYPE マップ キーの型を変更します。
4. m.key.x TYPE マップ キーのフィールドの種類を変更します。
5. m.value.x TYPE マップ値のフィールドの種類を変更します。

最初の例では、マップ m のキーと値の両方の型をそれぞれ KEY_TYPE と VALUE_TYPE に変更しています。 2 番目と 3 番目の例は、キーの型のみを変更する必要がある場合に使用できます。 4 番目と 5 番目の例では、m はフィールド x を持つ構造体型のキーと値を含むマップです。 この例は、x の型を TYPE に変更する方法を示しています。

統合スキーマ向けの Avro ファイルのサポート

Avro ファイル形式では、ファイルの読み取り時にオプションが mergeSchema サポートされるようになりました。 Avro ファイルの読み取り時に mergeSchema を true に設定すると、1 つのファイルからではなく、avro ファイルのセットからスキーマが推測されます。 これにより、個々のスキーマが異なる場合でもすべてのファイルを読み取ることができるスキーマを推測でき、使いやすさが向上します。 構成に関するページを参照してください。

自動ローダーの増分リストのサポート (パブリック プレビュー)

辞書式に生成されたファイルの場合、自動ローダーでは、ファイルの字句順序と既存の最適化された API を利用して、ディレクトリ全体の一覧を生成するのではなく、以前に取り込んだファイルから一覧を生成することで、ディレクトリ一覧の効率を向上させることができます。 自動ローダーは、指定されたディレクトリが既定の増分一覧に適しているかどうかを自動的に検出します。 この動作を明示的に制御するには、新しい cloudFiles.useIncrementalListing オプションを on (true)、off (false)、または automatic (auto) に設定します。 この動作を true に設定すると、すべてのデータが完全に取り込まれるように、データの定期的なバックフィルをスケジュールする cloudFiles.backfillInterval オプションを設定することもできます。

差分で任意の replaceWhere がサポートされるようになりました

上書きモードと組み合わせると、replaceWhere オプションを使用して、オプションで定義された述語に一致するデータを同時に上書きすることができます。 以前は、replaceWhere はパーティション列に対してのみ述語をサポートしていましたが、任意の式を使用できるようになりました。 テーブルへの書き込みを参照してください。

Google Cloud の自動ローダーがファイル通知をサポートするようになりました (パブリック プレビュー)

自動ローダーで、Google Cloud でのファイル通知モードがサポートされるようになりました。 .option("cloudFiles.useNotifications", "true") を設定して、自動ローダーが Google Cloud Pub/Sub リソースを自動的に設定するようにします。 ファイル通知モードを使用すると、新しいファイルが検出され、入力ディレクトリの一覧を表示する前に取り込まれます。 ファイル通知モードでの自動ローダー ストリームの構成を参照してください。

CREATE FUNCTION でテーブル関数の作成がサポートされるようになった

スカラー値を返すスカラー関数を作成するだけでなく、行のセットを返すテーブル関数を作成できるようになりました。 「CREATE FUNCTION (SQL および Python)」をご覧ください。

Kafka Streaming Source が estimatedTotalBytesBehindLatest メトリックをレポートするようになりました

Kafka ストリーミング ソース は、すべてのバッチの後に、コンシューマーが最新の使用可能なバイトから何バイト遅れているかの推定値をレポートするようになりました。 このメトリックを使用して、ストリームの進行状況を追跡できます。 詳しくは、Kafka メトリックを取得するをご覧ください。

メトリックの出力例:

StreamingQueryProgress {
  "batchId": 0,
  .....
  "sources": [ {
    "description" : "KafkaV2[Subscribe[topic-0]]",
    "metrics":{
      "avgOffsetsBehindLatest" : "1.0",
      "estimatedTotalBytesBehindLatest" : "80.0", // new
      "maxOffsetsBehindLatest" : "1",
      "minOffsetsBehindLatest" : "1"
    } ],
  ....
 }

配列内の構造体の場合、Delta の MERGE INTO で構造体フィールドの名前が解決され、構造体スキーマが展開されるようになった

差分 MERGE INTO では、構造体フィールドを名前で解決できるようになり、構造体の配列に対してスキーマが自動的に展開するようになりました。 spark.databricks.delta.schema.autoMerge.enabled が true に設定され、スキーマの自動展開が有効になっている場合、UPDATE および INSERT 句は配列内の構造体フィールドを名前で解決し、ターゲット配列に定義されている対応するデータ型にキャストし、null 値を使用してソースまたはターゲットの追加または欠落したフィールドに入力します。 スキーマの自動展開が無効になっている場合、UPDATE および INSERT 句は配列内の構造体フィールドを名前で解決しますが、追加のフィールドを展開することはできません。 「Delta Lake のテーブル スキーマを更新する」を参照してください。

バグの修正

• 実行時間の長いジョブまたはサービスで、JVM DeleteOnExit の機能によって発生する可能性のある Amazon S3 コネクタのメモリ リークを修正しました。

ライブラリのアップグレード

• アップグレードされた Python ライブラリ:
  • plotly (4.14.3 から 5.1.0)
• アップグレードされた R ライブラリ:
  • ベース (4.1.0 から 4.1.1)
  • bslib (0.2.5.1 から 0.3.0)
  • cachem (1.0.5 から 1.0.6)
  • コンパイラ (4.1.0 から 4.1.1)
  • データセット (4.1.0 から 4.1.1)
  • future (1.21.0 から 1.22.1)
  • gert (1.3.1 から 1.3.2)
  • グラフィック (4.1.0 から 4.1.1)
  • grDevices (4.1.0 から 4.1.1)
  • グリッド (4.1.0 から 4.1.1)
• アップグレードされた Java ライブラリ:
  • org.eclipse.jetty (9.4.36.v20210114 から 9.4.42.v20210604)

Apache Spark

Databricks Runtime 9.1 LTS には、Apache Spark 3.1.2 が含まれています。 このリリースには、Databricks Runtime 9.0 (サポート期間終了) に含まれる Spark のすべての修正プログラムと機能強化に加え、Spark に対して行われた以下の追加のバグ修正と機能強化が含まれています。

• [SPARK-36674][SQL] [チェリーピック] サポート (大文字と小文字を区別しない)
• [SPARK-36353][SQL] [3.1] RemoveNoopOperators は出力スキーマを保持する必要があります
• [SPARK-35876][SQL] [3.1] ArraysZip は、アナライザー/オプティマイザーによって再作成されないようにフィールド名を保持する必要があります
• [SPARK-36398][SQL] SPARK Thrift サーバー ログの機密情報を編集します
• [SPARK-36498][SQL] byName V2 書き込みの入力クエリの内部フィールドの順序を変更します
• [SPARK-36614][CORE] [UI] UI での使用停止が原因で発生した Executor の損失の原因を修正します
• [SPARK-36012][SQL] SHOW CREATE TABLE に null フラグを追加する
• [SPARK-36509][CORE] worker がスタンドアロン クラスターで停止した場合に Executor が再スケジュールされない問題を修正します
• [SPARK-36603][CORE] LevelDB の SoftReference ではない WeakReference を使用します
• [SPARK-36564][CORE] LiveRDDDistribution.toApi の NullPointerException を修正します
• [SPARK-36086][SQL] [3.1] CollapseProject プロジェクト置換エイリアスには元の列名を使用する必要があります
• [SPARK-33527][SQL] デコードの機能を拡張して、メインストリーム データベースとの一貫性を保ちます
• [spark-36400][spark-36398][SQL] [WEBUI] ThriftServer が recognize spark.sql.redaction.string.regex を認識できるようにします
• [SPARK-34054][CORE] BlockManagerDecommissioner のコード クリーンアップ
• [SPARK-36500][CORE] タスクが中断されているときの temp_shuffle ファイルのリークを修正します
• [SPARK-36489][SQL] バケットが 1 つのテーブルで、グループ化キーがない場合の集計関数は、複数の行を返します
• [SPARK-36464][CORE] 2 GB を超えるデータを書き込む ChunkedByteBufferOutputStream の基になるサイズ変数の初期化を修正します
• [SPARK-36339][SQL][3.0] 集計の一部ではないグループへの参照を置き換える必要があります
• [SPARK-36354][CORE] EventLogFileReader では、ログを含めずにイベント ログ ディレクトリのローリングをスキップする必要があります
• [SPARK-36242][CORE][3.1] ExternalSorter.spillMemoryIteratorToDisk メソッドで success = true に設定する前にスピル ファイルが閉じられるようにします
• [SPARK-36211][PYTHON] udf 戻り値の正しい型に訂正します
• [SPARK-34222][SQL] boolean の簡略化ルールを強化します
• [SPARK-35027][CORE] FileAppender で、書き込み時に inputStream を閉じます
• [SPARK-36269][SQL] Hive 列名の構成に設定されたデータ列のみを修正します
• [SPARK-36213][SQL] PartitionSpec で Describe テーブル コマンドの PartitionSpec を正規化します
• [SPARK-36210][SQL] Dataset.withColumns の列の挿入順序を保持します
• [SPARK-36079][SQL] Null ベースのフィルター推定値は常に [0, 1] の範囲である必要があります
• [SPARK-28266][SQL] Hive テーブルを読み取る際に convertToLogicalRelation が path プロパティを解釈しないようにします

メンテナンスアップデート

Databricks Runtime 9.1 LTS メンテナンス更新プログラムに関するページを参照してください。

システム環境

• オペレーティング システム: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.10
• Python: 3.8.10
• R: 4.1.1
• デルタレイク:1.0.0

インストールされている Python ライブラリ

インストールされている R ライブラリ

R ライブラリは、2021 年 9 月 8 日に Microsoft CRAN スナップショットからインストールされます。 スナップショットは使用できなくなりました。

インストールされている Java および Scala ライブラリ (Scala 2.12 クラスター バージョン)