Databricks Runtime 11.1 (サポート期間終了)

次のリリース ノートには、Apache Spark 3.3.0 で稼働する Databricks Runtime 11.1 に関する情報が記載されています。 Databricks は、2022 年 7 月にこのバージョンをリリースしました。

新機能と機能強化

• Photon は GA
• Photon: サポートされているインスタンスの種類
• 変更データ フィードで範囲外のタイムスタンプを自動的に処理できるようになりました
• SQL 関数の出力に Unity カタログ名が表示されるようになりました (パブリック プレビュー)
• 自動ローダーでの Parquet ファイルのスキーマ推論と進化 (パブリック プレビュー)
• 自動ローダーで Avro のスキーマの展開がサポートされるようになりました (GA)
• 動的パーティションの上書きに対する Delta Lake のサポート
• Unity カタログに作成されたオブジェクトの情報スキーマのサポート
• Unity カタログを使用した Delta Lake テーブルに対する情報制約 (パブリック プレビュー)
• Unity Catalog が GA
• Delta Sharing が GA

Photon の一般提供

Photon は、Databricks Runtime 11.1 以降で一般公開されました。 Photon は、Azure Databricks ネイティブのベクター化クエリ エンジンで、Apache Spark API と直接的に互換性があるように記述されているため、既存のコードで正しく機能します。 Photon は、最新のハードウェアを活用するために C++ で開発されており、ベクター化クエリ処理の最新の手法を使用して、CPU でのデータおよび命令レベルの並列処理を活用します。その結果、実用のデータとアプリケーションのパフォーマンスが向上しますが、これらはすべて、お使いのデータレイクでネイティブに実現されます。

Photon は、既存の SQL とデータフレーム API 呼び出しを、より高速に実行し、ワークロードごとの総コストを削減する、高パフォーマンスのランタイムの一部です。 Photon は、Databricks SQL ウェアハウスでは既定で使用されます。

新機能と機能強化は以下を含みます。

• ベクター化された新しい並べ替え演算子
• ベクター化された新しいウィンドウ関数
• すべてのクラウドに渡る新しいインスタンスの種類とサイズ

制限事項:

• Scala/Python UDF は Photon ではサポートされていません
• RDD は Photon でサポートされていません
• 構造化ストリーミングは Photon ではサポートされていません

詳細については、次の「Photon のお知らせ」を参照してください。

Photon: ベクター化された新しい並べ替え演算子

Photon では、クエリに SORT_BY、CLUSTER_BY、または ORDER BY を持つウインドウ関数が含まれている場合のベクター化された並べ替えがサポートされるようになりました。

制限事項: Photon はグローバル句 ORDER BY をサポートしていません。 ウィンドウ評価の並べ替えはフォトナイズされますが、グローバル並べ替えは Spark で引き続き実行されます。

Photon: ベクター化された新しいウィンドウ関数

Photon は、多くのフレームの種類と関数に対してベクター化されたウィンドウ関数の評価をサポートするようになりました。 新しいウィンドウ関数には、row_number、rank、dense_rank、lag、lead、percent_rank、ntile および nth_value が含まれます。 サポートされているウィンドウ フレームの種類: 実行中 (UNBOUNDED PRECEDING AND CURRENT ROW)、無制限 (UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING)、拡大 (UNBOUNDED PRECEDING AND <OFFSET> FOLLOWING)、縮小 (<OFFSET> PRECEDING AND UNBOUNDED FOLLOWING)。

制限事項:

• Photon では、すべてのフレーム タイプの ROWS バージョンのみがサポートされます。
• Photon では、スライディング フレーム タイプ (<OFFSET> PRECEDING AND <OFFSET> FOLLOWING) はまだサポートされていません。

Photon: サポートされているインスタンスの種類

• dds_v5
• ds_v5
• eas_v4
• eds_v4
• eds_v5
• es_v5
• las_v3
• ls_v3

変更データ フィードで範囲外のタイムスタンプを自動的に処理できるようになりました

変更データフィード (CDF) に、最新のコミットのバージョンを超えるタイムスタンプやバージョンをエラーなしで提供できる新しいモードが追加されました。 このモードは、既定で無効になっています。 これを有効にするには、構成 spark.databricks.delta.changeDataFeed.timestampOutOfRange.enabled を true に設定します。

SQL 関数の出力に Unity カタログ名が表示されるようになりました (パブリック プレビュー)

コマンド DESC TABLE、DESC DATABASE、DESC SCHEMA、DESC NAMESPACE、DESC FUNCTION、EXPLAIN、および SHOW CREATE TABLE が出力でカタログ名を常に表示するようになりました。

自動ローダーでの Parquet ファイルのスキーマ推論と進化 (パブリック プレビュー)

自動ローダーでは Parquet ファイルに対するスキーマの推論と展開がサポートされるようになりました。 JSON、CSV、および Avro 形式と同様に、復旧されたデータ列を使用して、Parquet ファイルに表示される可能性がある予期しないデータを救済できるようになりました。 これには、想定されるデータ型で解析できないデータ、大文字と小文字が異なる列、または想定されるスキーマに含まれていない追加の列が含まれます。 受信データに新しい列を追加するときに、スキーマを自動的に進化させるように自動ローダーを構成できます。 「自動ローダーでのスキーマの推論と展開の構成」を参照してください。

自動ローダーで Avro のスキーマの展開がサポートされるようになりました (GA)

「自動ローダーでのスキーマの推論と展開の構成」を参照してください。

動的パーティションの上書きに対する Delta Lake のサポート

Delta Lake ではパーティションの動的な上書きモードでは、書き込みが新しいデータをコミットする各論理パーティション内のすべての既存データが上書きされるようになりました。 Delta Lake を使用してデータを選択的に上書きするを参照してください。

Unity カタログに作成されたオブジェクトの情報スキーマのサポート

情報スキーマを使用すると、SQL ベースの自己記述 API が、テーブルやビュー、制約、ルーチンなど、さまざまなデータベース オブジェクトのメタデータに提供されます。 情報スキーマ内には、スキーマのカタログで許可されたオブジェクトを説明するビューのセットが表示されます。 SYSTEM カタログの情報スキーマは、メタストア内のすべてのカタログのオブジェクトに関する情報を返します。 「情報スキーマ」を参照してください。

Unity カタログを使用した Delta Lake テーブルに対する情報制約 (パブリック プレビュー)

Unity カタログを使用して、Delta Lake テーブルに対して情報主キーと外部キーの制約を定義できるようになりました。 情報制約は適用されません。 CONSTRAINT 条を参照してください。

Unity Catalog が GA

Unity カタログは、Databricks Runtime 11.1 以降で一般提供になりました。 「Unity Catalog とは」を参照してください。

Delta Sharing が GA

Delta Sharing は、Databricks Runtime 11.1 以降で一般提供になりました。

Databricks から Databricks への Delta Sharing は、トークンを交換する必要のない、フル マネージドです。 UI で、または SQL API と REST API を使用して、プロバイダー、受信者、共有を作成したり管理したりできます。

受信者のアクセスの制限、IP アクセス リストやリージョンの制限を使用したデータのクエリ、管理者以外への Delta Sharing 管理の委任などのフィーチャーがあります。 データの変更に関するクエリを実行するか、変更データ フィードを使用して増分バージョンを共有することもできます。 「Delta Sharing とは」を参照してください。

動作の変更

DESCRIBE TABLE と SHOW TABLE PROPERTIES での機密プロパティのリダクト

機密プロパティは、DataFrames および DESCRIBE TABLE コマンドと SHOW TABLE PROPERTIES コマンドの出力で編集されます。

ジョブ クラスターは、Databricks Runtime 11.1 以上では、既定でシングル ユーザー アクセス モードに設定されます

Unity Catalog に対応するために、ジョブ UI またはジョブ API を使用して作成された、Databricks Runtime 11.1 以上を使用するジョブ クラスターは、既定でシングル ユーザー アクセス モードになります。 シングル ユーザー アクセス モードでは、ほとんどのプログラミング言語、クラスター機能、データ ガバナンス機能がサポートされます。 UI または API を使用して標準アクセス モード (以前の共有アクセス モード) を構成することはできますが、言語や機能が制限される場合があります。

ライブラリのアップグレード

• アップグレードされた Python ライブラリ:
  • filelock (3.6.0 から 3.7.1 へ)
  • plotly (5.6.0 から 5.8.2 へ)
  • protobuf (3.20.1 から 4.21.2 へ)
• アップグレードされた R ライブラリ:
  • chron (2.3-56 から 2.3-57 へ)
  • DBI (1.1.2 から 1.1.3 へ)
  • dbplyr (2.1.1 から 2.2.0)
  • e1071 (1.7-9 から 1.7-11 へ)
  • future (1.25.0 から 1.26.1 へ)
  • globals (0.14.0 から 0.15.1 へ)
  • hardhat (0.2.0 から 1.1.0 へ)
  • ipred (0.9-12 から 0.9-13 へ)
  • openssl (2.0.0 から 2.0.2 へ)
  • parallelly (1.31.1 から 1.32.0 へ)
  • processx (3.5.3 から 3.6.1 へ)
  • progressr (0.10.0 から 0.10.1 へ)
  • proxy (0.4-26 から 0.4-27 へ)
  • ps (1.7.0 から 1.7.1 へ)
  • randomForest (4.7-1 から 4.7-1.1 へ)
  • roxygen2 (7.1.2 から 7.2.0 へ)
  • Rserve (1.8-10 から 1.8-11 へ)
  • RSQLite (2.2.13 から 2.2.14 へ)
  • sparklyr (1.7.5 から 1.7.7 へ)
  • tinytex (0.38 から 0.40 へ)
  • usethis (2.1.5 から 2.1.6 へ)
  • xfun (0.30 から 0.31 へ)
• アップグレードされた Java ライブラリ:
  • io.delta.delta-sharing-spark_2.12 (0.4.0 から 0.5.0 へ)

Apache Spark

Databricks Runtime 11.2 には、Apache Spark 3.3.0 が含まれています。 このリリースには、Databricks Runtime 11.1 (サポート期間終了) に含まれるすべての Spark の修正プログラムおよび機能強化と、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。

• [SPARK-40054] [SQL] try_cast() のエラー処理構文を復元する
• [SPARK-39489] [CORE] Json4s ではなく Jackson を使ってイベント ログ JsonProtocol のパフォーマンスを向上させる
• [SPARK-39319] [CORE][sql] クエリ コンテキストを一部として作成する SparkThrowable
• [SPARK-40085] [SQL] バグを示すために IllegalStateException ではなく INTERNAL_ERROR エラー クラスを使うようにする
• [SPARK-40001] [SQL] NULL が JSON DEFAULT 列に書き込まれた場合、ストレージに 'null' が書き込まれるようにする
• [SPARK-39635] [SQL] DS v2 カスタム メトリック API でドライバー メトリックをサポートする
• [SPARK-39184] [SQL] 日付とタイムスタンプのシーケンスでサイズの小さい結果配列を処理するようにする
• [SPARK-40019] [SQL] ArrayType の containsNull のコメントをリファクタリングし、collectionOperator の式における誤解されるロジックをリファクタリングする containsNull
• [SPARK-39989] [SQL] 折り畳み可能な式の場合に列統計の推定をサポートする
• [SPARK-39926] [SQL] ベクトル化されていない Parquet スキャンに対する列の DEFAULT のサポートに含まれるバグを修正する
• [SPARK-40052] [SQL] VectorizedDeltaBinaryPackedReader の直接バイト バッファーを処理するようにする
• [SPARK-40044] [SQL] キャスト オーバーフロー エラーのターゲット間隔の種類を修正する
• [SPARK-39835] [SQL] ローカルの並べ替えの下にあるグローバルの並べ替えが EliminateSorts によって削除される問題を修正する
• [SPARK-40002] [SQL] ntile を使用してウィンドウ内の制限をプッシュダウンしない
• [SPARK-39976] [SQL] ArrayIntersect で左側の式に含まれる null を正しく処理するようにする
• [SPARK-39985] [SQL] DataFrames からの挿入で暗黙的な DEFAULT 列の値を有効にする
• [SPARK-39776] [SQL] JOIN の詳細文字列に結合の種類を追加するようにする
• [SPARK-38901] [SQL] DS V2 はプッシュダウンのその他の関数をサポートする
• [SPARK-40028] [SQL][followup] 文字列関数の例を改善する
• [SPARK-39983] [CORE][sql] ドライバーに非初期化ブロードキャスト関係をキャッシュしない
• [SPARK-39812] [SQL] AggregateExpression を使って toAggregateExpression を構築するコードを簡略化する
• [SPARK-40028] [SQL] 文字列式のバイナリ例を追加する
• [SPARK-39981] [SQL] Cast で例外 QueryExecutionErrors.castingCauseOverflowErrorInTableInsert をスローする
• [SPARK-40007] [PYTHON][sql] 関数に 'mode' を追加する
• [SPARK-40008] [SQL] ANSI 間隔への積分のキャストをサポートする
• [SPARK-40003] [PYTHON][sql] 関数に 'median' を追加する
• [SPARK-39952] [SQL] SaveIntoDataSourceCommand で結果の関係を再キャッシュするようにする
• [SPARK-39951] [SQL] 入れ子になったフィールドの Parquet V2 の列チェックを更新する
• [SPARK-39775] [CORE][avro] Avro スキーマの解析時に既定値の検証を無効にする
• [SPARK-33236] [シャッフル] DBR 11.x のバックポート: 再起動を保持する作業のために NM レベル DB に状態を格納する プッシュベースのシャッフル サービスを有効にする
• [SPARK-39836] [SQL] extract 共通メソッドによる V2ExpressionBuilder を簡略化する
• [SPARK-39867] [SQL] グローバル制限が OrderPreservingUnaryNode を継承しないようにする
• [SPARK-39873] [SQL] OptimizeLimitZero を削除し、EliminateLimits にマージする
• [SPARK-39961] [SQL] キャストが安全な場合の DS V2 のプッシュダウン変換キャスト
• [SPARK-39872] [SQL] BytePackerForLong#unpack8Values の配列入力 API で VectorizedDeltaBinaryPackedReader を使うように変更する
• [SPARK-39858] [SQL] 一部のルールで不要な AliasHelper や PredicateHelper を削除する
• [SPARK-39962] [WARMFIX][es-393486][PYTHON][sql] グループ属性が空のときにプロジェクションを適用する
• [SPARK-39900] [SQL] バイナリ形式の述語プッシュダウンでの部分的または否定された条件に対処する
• [SPARK-39904] [SQL] CSV データ ソースで inferDate の名前を prefersDate に変更し、オプションのセマンティクスを明確にする
• [SPARK-39958] [SQL] カスタム メトリック オブジェクトを読み込めない場合の警告ログを追加する
• [SPARK-39936] [SQL] Spark Views のプロパティにスキーマを格納する
• [SPARK-39932] [SQL] WindowExec で最終パーティション バッファーをクリアするようにする
• [SPARK-37194] [SQL] 動的パーティションでない場合は、v1 書き込みで不要な並べ替えを回避する
• [SPARK-39902] [SQL] SparkUI で Spark プラン スキャン ノードにスキャンの詳細を追加する
• [SPARK-39865] [SQL] テーブル挿入時のオーバーフロー エラーで適切なエラー メッセージを表示する
• [SPARK-39940] [SS] DSv1 シンクを使ったストリーミング クエリでカタログ テーブルを更新する
• [SPARK-39827] [SQL] ARITHMETIC_OVERFLOW の int オーバーフローでエラー クラス add_months() を使う
• [SPARK-39914] [SQL] DS V2 フィルターから V1 フィルターへの変換を追加する
• [SPARK-39857] [SQL] 手動 DBR 11.x バックポート。V2ExpressionBuilder が In 述語に対して間違った LiteralValue データ型を使う (#43454)
• [SPARK-39840] [SQL][python] PythonArrowInput を PythonArrowOutput に対する対称として切り出す
• [SPARK-39651] [SQL] rand との比較が決定論的である場合にフィルター条件を取り除く
• [SPARK-39877] [PYTHON] PySpark DataFrame API にピボット解除を追加する
• [SPARK-39847] [WARMFIX][ss] 呼び出し元スレッドが中断された場合の RocksDBLoader.loadLibrary() の競合状態を修正する
• [SPARK-39909] [SQL] JDBCV2Suite のプッシュダウン情報のチェックを整理する
• [SPARK-39834] [SQL][ss] LogicalRDD の元の統計と制約 (DataFrame からの場合) を含める
• [SPARK-39849] [SQL] Dataset.as(StructType) で新しい列が見つからない場合に null 値で埋める
• [SPARK-39860] [SQL] Predicate を拡張する式を増やす必要がある
• [SPARK-39823] [SQL][python] Dataset.as の名前を Dataset.to に変更し、PySpark に DataFrame.to を追加する
• [SPARK-39918] [SQL][minor] エラー メッセージの "比較不可能" という単語を "非比較" に置き換えます
• [SPARK-39857] [SQL][3.3] V2ExpressionBuilder が In 述語に対して間違った LiteralValue データ型を使う
• [SPARK-39862] [SQL] DBR 11.x を対象とする PR 43654 の手動バックポート: ALTER TABLE を許可または拒否するようにSQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERSを更新します。... COLUMN コマンドを個別に追加します。
• [SPARK-39844] [SQL] DBR 11.x をターゲットとする PR 43652 の手動バックポート。
• [SPARK-39899] [SQL] InvalidUDFClassException へのメッセージ パラメーターの受け渡しを修正する
• [SPARK-39890] [SQL] TakeOrderedAndProjectExec を AliasAwareOutputOrdering を継承するようにする
• [SPARK-39809] [PYTHON] PySpark で CharType をサポートする
• [SPARK-38864] [SQL] データセットにピボット解除とメルトを追加する
• [SPARK-39864] [SQL] ExecutionListenerBus を遅延登録する
• [SPARK-39808] [SQL] 集計関数 MODE をサポートする
• [SPARK-39839] [SQL] UnsafeRow 構造整合性チェックで、offsetAndSize が 0 以外の、null 可変長 Decimal に関する特殊なケースを処理する
• [SPARK-39875] [SQL] final クラスの protected メソッドを private または package-visible に変更する
• [SPARK-39731] [SQL] 修正されたタイム パーサー ポリシーを使用して "yyyyMMdd" 形式で日付を解析するときの CSV および JSON データ ソースの問題を修正する
• [SPARK-39805] [SS] Trigger.Once を非推奨とし、Trigger.AvailableNow を昇格させる
• [SPARK-39784] [SQL] Catalyst Expression をデータ ソース フィルターに変換した後、リテラル値をデータ ソース フィルターの右側に配置する
• [SPARK-39672] [SQL][3.1] 相関サブクエリでフィルターする前にプロジェクトを削除する問題を修正する
• [SPARK-39552] [SQL] v1 と v2 の DESCRIBE TABLE を統合する
• [SPARK-39806] [SQL] パーティション テーブル上の _metadata にアクセスするとクエリがクラッシュすることがある
• [SPARK-39810] [SQL] 入れ子になった名前空間を Catalog.tableExists で処理するようにする
• [SPARK-37287] [SQL] FileFormatWriter から動的パーティション分割とバケットの並べ替えをプルする
• [SPARK-39469] [SQL] CSV のスキーマ推論の場合に日付型を推論する
• [SPARK-39148] [SQL] DS V2 集計プッシュダウンは、OFFSET または LIMIT で機能します
• [SPARK-39818] [SQL] NULL フィールドの DEFAULT 値を持つ ARRAY、STRUCT、MAP の各型のバグを修正する
• [SPARK-39792] [SQL] 10 進数の平均に DecimalDivideWithOverflowCheck を追加する
• [SPARK-39798] [SQL] toSeq.toArray のコンストラクターで .toArray[Any] を GenericArrayData に置き換える
• [SPARK-39759] [SQL] JDBC で listIndexes を実装する (H2 言語)
• [SPARK-39385] [SQL] REGR_AVGX と REGR_AVGY のプッシュダウンをサポートする
• [SPARK-39787] [SQL] 関数 to_timestamp の解析エラーでエラー クラスを使用します
• [SPARK-39760] [PYTHON] PySpark で Varchar をサポートする
• [SPARK-39557] [SQL] DBR 11.x への手動バックポート: DEFAULT 値として ARRAY、STRUCT、MAP の型をサポートする
• [SPARK-39758] [SQL][3.3] 無効なパターンに対する正規表現関数の NPE を修正する
• [SPARK-39749] [SQL] ANSI SQL モード: 10 進数から文字列へのキャストでプレーンな文字列表現を使う
• [SPARK-39704] [SQL] JDBC (H2 言語) で createIndex、dropIndex、indexExists を実装する
• [SPARK-39803] [SQL] LevenshteinDistance ではなく StringUtils.getLevenshteinDistance を使う
• [SPARK-39339] [SQL] JDBC データ ソースで TimestampNTZ 型をサポートする
• [SPARK-39781] [SS] rocksdb 状態ストア プロバイダーに max_open_files を提供するためのサポートを追加する
• [SPARK-39719] [R] SparkR サポート 3L 名前空間に databaseExists と getDatabase を実装する
• [SPARK-39751] [SQL] ハッシュ集計キー プローブ メトリックの名前を変更する
• [SPARK-39772] [SQL] 古いコンストラクターでデータベースが null の場合、名前空間を null にするようにする
• [SPARK-39625] [SPARK-38904][sql] データセット.as(StructType)を追加
• [SPARK-39384] [SQL] JDBC 言語の組み込み線形回帰集計関数をコンパイルする
• [SPARK-39720] [R] SparkR 内に 3L 名前空間の tableExists と getTable を実装する
• [SPARK-39744] [SQL] REGEXP_INSTR 関数を追加する
• [SPARK-39716] [R] SparkR の currentDatabase、setCurrentDatabase、listCatalogs を 3L 名前空間をサポートするようにする
• [SPARK-39788] [SQL] catalogName の名前 dialectName を JdbcUtils に変更する
• [SPARK-39647] [CORE] BlockManager を登録する前に、Executor を ESS に登録する
• [SPARK-39754] [CORE][sql] 未使用の import または不要を削除する {}
• [SPARK-39706] [SQL] ParquetColumnVector の欠落している列に定数の defaultValue を設定する
• [SPARK-39699] [SQL] コレクション作成式について CollapseProject をよりスマートにする
• [SPARK-39737] [SQL] PERCENTILE_CONT と PERCENTILE_DISC は集計フィルターをサポートする必要がある
• [SPARK-39579] [SQL][python][R] ListFunctions/getFunction/functionExists を 3 つのレイヤー名前空間と互換性のあるものにする
• [SPARK-39627] [SQL] JDBC V2 プッシュダウンでコンパイル API を統合する必要がある
• [SPARK-39748] [SQL][ss] LogicalRDD の元の論理プラン (DataFrame からの場合) を含める
• [SPARK-39385] [SQL] 線形回帰の集計関数をプッシュダウン用に変換する
• [SPARK-39695] [SQL] REGEXP_SUBSTR 関数を追加する
• [SPARK-39667] [SQL] テーブルの構築とブロードキャストに十分なメモリがない場合の別の回避策を追加する
• [SPARK-39666] [ES-337834][sql] UnsafeProjection.create を使用して ExpressionEncoder の spark.sql.codegen.factoryMode を考慮する
• [SPARK-39643] [SQL] DEFAULT 値でサブクエリ式を禁止する
• [SPARK-38647] [SQL] スキャン (DataSourceV2) のインターフェイスに SupportsReportOrdering ミックスを追加する
• [SPARK-39497] [SQL] マップ キー列が見つからない場合の分析例外を改善
• [SPARK-39661] [SQL] 不要な SLF4J ロガーを作成しないようにする
• [SPARK-39713] [SQL] ANSI モード: INVALID_ARRAY_INDEX エラーの場合に try_element_at を使用する提案を追加する
• [SPARK-38899] [SQL] DS V2 でプッシュダウン日時関数をサポートする
• [SPARK-39638] [SQL] パーティション列を ConstantColumnVector に格納するために OrcColumnarBatchReader を使うように変更する
• [SPARK-39653] [SQL] ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) から ColumnVectorUtils をクリーンアップする
• [SPARK-39231] [SQL] パーティション列を ConstantColumnVector に格納するために On/OffHeapColumnVector ではなく VectorizedParquetRecordReader を使う
• [SPARK-39547] [SQL] V2SessionCatalog から loadNamspaceMetadata で NoSuchDatabaseException をスローしないようにする
• [SPARK-39447] [SQL] AdaptiveSparkPlanExec.doExecuteBroadcast で AssertionError を回避する
• [SPARK-39492] [SQL] MISSING_COLUMN を修正する
• [SPARK-39679] [SQL] TakeOrderedAndProjectExec で子の出力順を尊重するようにする
• [SPARK-39606] [SQL] 子の統計情報を使って順序演算子を推定する
• [SPARK-39611] [PYTHON][ps] array_ufuncで間違ったエイリアスを修正する
• [SPARK-39656] [SQL][3.3] DescribeNamespaceExec の不適切な名前空間を修正する
• [SPARK-39675] [SQL] テスト目的から内部目的に 'spark.sql.codegen.factoryMode' 構成を切り替える
• [SPARK-39139] [SQL] DS V2 で DS V2 UDF のプッシュダウンをサポートする
• [SPARK-39434] [SQL] 配列インデックスが境界外の場合にランタイム エラー クエリ コンテキストを提供する
• [SPARK-39479] [SQL] DS V2 でプッシュダウンの数学関数 (非 ANSI) をサポートする
• [SPARK-39618] [SQL] REGEXP_COUNT 関数を追加する
• [SPARK-39553] [CORE] Scala 2.13 を使用する場合、マルチスレッドのシャッフル登録解除で NPE が発生しないようにする
• [SPARK-38755] [PYTHON][3.3] 欠落している pandas の一般的な関数に対応するためにファイルを追加する
• [SPARK-39444] [SQL] OptimizeSubqueries を nonExcludableRules リストに追加する
• [SPARK-39316] [SQL] PromotePrecision と CheckOverflow を 10 進数のバイナリ演算にマージする
• [SPARK-39505] [UI] UI にレンダリングされるログの内容をエスケープする
• [SPARK-39448] [SQL] ReplaceCTERefWithRepartition を nonExcludableRules リストに追加する
• [SPARK-37961] [SQL] 一部の論理演算子で maxRows と maxRowsPerPartition をオーバーライドする
• [SPARK-35223] IssueNavigationLink の追加を元に戻す
• [SPARK-39633] [SQL] Dataframe オプションを使った TimeTravel で秒単位のタイムスタンプをサポートする
• [SPARK-38796] [SQL] {try_}to_number 関数を使った数値形式文字列のドキュメントを更新する
• [SPARK-39650] [SS] 下位互換性のあるストリーミング重複除去に含まれる不適切な値スキーマを修正する
• [SPARK-39636] [CORE][ui] JsonProtocol の複数のバグを修正し、オフヒープ StorageLevels および Task/Executor ResourceRequests に影響を与える
• [SPARK-39432] [SQL] element_at(*, 0) から ELEMENT_AT_BY_INDEX_ZERO を返す
• [SPARK-39349] エラー パスの QA 用に一元化された CheckError メソッドを追加する
• [SPARK-39453] [SQL] DS V2 でプッシュダウンのその他の非集計関数 (非 ANSI) をサポートする
• [SPARK-38978] [SQL] DS V2 では、プッシュダウン OFFSET 演算子がサポートされます
• [SPARK-39567] [SQL] パーセンタイル関数内の ANSI 間隔をサポートする
• [SPARK-39383] [SQL] V2 データ ソースに対する ALTER TABLE ALTER COLUMNS で DEFAULT 列をサポートする
• [SPARK-39396] [SQL] LDAP ログイン例外 'エラー コード 49 - 無効な資格情報' を修正
• [SPARK-39548][SQL] ウィンドウ句クエリで CreateView コマンドを実行したら間違ったウィンドウ定義にヒットして問題が見つからない
• [SPARK-39575] [AVRO] Avr… の ByteBuffer#get の後に ByteBuffer#rewind を追加する
• [SPARK-39543] v1 にフォールバックする場合、ストレージのプロパティに DataFrameWriterV2 のオプションを渡すようにする
• [SPARK-39564] [SS] ストリーミング クエリでカタログ テーブルの情報を論理プランに公開する
• [SPARK-39582] [SQL] array_agg の "Since" マーカーを修正する
• [SPARK-39388] [SQL] Orc 述語のプッシュダウン時に orcSchema を再利用する
• [SPARK-39511] [SQL] 結合条件が空の場合、左半/反結合の右側でプッシュダウンのローカル制限 1 を強化する
• [SPARK-38614] [SQL] percent_rankを使用しているウィンドウを介した制限のプッシュダウンを行わない
• [SPARK-39551] [SQL] AQE 無効プラン チェックを追加する
• [SPARK-39383] [SQL] ALTER TABLE ADD COLUMNS の DEFAULT 列を V2 データ ソースにサポートする
• [SPARK-39538] [SQL] 不要な SLF4J ロガーを作成しないようにする
• [SPARK-39383] [SQL] DBR 11.x への手動バックポート: プライマリ アナライザーの受け渡しをスキップするように DEFAULT 列のサポートをリファクタリングする
• [SPARK-39397] [SQL] 式による別名をサポートするように AliasAwareOutputExpression を緩和する
• [SPARK-39496] [SQL] Inline.eval の null 構造体を処理する
• [SPARK-39545] [SQL] Scala 2.13 で concat の ExpressionSet メソッドをオーバーライドしてパフォーマンスを向上させる
• [SPARK-39340] [SQL] DS v2 の集計プッシュダウンで最上位列の名前にドットを使用できるようにする
• [SPARK-39488] [SQL] TempResolvedColumn のエラー処理を簡略化する
• [SPARK-38846] [SQL] Teradata の数値型と Spark の DecimalType の間に明示的なデータ マッピングを追加する
• [SPARK-39520] [SQL] Scala 2.13 で -- の ExpressionSet メソッドをオーバーライドする
• [SPARK-39470] [SQL] ANSI 間隔の 10 進数へのキャストをサポートする
• [SPARK-39477] [SQL] SQLQueryTestSuite のゴールデン ファイルから "クエリ数" の情報を削除する
• [SPARK-39419] [SQL] 比較子が null を返したときに例外をスローするように ArraySort を修正する
• [SPARK-39061] [SQL] Inline の出力属性に Null 許容を正しく設定する
• [SPARK-39320] [SQL] 集計関数 MEDIAN をサポートする
• [SPARK-39261] [CORE] エラー メッセージの改行形式を改善する
• [SPARK-39355] [SQL] 単一列で引用符を使用して UnresolvedAttribute を構築する
• [SPARK-39351] [SQL] SHOW CREATE TABLE でプロパティをリダクトする必要がある
• [SPARK-37623] [SQL] ANSI 集計関数をサポートする: regr_intercept
• [SPARK-39374] [SQL] ユーザーが指定した列リストに対するエラー メッセージを改善する
• [SPARK-39255] [SQL][3.3] エラー メッセージを改善する
• [SPARK-39321] [SQL] RuntimeReplaceable を使うように TryCast をリファクタリングする
• [SPARK-39406] [PYTHON] createDataFrame で NumPy の配列を受け入れる
• [SPARK-39267] [SQL] dsl の不要なシンボルをクリーンアップする
• [SPARK-39171] [SQL] キャスト式を統合する
• [SPARK-28330] [SQL] ANSI SQL のサポート: クエリ式の結果オフセット句
• [SPARK-39203] [SQL] データベース URI に基づいてテーブルの場所を絶対 URI に書き換える
• [SPARK-39313] [SQL] V2Expression を変換できない場合に toCatalystOrdering が失敗するようにする
• [SPARK-39301] [SQL][python] LocalRelation を活用し、Arrow最適化を使用して createDataFrame 内で Arrow バッチサイズを優先する
• [SPARK-39400] [SQL] spark-sql で常にハイブ リソースを削除するようにする

メンテナンスの更新

Databricks Runtime 11.1 のメンテナンス更新プログラムに関するページを参照してください。

システム環境

• オペレーティング システム: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.9.5
• R: 4.1.3
• Delta Lake: 1.2.1

インストールされている Python ライブラリ

インストールされている R ライブラリ

R ライブラリは、2022 年 8 月 15 日に Microsoft CRAN スナップショットからインストールされています。

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)