Databricks Runtime 11.2 (サポート期間終了)

次のリリース ノートには、Apache Spark 3.3.0 で稼働する Databricks Runtime 11.2 に関する情報が記載されています。 Databricks は、2022 年 9 月にこのバージョンをリリースしました。

新機能と機能強化

• ALTER TABLE のアクセス許可を に変更する
• MERGE INTO の動的排除
• 動的ファイルの排除による Delta での競合検出の改善
• DSE/SQL ホームページの新しいオープン ソースの統合カード
• CONVERT TO DELTA パーティション検出の機能強化
• テーブル スキーマで列の既定値がサポートされるようになりました
• 新しい H3 地理空間関数
• 新しい Databricks Runtime の依存関係
• 独自のキーを持ち込む: Git 資格情報を暗号化する
• SQL: 新しい集計関数 any_value
• Databricks Utilities ファイル システム コマンドは、より多くのクラスターの種類で許可されます
• Unity Catalog のメタストアで CREATE 権限を付与できるようになりました
• Photon 対応クラスターでのパーティション分割されていないテーブルの書き込みの最適化
• Photon のサポート対象データ ソースの追加
• SQL: ALTER SHARE は START VERSION をサポートするようになりました

テーブル アクセス制御 (テーブル ACL) のアクセス許可を ALTER TABLE に変更する

現在、MODIFYを使用してテーブルのスキーマまたはプロパティを変更するには、ALTER TABLEアクセス許可のみが必要です。 テーブルに対するアクセス許可の付与、その所有者と場所の変更、名前の変更には、引き続き所有権が必要です。 この変更により、テーブル ACL のアクセス許可モデルが Unity Catalog と整合するようになりました。 ALTER TABLEを参照してください。

MERGE INTO の動的排除

Photon 対応コンピューティングを使用する場合、必要に応じてパフォーマンスを向上させるために、MERGE INTO でファイルおよびパーティションの動的な排除が使用されるようになりました (たとえば、小さなソース テーブルをより大きなターゲット テーブルにマージする場合)。

動的ファイルの排除による Delta での競合検出の改善

コミット中に潜在的な競合をチェックする際、競合検出では、動的ファイルの排除によって排除されるが、静的フィルターによって排除されなかったファイルが考慮されるようになりました。 これにより、失敗するトランザクション数が減少します。

DSE/SQL ホームページの新しいオープン ソースの統合カード

DSE/SQL ホームページに、DLT や dbt コアなどのオープン ソース統合オプションを表示する新しい "オープン ソース統合" カードが導入されました。

CONVERT TO DELTA パーティション検出の改善

CONVERT TO DELTA では、Hive メタストアまたは Unity Catalog に登録されている Parquet テーブルのパーティション スキーマが自動的に推論されるため、PARTITIONED BY 句を指定する必要がなくなります。

CONVERT TO DELTA では、メタストアからのパーティション情報を利用することで、ベース パス全体を一覧表示せずに Parquet テーブルのファイルを検出し、削除されたパーティションが Delta テーブルに追加されないようにします。

「Delta Lake に変換する」を参照してください。

テーブル スキーマで列の既定値がサポートされるようになりました

テーブル スキーマで列の既定値の設定がサポートされるようになりました。 これらの列の INSERT、UPDATE および DELETE コマンドでは、キーワード DEFAULT を使用してこれらの値を参照できます。 たとえば、CREATE TABLE t (id INT, data INT DEFAULT 42) USING PARQUET の後に INSERT INTO t VALUES (1, DEFAULT) を実行すると (1, 42) の行が付加されます。 この動作は、CSV、JSON、Orc、Parquet のデータ ソースでサポートされています。

新しい H3 地理空間関数

これで、28 個の新しい組み込み H3 式を使用して、SQL、Scala、Python で使用できる Photon 対応クラスターの地理空間処理を行うことができます。 「H3 地理空間の関数」を参照してください。

新しい Databricks Runtime の依存関係

Databricks Runtime が H3 Java ライブラリ バージョン 3.7.0 に依存するようになりました。

独自のキーを持ち込む: Git 資格情報を暗号化する

Azure Key Vault を使用して、Git 個人用アクセス トークン (PAT) またはその他の Git 資格情報を暗号化できます。

Databricks Git フォルダーの設定を参照してください。

SQL: 新しい集計関数 any_value

新しい any_value 集計関数は、行のグループに対して expr の任意のランダムな値を返します。 any_value集計関数を参照してください。

Databricks Utilities ファイル システム コマンドは、より多くのクラスターの種類で許可されます

dbutils.fs コマンド (マウント関連コマンドを除く) は、Unity Catalog を使用するユーザー分離クラスターと、レガシ テーブル ACL クラスター (ユーザーが ANY FILE のアクセス許可を持っている場合) で許可されるようになりました。

Unity Catalog のメタストアで CREATE 権限を付与できるようになりました

Unity カタログ メタストアで、CREATE CATALOG、CREATE EXTERNAL LOCATION、CREATE SHARE、CREATE RECIPIENT、CREATE PROVIDER の特権を付与できるようになりました。

Photon 対応クラスターでのパーティション分割されていないテーブルの書き込みの最適化

Unity Catalog のマネージド テーブルでは、パーティション分割されていないテーブルのサイズが適切に調整されたファイルが自動的に永続化されるため、クエリの速度が向上し、パフォーマンスが最適化されるようになりました。

Photon のサポート対象データ ソースの追加

Photon は、CSV や Avro を含め、より多くのデータ ソースをサポートするようになりました。キャッシュされたデータ フレームとの互換性もあります。 以前は、これらのデータ ソースをスキャンすると、クエリの演算子や式に関係なく、クエリ全体をフォトン化できませんでした。 これらのデータ ソースをスキャンするクエリを Photon 化できるようになったことで、待ち時間と TCO が大幅に改善されます。

この機能は、spark.databricks.photon.photonRowToColumnar.enabled 構成によって既定で有効になっています。

制限事項:

• 型が入れ子になったスキーマ (つまり、配列、マップ、構造体) は、このリリースではサポートされていません。
• このリリースでは、ORC、RDD、Kinesis、Kafka、EventHub の各ソースはサポートされていません。

SQL: ALTER SHARE で START VERSION がサポートされるようになりました

ALTER SHARE コマンドは START VERSION をサポートし、プロバイダーは特定のテーブル バージョンからデータを共有できるようになりました。 ALTER SHAREを参照してください。

ライブラリのアップグレード

• アップグレードされた Python ライブラリ:
  • distlib (0.3.4 から 0.3.5 へ)
  • filelock (3.7.1 から 3.8.0 へ)
  • plotly (5.8.2 から 5.9.0 へ)
  • protobuf (4.21.2 から 4.21.5 へ)
• アップグレードされた R ライブラリ:
  • broom (0.8.0 から 1.0.0 へ)
  • bslib (0.3.1 から 0.4.0 へ)
  • callr (3.7.0 から 3.7.1 へ)
  • caret (6.0-92 から 6.0-93 へ)
  • dbplyr (2.2.0 から 2.2.1)
  • devtools (2.4.3 から 2.4.4 へ)
  • evaluate (0.15 から 0.16 へ)
  • dtplyr (2.1.0 から 2.1.1 へ)
  • fontawesome (0.2.2 から 0.3.0 へ)
  • future (1.26.1 から 1.27.0 へ)
  • generics (0.1.2 から 0.1.3 へ)
  • gert (1.6.0 から 1.7.0 へ)
  • globals (0.15.1 から 0.16.0 へ)
  • googlesheets4 (1.0.0 から 1.0.1 へ)
  • hardhat (1.1.0 から 1.2.0 へ)
  • htmltools (0.5.2 から 0.5.3 へ)
  • parallelly (1.32.0 から 1.32.1 へ)
  • pillar (1.7.0 から 1.8.0 へ)
  • pkgload (1.2.4 から 1.3.0 へ)
  • processx (3.6.1 から 3.7.0 へ)
  • Rcpp (1.0.8.3 から 1.0.9 へ)
  • recipes (0.2.0 から 1.0.1 へ)
  • rlang (1.0.2 から 1.0.4 へ)
  • roxygen2 (7.2.0 から 7.2.1 へ)
  • RSQLite (2.2.14 から 2.2.15 へ)
  • sass (0.4.1 から 0.4.2 へ)
  • shiny (1.7.1 から 1.7.2 へ)
  • stringi (1.7.6 から 1.7.8 へ)
  • tibble (3.1.7 から 3.1.8 へ)
  • tidyverse (1.3.1 から 1.3.2 へ)
  • timeDate (3043.102 から 4021.104 へ)
  • xfun (0.31 から 0.32 へ)
• アップグレードされた Java ライブラリ:
  • org.apache.orc.orc-core (1.7.4 から 1.7.5 へ)
  • org.apache.orc.orc-mapreduce (1.7.4 から 1.7.5 へ)
  • org.apache.orc.orc-shims (1.7.4 から 1.7.5 へ)

Apache Spark

Databricks Runtime 11.2 には、Apache Spark 3.3.0 が含まれています。 このリリースには、Databricks Runtime 11.1 (サポート期間終了) に含まれるすべての Spark の修正プログラムおよび機能強化と、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。

• [SPARK-40151] [WARMFIX][sc-109002][SC-108809][sql] パーセンタイル関数からより広い ANSI 間隔型を返します
• [SPARK-40054] [SQL] try_cast() のエラー処理構文を復元する
• [SPARK-39489] [CORE] Json4s ではなく Jackson を使ってイベント ログ JsonProtocol のパフォーマンスを向上させる
• [SPARK-39319] [CORE][sql] クエリ コンテキストを一部として作成する SparkThrowable
• [SPARK-40085] [SQL] バグを示すために IllegalStateException ではなく INTERNAL_ERROR エラー クラスを使うようにする
• [SPARK-40001] [SQL] NULL が JSON DEFAULT 列に書き込まれた場合、ストレージに 'null' が書き込まれるようにする
• [SPARK-39635] [SQL] DS v2 カスタム メトリック API でドライバー メトリックをサポートする
• [SPARK-39184] [SQL] 日付とタイムスタンプのシーケンスでサイズの小さい結果配列を処理するようにする
• [SPARK-40019] [SQL] ArrayType の containsNull のコメントをリファクタリングし、collectionOperator の式における誤解されるロジックをリファクタリングする containsNull
• [SPARK-39989] [SQL] 折り畳み可能な式の場合に列統計の推定をサポートする
• [SPARK-39926] [SQL] ベクトル化されていない Parquet スキャンに対する列の DEFAULT のサポートに含まれるバグを修正する
• [SPARK-40052] [SQL] VectorizedDeltaBinaryPackedReader の直接バイト バッファーを処理するようにする
• [SPARK-40044] [SQL] キャスト オーバーフロー エラーのターゲット間隔の種類を修正する
• [SPARK-39835] [SQL] ローカルの並べ替えの下にあるグローバルの並べ替えが EliminateSorts によって削除される問題を修正する
• [SPARK-40002] [SQL] ntile を使用してウィンドウ内の制限をプッシュダウンしない
• [SPARK-39976] [SQL] ArrayIntersect で左側の式に含まれる null を正しく処理するようにする
• [SPARK-39985] [SQL] DataFrames からの挿入で暗黙的な DEFAULT 列の値を有効にする
• [SPARK-39776] [SQL] JOIN の詳細文字列に結合の種類を追加するようにする
• [SPARK-38901] [SQL] DS V2 はプッシュダウンのその他の関数をサポートする
• [SPARK-40028] [SQL][followup] 文字列関数の例を改善する
• [SPARK-39983] [CORE][sql] ドライバーに非初期化ブロードキャスト関係をキャッシュしない
• [SPARK-39812] [SQL] AggregateExpression を使って toAggregateExpression を構築するコードを簡略化する
• [SPARK-40028] [SQL] 文字列式のバイナリ例を追加する
• [SPARK-39981] [SQL] Cast で例外 QueryExecutionErrors.castingCauseOverflowErrorInTableInsert をスローする
• [SPARK-40007] [PYTHON][sql] 関数に 'mode' を追加する
• [SPARK-40008] [SQL] ANSI 間隔への積分のキャストをサポートする
• [SPARK-40003] [PYTHON][sql] 関数に 'median' を追加する
• [SPARK-39952] [SQL] SaveIntoDataSourceCommand で結果の関係を再キャッシュするようにする
• [SPARK-39951] [SQL] 入れ子になったフィールドの Parquet V2 の列チェックを更新する
• [SPARK-33236] [シャッフル] DBR 11.x のバックポート: 再起動を保持する作業のために NM レベル DB に状態を格納する プッシュベースのシャッフル サービスを有効にする
• [SPARK-39836] [SQL] extract 共通メソッドによる V2ExpressionBuilder を簡略化する
• [SPARK-39873] [SQL] OptimizeLimitZero を削除し、EliminateLimits にマージする
• [SPARK-39961] [SQL] キャストが安全な場合の DS V2 のプッシュダウン変換キャスト
• [SPARK-39872] [SQL] BytePackerForLong#unpack8Values の配列入力 API で VectorizedDeltaBinaryPackedReader を使うように変更する
• [SPARK-39858] [SQL] 一部のルールで不要な AliasHelper や PredicateHelper を削除する
• [SPARK-39900] [SQL] バイナリ形式の述語プッシュダウンでの部分的または否定された条件に対処する
• [SPARK-39904] [SQL] CSV データ ソースで inferDate の名前を prefersDate に変更し、オプションのセマンティクスを明確にする
• [SPARK-39958] [SQL] カスタム メトリック オブジェクトを読み込めない場合の警告ログを追加する
• [SPARK-39932] [SQL] WindowExec で最終パーティション バッファーをクリアするようにする
• [SPARK-37194] [SQL] 動的パーティションでない場合は、v1 書き込みで不要な並べ替えを回避する
• [SPARK-39902] [SQL] SparkUI で Spark プラン スキャン ノードにスキャンの詳細を追加する
• [SPARK-39865] [SQL] テーブル挿入時のオーバーフロー エラーで適切なエラー メッセージを表示する
• [SPARK-39940] [SS] DSv1 シンクを使ったストリーミング クエリでカタログ テーブルを更新する
• [SPARK-39827] [SQL] ARITHMETIC_OVERFLOW の int オーバーフローでエラー クラス add_months() を使う
• [SPARK-39914] [SQL] DS V2 フィルターから V1 フィルターへの変換を追加する
• [SPARK-39857] [SQL] 手動 DBR 11.x バックポート。V2ExpressionBuilder が In 述語に対して間違った LiteralValue データ型を使う (#43454)
• [SPARK-39840] [SQL][python] PythonArrowInput を PythonArrowOutput に対する対称として切り出す
• [SPARK-39651] [SQL] rand との比較が決定論的である場合にフィルター条件を取り除く
• [SPARK-39877] [PYTHON] PySpark DataFrame API にピボット解除を追加する
• [SPARK-39909] [SQL] JDBCV2Suite のプッシュダウン情報のチェックを整理する
• [SPARK-39834] [SQL][ss] LogicalRDD の元の統計と制約 (DataFrame からの場合) を含める
• [SPARK-39849] [SQL] Dataset.as(StructType) で新しい列が見つからない場合に null 値で埋める
• [SPARK-39860] [SQL] Predicate を拡張する式を増やす必要がある
• [SPARK-39823] [SQL][python] Dataset.as の名前を Dataset.to に変更し、PySpark に DataFrame.to を追加する
• [SPARK-39918] [SQL][minor] エラー メッセージの "比較不可能" という単語を "非比較" に置き換えます
• [SPARK-39857] [SQL][3.3] V2ExpressionBuilder が In 述語に対して間違った LiteralValue データ型を使う
• [SPARK-39862] [SQL] DBR 11.x を対象とする PR 43654 の手動バックポート: ALTER TABLE を許可または拒否するようにSQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERSを更新します。... COLUMN コマンドを個別に追加します。
• [SPARK-39844] [SQL] DBR 11.x をターゲットとする PR 43652 の手動バックポート。
• [SPARK-39899] [SQL] InvalidUDFClassException へのメッセージ パラメーターの受け渡しを修正する
• [SPARK-39890] [SQL] TakeOrderedAndProjectExec を AliasAwareOutputOrdering を継承するようにする
• [SPARK-39809] [PYTHON] PySpark で CharType をサポートする
• [SPARK-38864] [SQL] データセットにピボット解除とメルトを追加する
• [SPARK-39864] [SQL] ExecutionListenerBus を遅延登録する
• [SPARK-39808] [SQL] 集計関数 MODE をサポートする
• [SPARK-39875] [SQL] final クラスの protected メソッドを private または package-visible に変更する
• [SPARK-39731] [SQL] 修正されたタイム パーサー ポリシーを使用して "yyyyMMdd" 形式で日付を解析するときの CSV および JSON データ ソースの問題を修正する
• [SPARK-39805] [SS] Trigger.Once を非推奨とし、Trigger.AvailableNow を昇格させる
• [SPARK-39784] [SQL] Catalyst Expression をデータ ソース フィルターに変換した後、リテラル値をデータ ソース フィルターの右側に配置する
• [SPARK-39672] [SQL][3.1] 相関サブクエリでフィルターする前にプロジェクトを削除する問題を修正する
• [SPARK-39552] [SQL] v1 と v2 の DESCRIBE TABLE を統合する
• [SPARK-39810] [SQL] 入れ子になった名前空間を Catalog.tableExists で処理するようにする
• [SPARK-37287] [SQL] FileFormatWriter から動的パーティション分割とバケットの並べ替えをプルする
• [SPARK-39469] [SQL] CSV のスキーマ推論の場合に日付型を推論する
• [SPARK-39148] [SQL] DS V2 集計プッシュダウンは、OFFSET または LIMIT で機能します
• [SPARK-39818] [SQL] NULL フィールドの DEFAULT 値を持つ ARRAY、STRUCT、MAP の各型のバグを修正する
• [SPARK-39792] [SQL] 10 進数の平均に DecimalDivideWithOverflowCheck を追加する
• [SPARK-39798] [SQL] toSeq.toArray のコンストラクターで .toArray[Any] を GenericArrayData に置き換える
• [SPARK-39759] [SQL] JDBC で listIndexes を実装する (H2 言語)
• [SPARK-39385] [SQL] REGR_AVGX と REGR_AVGY のプッシュダウンをサポートする
• [SPARK-39787] [SQL] 関数 to_timestamp の解析エラーでエラー クラスを使用します
• [SPARK-39760] [PYTHON] PySpark で Varchar をサポートする
• [SPARK-39557] [SQL] DBR 11.x への手動バックポート: DEFAULT 値として ARRAY、STRUCT、MAP の型をサポートする
• [SPARK-39758] [SQL][3.3] 無効なパターンに対する正規表現関数の NPE を修正する
• [SPARK-39749] [SQL] ANSI SQL モード: 10 進数から文字列へのキャストでプレーンな文字列表現を使う
• [SPARK-39704] [SQL] JDBC (H2 言語) で createIndex、dropIndex、indexExists を実装する
• [SPARK-39803] [SQL] LevenshteinDistance ではなく StringUtils.getLevenshteinDistance を使う
• [SPARK-39339] [SQL] JDBC データ ソースで TimestampNTZ 型をサポートする
• [SPARK-39781] [SS] rocksdb 状態ストア プロバイダーに max_open_files を提供するためのサポートを追加する
• [SPARK-39719] [R] SparkR サポート 3L 名前空間に databaseExists と getDatabase を実装する
• [SPARK-39751] [SQL] ハッシュ集計キー プローブ メトリックの名前を変更する
• [SPARK-39772] [SQL] 古いコンストラクターでデータベースが null の場合、名前空間を null にするようにする
• [SPARK-39625] [SPARK-38904][sql] データセット.as(StructType)を追加
• [SPARK-39384] [SQL] JDBC 言語の組み込み線形回帰集計関数をコンパイルする
• [SPARK-39720] [R] SparkR 内に 3L 名前空間の tableExists と getTable を実装する
• [SPARK-39744] [SQL] REGEXP_INSTR 関数を追加する
• [SPARK-39716] [R] SparkR の currentDatabase、setCurrentDatabase、listCatalogs を 3L 名前空間をサポートするようにする
• [SPARK-39788] [SQL] catalogName の名前 dialectName を JdbcUtils に変更する
• [SPARK-39647] [CORE] BlockManager を登録する前に、Executor を ESS に登録する
• [SPARK-39754] [CORE][sql] 未使用の import または不要を削除する {}
• [SPARK-39706] [SQL] ParquetColumnVector の欠落している列に定数の defaultValue を設定する
• [SPARK-39699] [SQL] コレクション作成式について CollapseProject をよりスマートにする
• [SPARK-39737] [SQL] PERCENTILE_CONT と PERCENTILE_DISC は集計フィルターをサポートする必要がある
• [SPARK-39579] [SQL][python][R] ListFunctions/getFunction/functionExists を 3 つのレイヤー名前空間と互換性のあるものにする
• [SPARK-39627] [SQL] JDBC V2 プッシュダウンでコンパイル API を統合する必要がある
• [SPARK-39748] [SQL][ss] LogicalRDD の元の論理プラン (DataFrame からの場合) を含める
• [SPARK-39385] [SQL] 線形回帰の集計関数をプッシュダウン用に変換する
• [SPARK-39695] [SQL] REGEXP_SUBSTR 関数を追加する
• [SPARK-39667] [SQL] テーブルの構築とブロードキャストに十分なメモリがない場合の別の回避策を追加する
• [SPARK-39666] [ES-337834][sql] UnsafeProjection.create を使用して ExpressionEncoder の spark.sql.codegen.factoryMode を考慮する
• [SPARK-39643] [SQL] DEFAULT 値でサブクエリ式を禁止する
• [SPARK-38647] [SQL] スキャン (DataSourceV2) のインターフェイスに SupportsReportOrdering ミックスを追加する
• [SPARK-39497] [SQL] マップ キー列が見つからない場合の分析例外を改善
• [SPARK-39661] [SQL] 不要な SLF4J ロガーを作成しないようにする
• [SPARK-39713] [SQL] ANSI モード: INVALID_ARRAY_INDEX エラーの場合に try_element_at を使用する提案を追加する
• [SPARK-38899] [SQL] DS V2 でプッシュダウン日時関数をサポートする
• [SPARK-39638] [SQL] パーティション列を ConstantColumnVector に格納するために OrcColumnarBatchReader を使うように変更する
• [SPARK-39653] [SQL] ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) から ColumnVectorUtils をクリーンアップする
• [SPARK-39231] [SQL] パーティション列を ConstantColumnVector に格納するために On/OffHeapColumnVector ではなく VectorizedParquetRecordReader を使う
• [SPARK-39547] [SQL] V2SessionCatalog から loadNamspaceMetadata で NoSuchDatabaseException をスローしないようにする
• [SPARK-39447] [SQL] AdaptiveSparkPlanExec.doExecuteBroadcast で AssertionError を回避する
• [SPARK-39492] [SQL] MISSING_COLUMN を修正する
• [SPARK-39679] [SQL] TakeOrderedAndProjectExec で子の出力順を尊重するようにする
• [SPARK-39606] [SQL] 子の統計情報を使って順序演算子を推定する
• [SPARK-39611] [PYTHON][ps] array_ufuncで間違ったエイリアスを修正する
• [SPARK-39656] [SQL][3.3] DescribeNamespaceExec の不適切な名前空間を修正する
• [SPARK-39675] [SQL] テスト目的から内部目的に 'spark.sql.codegen.factoryMode' 構成を切り替える
• [SPARK-39139] [SQL] DS V2 で DS V2 UDF のプッシュダウンをサポートする
• [SPARK-39434] [SQL] 配列インデックスが境界外の場合にランタイム エラー クエリ コンテキストを提供する
• [SPARK-39479] [SQL] DS V2 でプッシュダウンの数学関数 (非 ANSI) をサポートする
• [SPARK-39618] [SQL] REGEXP_COUNT 関数を追加する
• [SPARK-39553] [CORE] Scala 2.13 を使用する場合、マルチスレッドのシャッフル登録解除で NPE が発生しないようにする
• [SPARK-38755] [PYTHON][3.3] 欠落している pandas の一般的な関数に対応するためにファイルを追加する
• [SPARK-39444] [SQL] OptimizeSubqueries を nonExcludableRules リストに追加する
• [SPARK-39316] [SQL] PromotePrecision と CheckOverflow を 10 進数のバイナリ演算にマージする
• [SPARK-39505] [UI] UI にレンダリングされるログの内容をエスケープする
• [SPARK-39448] [SQL] ReplaceCTERefWithRepartition を nonExcludableRules リストに追加する
• [SPARK-37961] [SQL] 一部の論理演算子で maxRows と maxRowsPerPartition をオーバーライドする
• [SPARK-35223] IssueNavigationLink の追加を元に戻す
• [SPARK-39633] [SQL] Dataframe オプションを使った TimeTravel で秒単位のタイムスタンプをサポートする
• [SPARK-38796] [SQL] {try_}to_number 関数を使った数値形式文字列のドキュメントを更新する
• [SPARK-39650] [SS] 下位互換性のあるストリーミング重複除去に含まれる不適切な値スキーマを修正する
• [SPARK-39636] [CORE][ui] JsonProtocol の複数のバグを修正し、オフヒープ StorageLevels および Task/Executor ResourceRequests に影響を与える
• [SPARK-39432] [SQL] element_at(*, 0) から ELEMENT_AT_BY_INDEX_ZERO を返す
• [SPARK-39349] エラー パスの QA 用に一元化された CheckError メソッドを追加する
• [SPARK-39453] [SQL] DS V2 でプッシュダウンのその他の非集計関数 (非 ANSI) をサポートする
• [SPARK-38978] [SQL] DS V2 では、プッシュダウン OFFSET 演算子がサポートされます
• [SPARK-39567] [SQL] パーセンタイル関数内の ANSI 間隔をサポートする
• [SPARK-39383] [SQL] V2 データ ソースに対して ALTER TABLE ALTER COLUMNS 内の DEFAULT 列をサポートする
• [SPARK-39396] [SQL] LDAP ログイン例外 'エラー コード 49 - 無効な資格情報' を修正
• [SPARK-39548][SQL] ウィンドウ句クエリで CreateView コマンドを実行したら間違ったウィンドウ定義にヒットして問題が見つからない
• [SPARK-39575] [AVRO] Avr… の ByteBuffer#get の後に ByteBuffer#rewind を追加する
• [SPARK-39543] v1 にフォールバックする場合、ストレージのプロパティに DataFrameWriterV2 のオプションを渡すようにする
• [SPARK-39564] [SS] ストリーミング クエリでカタログ テーブルの情報を論理プランに公開する
• [SPARK-39582] [SQL] array_agg の "Since" マーカーを修正する
• [SPARK-39388] [SQL] Orc 述語のプッシュダウン時に orcSchema を再利用する
• [SPARK-39511] [SQL] 結合条件が空の場合、左半/反結合の右側でプッシュダウンのローカル制限 1 を強化する
• [SPARK-38614] [SQL] percent_rankを使用しているウィンドウを介した制限のプッシュダウンを行わない
• [SPARK-39551] [SQL] AQE 無効プラン チェックを追加する
• [SPARK-39383] [SQL] ALTER TABLE ADD COLUMNS の DEFAULT 列を V2 データ ソースにサポートする
• [SPARK-39538] [SQL] 不要な SLF4J ロガーを作成しないようにする
• [SPARK-39383] [SQL] DBR 11.x への手動バックポート: プライマリ アナライザーの受け渡しをスキップするように DEFAULT 列のサポートをリファクタリングする
• [SPARK-39397] [SQL] 式による別名をサポートするように AliasAwareOutputExpression を緩和する
• [SPARK-39496] [SQL] Inline.eval の null 構造体を処理する
• [SPARK-39545] [SQL] Scala 2.13 で concat の ExpressionSet メソッドをオーバーライドしてパフォーマンスを向上させる
• [SPARK-39340] [SQL] DS v2 の集計プッシュダウンで最上位列の名前にドットを使用できるようにする
• [SPARK-39488] [SQL] TempResolvedColumn のエラー処理を簡略化する
• [SPARK-38846] [SQL] Teradata の数値型と Spark の DecimalType の間に明示的なデータ マッピングを追加する
• [SPARK-39520] [SQL] Scala 2.13 で -- の ExpressionSet メソッドをオーバーライドする
• [SPARK-39470] [SQL] ANSI 間隔の 10 進数へのキャストをサポートする
• [SPARK-39477] [SQL] SQLQueryTestSuite のゴールデン ファイルから "クエリ数" の情報を削除する
• [SPARK-39419] [SQL] 比較子が null を返したときに例外をスローするように ArraySort を修正する
• [SPARK-39061] [SQL] Inline の出力属性に Null 許容を正しく設定する
• [SPARK-39320] [SQL] 集計関数 MEDIAN をサポートする
• [SPARK-39261] [CORE] エラー メッセージの改行形式を改善する
• [SPARK-39355] [SQL] 単一列で引用符を使用して UnresolvedAttribute を構築する
• [SPARK-39351] [SQL] SHOW CREATE TABLE はプロパティを伏せる必要があります
• [SPARK-37623] [SQL] ANSI 集計関数をサポートする: regr_intercept
• [SPARK-39374] [SQL] ユーザーが指定した列リストに対するエラー メッセージを改善する
• [SPARK-39255] [SQL][3.3] エラー メッセージを改善する
• [SPARK-39321] [SQL] RuntimeReplaceable を使うように TryCast をリファクタリングする
• [SPARK-39406] [PYTHON] createDataFrame で NumPy の配列を受け入れる
• [SPARK-39267] [SQL] dsl の不要なシンボルをクリーンアップする
• [SPARK-39171] [SQL] キャスト式を統合する
• [SPARK-28330] [SQL] ANSI SQL のサポート: クエリ式の結果オフセット句
• [SPARK-39203] [SQL] データベース URI に基づいてテーブルの場所を絶対 URI に書き換える
• [SPARK-39313] [SQL] V2Expression を変換できない場合に toCatalystOrdering が失敗するようにする
• [SPARK-39301] [SQL][python] LocalRelation を活用し、Arrow最適化を使用して createDataFrame 内で Arrow バッチサイズを優先する
• [SPARK-39400] [SQL] spark-sql で常にハイブ リソースを削除するようにする

メンテナンスの更新

Databricks Runtime 11.2 のメンテナンス更新プログラムに関するページを参照してください。

システム環境

• オペレーティング システム: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.9.5
• R: 4.1.3
• Delta Lake: 2.1.0

インストールされている Python ライブラリ

インストールされている R ライブラリ

R ライブラリは、2022 年 8 月 15 日に Microsoft CRAN スナップショットからインストールされています。

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)