Databricks Runtime 9.0 (EoS)

次のリリース ノートには、Apache Spark 3.1.2 で稼働する Databricks Runtime 9.0 と Databricks Runtime 9.0 Photon に関する情報が記載されています。 Databricks は、2021 年 8 月にこのバージョンをリリースしました。 Photon はパブリック プレビュー段階にあります。

訂正

これらのリリース ノートの以前のバージョンでは、Apache Parquet の依存関係が 1.10 から 1.12 にアップグレードされたと誤って記載されています。 実際、Parquet の依存関係はバージョン 1.10 のままです。 間違ったリリース ノートが削除されました。

新機能と機能強化

• データセットの概要統計用の新しい API (パブリック プレビュー)
• Azure Synapse コネクタの外部データ ソースの構成が簡単
• 必要に応じて、セッションを Amazon Redshift コネクタに対して指定された期間に制限する
• 自動ローダー
• SQL
• R のサポート
• 構造化ストリーム ステートフル処理の初期状態を指定してやり直しを回避する
• Delta MERGE INTO コマンドの低シャッフル実装が使用可能になりました (パブリック プレビュー)

データセットの概要統計用の新しい API (パブリック プレビュー)

Databricks Utilities の新しい dbutils.data.summarize コマンドを使用すると、Spark DataFrame の列に関する概要統計を自動的に計算し、結果を対話形式で表示する Spark ジョブを起動できます。 この関数は、Scala と Python で使用できます。 「データ ユーティリティ (dbutils.data)」を参照してください。

Azure Synapse コネクタの外部データ ソースの構成が簡単

externalDataSource コネクタの新しい オプションを使用すると、Azure Synapse データベースからの読み取りに、事前にプロビジョニングされた外部データ ソースを使用できます。 externalDataSource オプションを使用すると、以前に必要だった CONTROL アクセス許可が不要になります。

externalDataSource を設定すると、外部データ ソースと、一時ストレージの構成に使用される tempDir オプションは、ストレージ アカウント内の同じコンテナーを参照する必要があります。

必要に応じて、セッションを Amazon Redshift コネクタに対して指定された期間に制限する

fs.s3a.assumed.role.session.durationで新しい オプションを使用すると、Redshift が想定ロールで一時的な S3 バケットにアクセスしているときに、オプションでセッションの期間を設定できます。

自動ローダー

• 最適化されたファイルの一覧
• 最適化されたイメージ データ ストレージ
• バイナリ ファイルの画像サムネイル (パブリック プレビュー)
• DirectoryRename イベントにより、複数のファイルのアトミック処理が可能

最適化されたファイルの一覧

自動ローダーの最適化により、AWS S3、Azure Data Lake Storage (ADLS)、Google Cloud Storage (GCS) など、クラウド ストレージに入れ子になったディレクトリを一覧表示するときのパフォーマンスの向上とコスト削減が実現されます。

たとえば、ファイルが /some/path/YYYY/MM/DD/HH/fileNameとしてアップロードされている場合、これらのディレクトリ内のすべてのファイルを検索するために、Auto Loader はすべてのサブディレクトリの並列リストを実行するために使用され、365 (1 日あたり) * 24 (1 時間あたり) = 8760 LIST API ディレクトリ呼び出しが年ディレクトリごとに基になるストレージに対して行われます。 自動ローダーは、これらのストレージ システムからフラット化された応答を受け取ることで、ストレージ システム内のファイルの数に対する API 呼び出しの数を、各 API 呼び出しで返される結果の数 (S3 の場合は 1000、ADLS の場合は 5000、GCS の場合は 1024) で割ると、クラウド コストが大幅に削減されます。

最適化されたイメージ データ ストレージ

自動ローダーは、取り込み中の画像データを自動検出し、差分テーブルのストレージを最適化して読み取りおよび書き込みのパフォーマンスを向上させることができます。 「イメージまたはバイナリ データを Delta Lake for ML に取り込む」を参照してください。

バイナリ ファイルの画像サムネイル (パブリック プレビュー)

自動ローダーを使用して Delta テーブルとして読み込まれた、または保存された binaryFile 形式の画像に注釈がアタッチされ、Azure Databricks ノートブック内のテーブルを表示するときに、画像のサムネイルが表示されるようになります。 詳細については、「画像」を参照してください。

DirectoryRename イベントにより、複数のファイルのアトミック処理が可能

Azure Data Lake Storage 上の Databricks Runtime 9.0 以降で作成された自動ローダー ストリームは、ディレクトリの名前変更を含め、 RenameDirectory イベントをリッスンするようにファイル イベント通知を設定します。 ディレクトリ名の変更を使用すると、複数のファイルを自動ローダーにアトミックに表示できます。

SQL

• SELECT * 内の列を除外する (パブリック プレビュー)
• SQL スカラー関数 (パブリック プレビュー)
• サブクエリ内で先行する別名と列を参照する (パブリック プレビュー)FROM

SELECT * 内の列を除外する (パブリック プレビュー)

SELECT * で EXCEPT キーワードがサポートされるようになりました。これにより、指定したトップ レベルの列を展開から除外できます。 たとえば、スキーマ SELECT * EXCEPT (b) FROM tbl を持つテーブルから (a, b, c) が (a, c) に展開されます。

SQL スカラー関数 (パブリック プレビュー)

CREATE FUNCTION では、SQL スカラー関数がサポートされるようになりました。 一連の引数を受け取り、1 つのスカラー型の値を返すスカラー関数を作成できます。 SQL 関数の本文に任意の式を指定できます。 次に例を示します。

CREATE FUNCTION square(x DOUBLE) RETURNS DOUBLE RETURN x * x;
SELECT square(2);

詳細については、 CREATE FUNCTION (SQL と Python) に関するページを参照してください。

FROM サブクエリ内の先行する別名と列の参照 (パブリック プレビュー)

クエリの FROM 句のサブクエリの前に、LATERAL キーワードを使用して、前の FROM 項目の別名と列を参照できます。 次に例を示します。

SELECT * FROM t1, LATERAL (SELECT * FROM t2 WHERE t1.c1 = t2.c1)

LATERAL キーワードは、INNER、CROSS、LEFT (OUTER) JOIN をサポートします。

パラメーターとパラメーターを参照してください。

R のサポート

ノートブック スコープの R ライブラリ (パブリック プレビュー)

ノートブック単位のライブラリを使用すると、ライブラリをインストールし、ノートブックセッション専用の環境を作成できます。 これらのライブラリは、同じクラスターで実行されている他のノートブックには影響しません。 ライブラリはドライバー ノードとワーカー ノードの両方で使用できます。そのため、ユーザー定義関数でライブラリを参照できます。 「ノートブック スコープの R ライブラリ」をご覧ください。

R ノートブックの警告メッセージ

warn オプションの既定値は、R ノートブック内で 1 に設定されます。 その結果、すべての警告がコマンド結果の一部として公開されます。 オプションの詳細については、warn オプションとオプション設定に関する記事を参照してください。

構造化ストリーム ステートフル処理の初期状態を指定してやり直しを回避する

[flat]MapGroupsWithState 演算子を使用して、構造化ストリーム ステートフル処理に対するユーザー定義の初期状態を指定できるようになりました。

mapGroupsWithStateの初期状態の指定を参照してください。

Delta MERGE INTO コマンドの低シャッフル実装が利用可能になりました (パブリック プレビュー)

Delta MERGE INTO コマンドには、変更されていない行のシャッフルを減らす新しい実装が用意されています。 これによってコマンドのパフォーマンスが向上し、テーブルに対する既存のクラスタリング (Z オーダーなど) を保持するのに役立ちます。 低シャッフル マージを有効にするには、spark.databricks.delta.merge.enableLowShuffle を true に設定します。 「Azure Databricks での低シャッフル マージ」をご覧ください。

バグの修正

• 同じ名前のビューを作成することで、ビューを上書きすることがなくなりました。

ライブラリのアップグレード

• アップグレードされた Python ライブラリ:
  • certifi が 2021.5.30 から 2020.12.5 へ
  • chardet が 3.0.4 から 4.0.0 へ
  • Cython が 0.29.21 から 0.29.23 へ
  • デコレーターのバージョンが 4.4.2 から 5.0.6 へ
  • ipython が 7.19.0 から 7.22.0 へ
  • joblib が 0.17.0 から 1.0.1 へ
  • jupyter-client が 6.1.7 から 6.1.12 へ
  • jupyter-core が 4.6.3 から 4.7.1 へ
  • kiwisolver が 1.3.0 から 1.3.1 へ
  • matplotlib が 3.2.2 から 3.4.2 へ
  • pandas: 1.1.5 から 1.2.4 へ
  • pip: 20.2.4 から 21.0.1 へ
  • prompt-toolkit が 3.0.8 から 3.0.17 へ
  • protobuf が 3.17.3 から 3.17.2 へ
  • ptyprocess が 0.6.0 から 0.7.0 へ
  • pyarrow が 1.0.1 から 4.0.0 へ
  • Pygments がバージョン 2.7.2 から 2.8.1 へ
  • pyzmq が 19.0.2 から 20.0.0 へ
  • requests: 2.24.0 から 2.25.1 へ
  • s3transfer が 0.3.6 から 0.3.7 へ
  • scikit-learn が 0.23.2 から 0.24.1 へ
  • scipy: 1.5.2 から 1.6.2 へ
  • seaborn: 0.10.0 から 0.11.1 へ
  • setuptools が 50.3.1 から 52.0.0 へ
  • statsmodels が 0.12.0 から 0.12.2 へ
  • tornado が 6.0.4 から 6.1 へ
  • virtualenv が 20.2.1 から 20.4.1 へ
  • wheel: 0.35.1 から 0.36.2 へ
• アップグレードされた R ライブラリ:
  • マトリックスが 1.3-3 から 1.3-4 へ

Apache Spark

Databricks Runtime 9.0 には、Apache Spark 3.1.2 が含まれています。 このリリースには、Databricks Runtime 8.4 (EoS) に含まれている Spark の修正プログラムと改善すべてに加えて、Spark に対して行われた次のバグ修正と改善が含まれています。

• [SPARK-35886] [SQL][3.1] PromotePrecision は genCodePromotePrecision を上書きすべきでなく、genCode を上書きすべきでない
• [SPARK-35879] [CORE][shuffle] collectFetchRequests によるパフォーマンスの低下を修正する
• [SPARK-35817] [SQL][3.1] ワイド Avro テーブルに対するクエリのパフォーマンスを復元する
• [SPARK-35841] [SQL] 文字列を 10 進型にキャストしても機能しません。
• [SPARK-35783] [SQL] ORC データの読み取りを減らすために、タスク構成の読み取り列の一覧を設定する
• [SPARK-35576] [SQL][3.1] Set コマンドの結果で機密情報を編集する
• [SPARK-35449] [SQL][3.1] elseValue が設定されている場合にのみ、CaseWhen 値から共通の式を抽出する
• [SPARK-35288] [SQL] StaticInvoke は、厳密な引数クラスの一致なしでメソッドを見つける必要がある
• [SPARK-34794] [SQL] 入れ子になった DataFrame 関数でのラムダ変数名の問題を修正する
• [SPARK-35278] [SQL] Invoke 正しい数のパラメーターでメソッドを見つける必要がある
• [SPARK-35226] [SQL] JDBC データソースでの refreshKrb5Config オプションのサポート
• [SPARK-35244] [SQL] Invoke は元の例外をスローする必要がある
• [SPARK-35213] [SQL] チェーン化された withField 演算で、入れ子になった構造体の正しい順序を保持する
• [SPARK-35087] [UI] ステージ詳細ページの実行プログラムによるテーブル集計メトリックの一部の列が誤って表示されます。
• [SPARK-35168] [SQL] mapred.reduce.tasks が、adaptive.coalescePartitions.initialPartitionNum でなく shuffle.partitions である必要がある
• [SPARK-35127] [UI] 異なるステージ詳細ページを切り替えると、新しく開かれたページのエントリ項目が空白になる場合がある
• [SPARK-35142] [PYTHON][ml] の rawPredictionUDF の正しくない戻り値の型が修正されました OneVsRestModel
• [SPARK-35096] [SQL] SchemaPruning は spark.sql.caseSensitive config に従う必要がある
• [SPARK-34639] [SQL][3.1] RelationalGroupedDataset.alias は UnresolvedAlias を作成するべきではない
• [SPARK-35080] [SQL] サブクエリを集計するときにのみ相関等値述語のサブセットを許可する
• [SPARK-35117] [UI] 進行中のタスクの比率を強調表示するために進行状況バーを元に戻す
• [SPARK-35136] LiveStage.info の初期 null 値を削除する
• [SPARK-34834] [NETWORK] TransportResponseHandler の潜在的な Netty メモリ リークを修正する
• [SPARK-35045] [SQL] univocity 内で入力バッファーを制御するための内部オプションを追加する
• [SPARK-35014] フォールド可能な式を再書き込みしないように PhysicalAggregation パターンを修正する
• [SPARK-35019] [PYTHON][sql] pyspark.sqlでの型ヒントの不一致を修正しました。*
• [SPARK-34926] [SQL][3.1] PartitioningUtils.getPathFragment() はパーティション値が null であることを尊重する必要がある
• [SPARK-34630] [PYTHON] pyspark.version の typehint を追加する
• [SPARK-34963] [SQL] 構造体の配列から大文字小文字を区別しない構造体フィールドを抽出するために、入れ子の列の剪定を修正する
• [SPARK-34988] [CORE][3.1] CVE-2021-28165 に対応するために Jetty をアップグレードする
• [SPARK-34922] [SQL][3.1] CBO で相対コスト比較関数を使用する
• [SPARK-34970] [SQL][security][3.1] explain() の出力で map 型のオプションを編集する
• [SPARK-34923] [SQL] より多くのプランでメタデータの出力を空にする必要がある
• [SPARK-34949] [CORE] 実行プログラムのシャットダウン時に BlockManager が再登録されないようにする
• [SPARK-34939] [CORE] 配信されるマップの状態を逆シリアル化できない場合に、フェッチ エラーの例外をスローする
• [SPARK-34909] [SQL] conv() での負の符号なしへの変換を修正する
• [SPARK-34845] [CORE] ProcfsMetricsGetter は部分的な procfs メトリックを返すべきではありません
• [SPARK-34814] [SQL] LikeSimplification は NULL を処理する必要がある
• [SPARK-34876] [SQL] null を許容しない集計の既定値を設定する
• [SPARK-34829] [SQL] 高階関数の結果を修正する
• [SPARK-34840] [SHUFFLE] マージされたシャッフルの破損のケースを修正する ...
• [SPARK-34833] [SQL] 相関サブクエリ用に右側の埋め込みを正しく適用する
• [SPARK-34630] [PYTHON][sql] pyspark.sql.Column.contains の typehint を追加しました
• [SPARK-34763] [SQL] col(), $”name” と df(“name”) は引用符で囲まれた列名を正しく処理する必要がある
• [SPARK-33482][SPARK-34756] [SQL] FileScan 等式チェックを修正する
• [SPARK-34790] [CORE] io 暗号化が有効になっている場合、バッチ内のシャッフル ブロックのフェッチを無効にする
• [SPARK-34803] [PYSPARK] pandas または pyarrow がインポートに失敗した場合に発生する ImportError を渡す
• [SPARK-34225] [CORE] URI フォーム文字列が addFile または addJar に渡されるときに、それ以上エンコードしない
• [SPARK-34811] [CORE] シークレットやトークンなどの fs.s3a.access.key を編集する
• [SPARK-34796] [SQL][3.1] doProduce() の LIMIT code-gen のカウンター変数を初期化する
• [SPARK-34128] [SQL] THRIFT-4805 に関与する望ましくない TTransportException 警告を抑制する
• [SPARK-34776] [SQL] 入れ子になった列の排除で、ウィンドウで生成された属性を排除するべきではない
• [SPARK-34087] [3.1][sql] ExecutionListenerBus のメモリ リークを修正する
• [SPARK-34772] [SQL] RebaseDateTime loadRebaseRecords は、コンテキストではなく Spark クラスローダーを使用する必要がある
• [SPARK-34719] [SQL][3.1] 列名が重複したビュー クエリを正しく解決する
• [SPARK-34766] [SQL][3.1] ビューの maven 構成をキャプチャしない
• [SPARK-34731] [CORE] EventLoggingListener でのプロパティの編集時に ConcurrentModificationException を回避する
• [SPARK-34737] [SQL][3.1] TIMESTAMP_SECONDS の入力 float を double にキャストする
• [SPARK-34749] [SQL][3.1] ResolveCreateNamedStruct の簡略化
• [SPARK-34768] [SQL] Univocity の既定の入力バッファー サイズを尊重する
• [SPARK-34770] [SQL] データベースが存在しない場合、InMemoryCatalog.tableExists は失敗しない
• [SPARK-34504] [SQL] DDL コマンドの SQL 一時ビューが不必要に解決されるのを回避する
• [SPARK-34727] [SQL] float から timestamp へのキャストで不一致を修正する
• [SPARK-34723] [SQL] 全体ステージでの部分式の削除に対するパラメーターの型を修正する
• [SPARK-34724] [SQL] getMethod を getDeclaredMethod の代わりに使用して解釈された評価を修正する
• [SPARK-34713] [SQL] ExtractValue 使用した CreateStruct によりグループを修正する
• [SPARK-34697] [SQL] || に関する DESCRIBE FUNCTION と SHOW FUNCTIONS の説明を許可する(文字列連結演算子)
• [SPARK-34682] [SQL] PrivateMethodTester をリフレクションの代わりに使用する
• [SPARK-34682] [SQL] CustomShuffleReaderExec の正規化エラー チェックの回帰を修正する
• [SPARK-34681] [SQL] 不等号条件で左側を構築するときの完全外部シャッフル ハッシュ結合のバグを修正する
• [SPARK-34545] [SQL] pyrolite の valueCompare 機能の問題を修正する
• [SPARK-34607] [SQL][3.1] Utils.isMemberClass を追加して jdk8u での形式に誤りがあるクラス名エラーを修正する
• [SPARK-34596] [SQL] Utils.getSimpleName を使用して NewInstance.doGenCode で形式に誤りがあるクラス名をヒットするのを回避する
• [SPARK-34613] [SQL] 修正ビューでヒント構成の無効化がキャプチャされない
• [SPARK-32924] [WEBUI] 正しい順序で並べ替えられたマスター UI 内の期間列を作成する
• [SPARK-34482] [SS] StreamExecution.logicalPlan のアクティブな SparkSession を修正する
• [SPARK-34567] [SQL] CreateTableAsSelect もメトリックを更新する必要がある
• [SPARK-34599] [SQL] INTO OVERWRITE で DSv2 のドットを含むパーティション列がサポートされない問題を修正しました
• [SPARK-34577] [SQL] DESCRIBE NAMESPACE のデータセットへの列のドロップまたは追加を修正する
• [SPARK-34584] [SQL] 静的パーティションも v2 テーブルに挿入するときに StoreAssignmentPolicy に従う必要がある
• [SPARK-34555] [SQL] DataFrame からのメタデータ出力の解決
• [SPARK-34534] FetchShuffleBlocks を使用してブロックをフェッチするときの blockIds の順序を修正
• [SPARK-34547] [SQL] 解決にメタデータ列のみを最終手段として使用する
• [SPARK-34417] [SQL] org.apache.spark.sql.DataFrameNaFunctions.fillMap がドットを持つ列名に対して失敗する
• [SPARK-34561] [SQL] v2 DESCRIBE TABLE のデータセットとの間の列のドロップまたは追加を修正する
• [SPARK-34556] [SQL] 重複する静的パーティション列のチェックで大文字と小文字が区別される必要がある
• [SPARK-34392] [SQL] DateTimeUtils で ZoneOffset +h:mm をサポート。 getZoneId (ゾーンIDを取得する)
• [SPARK-34550] [SQL] Hive メタストアにフィルターをプッシュしている間、InSet null 値をスキップする
• [SPARK-34543][SQL] v1 spark.sql.caseSensitiveでパーティション仕様を解決する際に SET LOCATION 構成を尊重する
• [SPARK-34436] [SQL] DPP が LIKE ANY/ALL 式をサポートする
• [SPARK-34531] [CORE] PrometheusServlet で試験的な API タグを削除する
• [SPARK-34497] [SQL] 組み込みの JDBC 接続プロバイダーを修正して JVM セキュリティ コンテキストの変更を復元する
• [SPARK-34515] [SQL] getPartitionsByFilter 中に InSet に null 値が含まれている場合に NPE を修正する
• [SPARK-34490] [SQL] ビューがドロップされたテーブルを参照している場合、分析は失敗する
• [SPARK-34473] [SQL] DataFrameReader.schema(StructType) での NPE の回避
• [SPARK-34384] [CORE] ResourceProfile API の不足しているドキュメントを追加する
• [SPARK-34373] [SQL] HiveThriftServer2 startWithContext が、競争上の問題でハングする可能性がある
• [SPARK-20977] [CORE] CollectionAccumulator の状態に非最終フィールドを使用する
• [SPARK-34421] [SQL] CTEを含むビュー内で一時関数とビューを解決する
• [SPARK-34431] [CORE] hive-site.xml を 1 回だけ読み込む
• [SPARK-34405] [CORE] PrometheusServlet クラスの timersLabels の平均値を修正
• [SPARK-33438] [SQL] set -v コマンドに対して定義された SQL Confs を使用する積極的 init オブジェクト
• [SPARK-34158] pom.xml 内の唯一の開発者 Matei の誤った url
• [SPARK-34346] [CORE][sql][3.1] spark.buffer.size によって設定された io.file.buffer.size が誤った hive-site.xml の読み込みでオーバーライドされると、perf 回帰を引き起こす可能性がある
• [SPARK-34359] [SQL][3.1] の出力スキーマを復元するレガシ構成を追加する SHOW DATABASES
• [SPARK-34331] [SQL] DS v2 メタデータカラムの解決の高速化
• [SPARK-34318] [SQL][3.1] Dataset.colRegex は改行を含む列名と修飾子を操作できる必要がある
• [SPARK-34326] [CORE][sql] 一時パスの長さに応じて SPARK-31793 で追加された UD を修正する
• [SPARK-34319] [SQL] FlatMapCoGroupsInPandas/MapInPandas の重複属性を解決する
• [SPARK-34310] [CORE][sql] map と flatten を flatMap に置き換えます
• [SPARK-34083] [SQL][3.1] TPCDS の元の定義を char/varchar 列に対して使用する
• [SPARK-34233] [SQL][3.1] バイナリ比較における文字パディングのNPEを修正
• [SPARK-34270] [SS] StateStoreMetrics を結合して StateStoreCustomMetric をオーバーライドすべきでない
• [SPARK-34144] [SQL] LocalDate の値と Instant の値を JDBC 関係に書き込もうとするときにスローされる例外
• [SPARK-34273] [CORE] SparkContext の停止時に BlockManager を再登録しない
• [SPARK-34262] [SQL][3.1] ALTER TABLE .. SET LOCATION 内の v1 テーブルのキャッシュされたデータを更新する
• [SPARK-34275] [CORE][sql][MLLIB] フィルターとサイズを count に置き換えます
• [SPARK-34260] [SQL] 一時ビューを 2 回作成するときの UnresolvedException を修正
• [SPARK-33867] [SQL] SQL クエリの生成時に Instant 値と LocalDate 値が処理されない
• [SPARK-34193] [CORE] TorrentBroadcast ブロック マネージャーの使用停止レースの修正
• [SPARK-34221] [WEBUI] UI ページでステージが失敗した場合の対応するエラー メッセージが正しく表示されることを保証する
• [SPARK-34236] [SQL] nullを含む 静的パーティションが "式をソース フィルター: null に変換できない" を生成する v2 の上書きの修正
• [SPARK-34212] [SQL] Parquet ファイルからの不適切な 10 進読み取りを修正
• [SPARK-34244] [SQL] regexp_extract_all の Scala 関数バージョンを削除する
• [SPARK-34235] [SS] spark.sql.hive をプライベート パッケージにする
• [SPARK-34232] [CORE]ログ内の SparkListenerEnvironmentUpdate イベントを編集する
• [SPARK-34229] [SQL] Avro はファイル スキーマを使用して 10 進値を読み取る必要がある
• [SPARK-34223] [SQL] InsertIntoHadoopFsRelationCommand 内の null 値を持つ静的パーティションの NPE を修正する
• [SPARK-34192] [SQL] char パディングを書き込み側に移動し、読み取り側でも長さのチェックを削除する
• [SPARK-34203] [SQL] null パーティション値を __HIVE_DEFAULT_PARTITION__ に v1 In-Memory カタログで変換する
• [SPARK-33726] [SQL] 集計中に重複したフィールド名を修正する
• [SPARK-34133] [AVRO] Catalyst-to-Avro フィールド照合の実行時にケースセンシティビティを考慮する
• [SPARK-34187] [SS] オフセット検証のチェック時にポーリング中に取得した使用可能なオフセット範囲を使用する
• [SPARK-34052] [SQL][3.1] で作成された一時ビューのSQLテキストを保存します。 AS SELECT ..."
• [SPARK-34213] [SQL] LOAD DATA 内の v1 テーブルのキャッシュされたデータを更新する
• [SPARK-34191] [PYTHON][sql] udf オーバーロードの型指定を追加する
• [SPARK-34200] [SQL] あいまいな列参照で属性の可用性を考慮する必要がある
• [SPARK-33813] [SQL][3.1] JDBC ソースが MS SQL Server の空間型を処理できないという問題を修正する
• [SPARK-34178] [SQL] MultiInstanceRelation.newInstance によって作成された新しいノードのタグをコピーする
• [SPARK-34005] [CORE][3.1] タスク エンドでの Executor ごとにピーク メモリ メトリックを更新する
• [SPARK-34115] [CORE] 速度低下を回避するために SPARK_TESTING を lazy val としてチェックする
• [SPARK-34153] [SQL][3.1][3.0] 使用されていない getRawTable() を HiveExternalCatalog.alterPartitions() から削除する
• [SPARK-34130] [SQL] StaticInvoke を使用して char varchar のパディングと長さチェックのパフォーマンスを向上させる
• [SPARK-34027] [SQL][3.1] ALTER TABLE .. RECOVER PARTITIONS のキャッシュを更新する
• [SPARK-34151] [SQL] java.io.File.toURL を java.io.File.toURI.toURL に置き換える
• [SPARK-34140] [SQL][3.1] QueryCompilationErrors.scala を org/apache/spark/sql/errors に移動する
• [SPARK-34080] [ML][python] UnivariateFeatureSelector の追加
• [SPARK-33790] [CORE][3.1] getFileStatus の SingleFileEventLogFileReader での rpc 呼び出しを減らす
• [SPARK-34118] [CORE][sql][3.1] フィルターと空チェックを exists または forall に置き換えます。
• [SPARK-34114] [SQL] 読み取り側の char の長さチェックとパディングに対し右側にトリミングしないようにする必要がある
• [SPARK-34086] [SQL][3.1] RaiseError が生成するコードが多すぎ、char varchar の長さチェックでの codegen が失敗する可能性がある
• [SPARK-34075] [SQL][core] パーティション推論用に非表示のディレクトリが一覧表示されている
• [SPARK-34076] [SQL] キャッシュが空でない場合に SQLContext.dropTempTable が失敗する
• [SPARK-34084] [SQL][3.1] ALTER TABLE .. ADD PARTITION のテーブル統計の自動更新を修正する
• [SPARK-34090] [SS] KafkaTokenUtil.needTokenUpdate で使用される HadoopDelegationTokenManager.isServiceEnabled の結果をキャッシュする
• [SPARK-34069] [CORE] キル バリア タスクは SPARK_JOB_INTERRUPT_ON_CANCEL を尊重する必要がある
• [SPARK-34091] [SQL] シャッフル バッチ フェッチを有効にした後で無効にできる必要がある
• [SPARK-34059] [SQL][core][3.1] map でなく for/foreach を使用して積極的に実行されることを確認する
• [SPARK-34002] [SQL] ScalaUDF でのエンコーダーの使用を修正する
• [SPARK-34060] [SQL][3.1] ALTER TABLE .. DROP PARTITION による統計の更新中の Hive テーブルのキャッシュを修正する
• [SPARK-31952] [SQL] 集計の実行時の誤ったメモリ スピル メトリックを修正する
• [SPARK-33591] [SQL][3.1] パーティション仕様値の null を認識する
• [SPARK-34055] [SQL][3.1] ALTER TABLE .. ADD PARTITION のキャッシュを更新する
• [SPARK-34039] [SQL][3.1] ReplaceTable はキャッシュを無効にする必要がある
• [SPARK-34003] [SQL] PaddingAndLengthCheckForCharVarchar と ResolveAggregateFunctions の間の規則の競合を修正する
• [SPARK-33938] [SQL][3.1] Like Any/All を LikeSimplification によって最適化する
• [SPARK-34021] [R] CRAN 申請に関する SparkR ドキュメントのハイパー リンクを修正する
• [SPARK-34011] [SQL][3.1][3.0] ALTER TABLE .. RENAME TO PARTITION のキャッシュを更新する
• [SPARK-33948] [SQL] Scala 2.13 での MapObjects.doGenCode メソッドの CodeGen エラーを修正する
• [SPARK-33635] [SS] KafkaTokenUtil.needTokenUpdate でのチェックの順序を調整して、パフォーマンス回帰を修正
• [SPARK-33029] [CORE][webui] UI Executor ページでドライバーが除外済みとして正しくマークされない問題を修正する
• [SPARK-34015] [R] gapply での入力タイミングの修正
• [SPARK-34012] [SQL] 構成 spark.sql.legacy.parser.havingWithoutGroupByAsWhere が true の場合に、移行ガイドと一致するように動作を維持する
• [SPARK-33844] [SQL][3.1] InsertIntoHiveDir コマンドでも col 名を確認する必要がある
• [SPARK-33935] [SQL] CBO cost 関数の修正
• [SPARK-33100] [SQL] spark-sql の角かっこで囲まれたコメント内のセミコロンを無視する
• [SPARK-34000] [CORE] stageAttemptToNumSpeculativeTasks で発生する java.util.NoSuchElementException を修正
• [SPARK-33992] [SQL] transformUpWithNewOutput が allowInvokingTransformsInAnalyzer を追加するようにオーバーライドする
• [SPARK-33894] [SQL] Scala 2.13 でのランタイム コンパイル エラーを回避するために mllib 内のプライベート ケース クラスの可視性を変更する
• [SPARK-33950] [SQL][3.1][3.0] v1 ALTER TABLE .. DROP PARTITION 内のキャッシュを更新する
• [SPARK-33980] [SS] spark.readStream.schema での char/varchar の無効化
• [SPARK-33945] [SQL][3.1] expr ツリーで構成されるランダム シードを処理する
• [SPARK-33398] Spark 3.0 より前のツリー モデルの読み込みを修正
• [SPARK-33963] [SQL] HiveTableRelation をテーブル統計なしで正規化する
• [SPARK-33906] [WEBUI] 未定義の peakMemoryMetrics による UI Executor ページのスタックのバグを修正する
• [SPARK-33944] [SQL] SharedState オプション内のウェアハウス キーのログ記録が正しくない
• [SPARK-33936] [SQL][3.1] コネクタのインターフェイスが追加されたときにバージョンを追加する
• [SPARK-33916] [CORE] フォールバック ストレージ オフセットを修正し、圧縮コーデックのテストの対象範囲を向上する
• [SPARK-33899] [SQL][3.1] v1 SHOW TABLES/VIEWS でのアサートエラーを修正する spark_catalog
• [SPARK-33901] [SQL] DDL 後の Char と Varchar の表示エラーを修正する
• [SPARK-33897] [SQL] join メソッドでオプション 'cross' を設定できません
• [SPARK-33907] [SQL][3.1] 解析オプションが空の場合、JsonToStructs の列のみを削除する
• [SPARK-33621][SPARK-33784] [SQL][3.1] データ ソースの再書き込み規則を挿入する方法を追加する
• [SPARK-33900] [WEBUI] remotebytesread のみが使用可能な場合にシャッフル読み取りサイズまたはレコードを正しく表示
• [SPARK-33892] [SQL] DESC および SHOW CREATE TABLE で char/varchar を表示
• [SPARK-33895] [SQL] MetaOperation of ThriftServer での Char と Varchar の失敗
• [SPARK-33659] [SS] DataStreamWriter.toTable API の現在の動作を文書化する
• [SPARK-33893] [CORE] executorList からフォールバック ブロック マネージャーを除外する
• [SPARK-33277] [PYSPARK][sql] ContextAwareIterator を使用してタスクの終了後に使用を停止する
• [SPARK-33889] [SQL][3.1] V2 テーブルで SHOW PARTITIONS からの NPE を修正する
• [SPARK-33879] [SQL] Char Varchar 値がパーティション列として一致エラーで失敗する
• [SPARK-33877] [SQL] 列リストを含む INSERT の SQL リファレンス ドキュメント
• [SPARK-33876] [SQL] 外部の場所を持つテーブルから char/varchar を読み取る長さチェックを追加する
• [SPARK-33846] [SQL] StructType.toDDL 内の入れ子になったスキーマのコメントを含める
• [SPARK-33860] [SQL] CatalystTypeConverters.convertToCatalyst を特殊な配列値と照合する
• [SPARK-33834] [SQL] Char と Varchar で ALTER TABLE 変更 COLUMN を確認する
• [SPARK-33853] [SQL] EXPLAIN CODEGEN と BenchmarkQueryTest にサブクエリ コードが表示されない
• [SPARK-33836] [SS][python] DataStreamReader.table と DataStreamWriter.toTable を公開する
• [SPARK-33829] [SQL][3.1] v2 テーブルの名前を変更するとキャッシュが再作成される必要がある
• [SPARK-33756] [SQL] BytesToBytesMap の MapIterator をべき等性にする
• [SPARK-33850] [SQL] FORMATTED では、AQE が有効になっている場合、サブクエリのプランは表示されません
• [SPARK-33841] [CORE][3.1] 高負荷の状態で SHS からジョブが断続的に消える問題を修正
• [SPARK-33593][SQL] ベクター リーダーに、バイナリ パーティション値を含む正しくないデータが返される
• [SPARK-26341] [WEBUI] ステージ レベルの実行プログラムのメモリ メトリックの [ステージ] タブでの公開
• [SPARK-33831] [UI] jetty 9.4.34 への更新
• [SPARK-33822] [SQL] HashJoin で CastSupport.cast メソッドを使用する
• [SPARK-33774] [UI][core] Back to Master" がスタンドアロン クラスターで 500 エラーを返す
• [SPARK-26199][SPARK-31517] [R] … の処理のための戦略を修正する mutate の名前
• [SPARK-33819] [CORE][3.1] SingleFileEventLogFileReader および RollingEventLogFilesFileReader を package private にする必要がある
• [SPARK-33697] [SQL] RemoveRedundantProjects は既定で列の順序付けを要求する必要がある
• [SPARK-33752] [SQL][3.1] AnalysisException の getSimpleMessage がセミコロンを繰り返し追加しないようにする
• [SPARK-33788] [SQL][3.1][3.0][2.4] NoSuchPartitionsException が HiveExternalCatalog.dropPartitions() からスローされる
• [SPARK-33803] [SQL] DESCRIBE TABLE コマンドでキーでテーブルのプロパティを並べ替える
• [SPARK-33786] [SQL] テーブル名を変更する場合は、キャッシュのストレージ レベルを尊重する必要がある
• [SPARK-33273] [SQL] サブクエリの実行での競争状態を修正する
• [SPARK-33653] [SQL][3.1] DSv2: テーブル自体 REFRESHREFRESH TABLE 再キャッシュする必要がある
• [SPARK-33777] [SQL] V2 の出力を並べ替え SHOW PARTITIONS
• [SPARK-33733] [SQL] PullOutNondeterministic は、確定的なフィールドを確認して収集する必要がある
• [SPARK-33764] [SS] 状態ストアのメンテナンス間隔を SQL 構成として作成する
• [SPARK-33729] [SQL] キャッシュを更新するときに、Spark はデータの再キャッシュ時にキャッシュされたプランを使用すべきでない
• [SPARK-33742] [SQL][3.1] HiveExternalCatalog.createPartitions() から PartitionsAlreadyExistException がスローされる
• [SPARK-33706] [SQL] partitionExists() 内に完全に指定されたパーティション識別子が必要
• [SPARK-33740] [SQL] hive-site.xml の hadoop 構成によって既存の hadoop 構成がオーバーライドされる可能性がある
• [SPARK-33692] [SQL] ビューでは、キャプチャされたカタログと名前空間を使用して関数を参照する必要がある
• [SPARK-33669] yarn クライアント モードで sc.stop を行ったときの YARN アプリケーション状態モニターからの間違ったエラー メッセージ
• [SPARK-32110] [SQL] HyperLogLog++ で特別な浮動数を正規化する
• [SPARK-33677] [SQL] パターンに escapeChar が含まれている場合は、LikeSimplification ルールをスキップ
• [SPARK-33693] [SQL] spark.sql.hive.convertCTAS の非推奨
• [SPARK-33641] [SQL] 誤った結果を生成する新しい char/varchar 型をパブリック API で無効にする
• [SPARK-32680] [SQL] 未解決のクエリで V2 CTAS を前処理しない
• [SPARK-33676] [SQL] V2 ALTER TABLE .. ADD/DROP PARTITION 内のスキーマに対するパーティション仕様の正確な一致が必要
• [SPARK-33670] [SQL] v1 でパーティション プロバイダーが Hive であることを確認する SHOW TABLE EXTENDED
• [SPARK-33663] [SQL] キャッシュ解除が、存在しない一時ビューで呼び出されるべきでない
• [SPARK-33667][SQL] v1 spark.sql.caseSensitive でパーティション仕様を解決する際に SHOW PARTITIONS 構成を尊重する
• [SPARK-33652] [SQL] DSv2: DeleteFrom はキャッシュを更新する必要がある

メンテナンスの更新

「Databricks Runtime 9.0 メンテナンス更新プログラム」を参照してください。

システム環境

• オペレーティング システム: Ubuntu 20.04.2 LTS
• Java: Zulu 8.54.0.21-CA-linux64
• Scala: 2.12.10
• Python: 3.8.10
• R: 4.1.0 (2021-05-18)
• Delta Lake 1.0.0

インストールされている Python ライブラリ

インストールされている R ライブラリ

R ライブラリは、2021 年 7 月 28 日の Microsoft CRAN スナップショットからインストールされています。

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)