Delta Lake テーブル機能を削除し、テーブル プロトコルをダウングレードする

この記事では、Delta Lake テーブルの機能を削除し、プロトコル バージョンをダウングレードする方法について説明します。

この機能は、Databricks Runtime 16.3 以降で使用できます。 すべての Delta テーブルフィーチャを削除できるわけではありません。 削除できる Delta テーブルの機能を参照してください。

以前のバージョンの Databricks Runtime、Delta Sharing、または外部の Delta Lake リーダーまたはライター クライアントとの互換性をサポートするには、 DROP FEATURE のみを使用する必要があります。

Delta Lake 機能を削除する

テーブル機能を削除するには、次の構文を使用します。

ALTER TABLE <table-name> DROP FEATURE <feature-name>

Databricks Runtime 16.3 以降を使用し、ターゲット Delta テーブルに対する MODIFY 特権を持っている必要があります。 各 DROP FEATURE コマンドで削除できるテーブル機能は 1 つだけです。

詳細については、ALTER TABLEを参照してください。

テーブル機能が削除されるとどうなりますか?

テーブル機能を削除すると、Delta Lake によってテーブルへの変更がアトミックにコミットされ、次の処理が実行されます。

• テーブル機能を使用するテーブル プロパティを無効にします。
• 現在のバージョンのテーブルをバックアップしているデータ ファイルからテーブル機能のすべてのトレースを削除するには、必要に応じてデータ ファイルを書き換えます。
• リーダー クライアントがテーブル履歴を正しく解釈できるようにする、保護されたチェックポイントのセットを作成します。
• テーブル プロトコルにライター テーブル機能 checkpointProtection を追加します。
• テーブル プロトコルを、残りのすべてのテーブル機能をサポートする最小のリーダーおよびライター バージョンにダウングレードします。 可能 な限り低いプロトコルを参照してください。

checkpointProtection テーブル機能とは

機能を削除すると、Delta Lake は、プロトコルのダウングレードを考慮して、テーブルの履歴のデータとメタデータを保護されたチェックポイントとして書き換えます。 ダウングレード後は、より多くのリーダー クライアントがテーブルを常に読み取り可能にする必要があります。 これは、テーブルのプロトコルに、削除された機能のサポートがテーブルを読み取るために必要なくなったことが反映されるためです。 保護されたチェックポイントと checkpointProtection 機能により、次の処理が実行されます。

• 削除されたテーブル機能を理解しているリーダー クライアントは、使用可能なすべてのテーブル履歴にアクセスできます。
• 削除されたテーブル機能をサポートしていないリーダー クライアントは、プロトコルのダウングレード バージョンから始まるテーブル履歴を読み取るだけで済みます。
• ライター クライアントは、プロトコルのダウングレード前にチェックポイントを書き換えません。
• テーブルのメンテナンス操作では、プロトコルのダウングレード チェックポイントを保護済みとしてマークする、 checkpointProtectionによって設定された要件が考慮されます。

各 DROP FEATURE コマンドで削除できるテーブル 機能は 1 つだけですが、テーブルの履歴に複数の保護されたチェックポイントと削除された機能を含めることができます。

Databricks ランタイムのすべてのバージョンでは、 checkpointProtection テーブル機能がサポートされています。つまり、このテーブル機能では、Azure Databricks での読み取りまたは書き込みがブロックされません。

テーブル機能 checkpointProtection は、OSS Delta Lake クライアントからの読み取り専用アクセスをブロックしないでください。 テーブルを完全にダウングレードし、 checkpointProtection テーブル機能を削除するには、 TRUNCATE HISTORYを使用する必要があります。 Databricks では、 checkpointProtectionをサポートしていない外部 Delta クライアントを含むテーブルに書き込む必要がある場合にのみ、このパターンを使用することをお勧めします。 レガシ クライアントのテーブル プロトコルを完全にダウングレードするを参照してください。

削除可能な Delta テーブルの機能は何ですか？

次の Delta テーブル機能を削除できます。

• checkConstraints= Azure Databricks の制約を参照してください。
• collations-preview= 「Delta Lake での照合順序のサポート」を参照してください。
• columnMapping= 「Delta Lake 列マッピングを使用して列の名前を変更および削除する」を参照してください。
• deletionVectors= 「削除ベクトルとは」を参照してください。
• typeWidening= 「タイプ拡張」を参照してください。
• v2Checkpoint= 「リキッド クラスタリングを使用したテーブルの互換性」を参照してください。
• checkpointProtection= checkpointProtection テーブルの機能を参照してください。

他の デルタ テーブル機能を削除することはできません。

レガシ クライアントのテーブル プロトコルを完全にダウングレードする

外部 Delta Lake クライアントとの統合で、 checkpointProtection テーブル機能をサポートしていない書き込みが必要な場合は、 TRUNCATE HISTORY を使用して、無効になっているテーブル機能のすべてのトレースを完全に削除し、テーブル プロトコルを完全にダウングレードする必要があります。

Databricks では、DROP FEATUREに進む前に、TRUNCATE HISTORYの既定の動作をテストすることをお勧めします。 TRUNCATE HISTORYを実行すると、24 時間を超えるすべてのテーブル履歴が削除されます。

テーブルの完全なダウングレードは、少なくとも 24 時間間隔で実行する必要がある 2 つの手順で行われます。

手順 1: テーブル機能を削除する準備をする

第 1 段階では、ユーザーはテーブル機能を削除する準備をします。 この段階で起こることを次に説明します。

1. ALTER TABLE <table-name> DROP FEATURE <feature-name> TRUNCATE HISTORY コマンドを実行します。
2. テーブル機能を明示的に有効にするテーブル プロパティには、機能を無効にするための値が設定されています。
3. 削除された機能に関連付けられた動作を制御するテーブル プロパティには、機能が導入される前に既定値に設定されたオプションがあります。
4. 必要に応じて、更新されたテーブル プロパティを適用してデータ ファイルとメタデータ ファイルが書き換えられます。
5. コマンドの実行が完了し、機能の削除を続けるには 24 時間待機する必要があることをユーザーに通知するエラー メッセージが返されます。

最初に機能を無効にした後は、プロトコルのダウングレードを完了する前にターゲット テーブルへの書き込みを続行できますが、削除するテーブル機能は使用できません。

手順 2: プロトコルをダウングレードしてテーブル機能を削除する

機能に関連付けられているすべてのトランザクション履歴を完全に削除し、プロトコルをダウングレードするには:

1. 少なくとも 24 時間が経過したら、 ALTER TABLE <table-name> DROP FEATURE <feature-name> TRUNCATE HISTORY コマンドを実行します。
2. クライアントは、指定された保持しきい値に含まれるトランザクションでテーブル機能が使用されていないことを確認し、テーブル履歴をそのしきい値に切り捨てます。
3. テーブル機能は、プロトコルのダウングレード中に削除されます。
4. テーブルに存在するテーブルの特徴を下位のプロトコル バージョンで表すことができる場合、テーブルの minReaderVersion と minWriterVersion は、Delta テーブルで使用されている残りの機能をサポートする最小バージョンにダウングレードされます。

Delta Lake の機能の互換性とプロトコルに関する記事を参照してください。