レイクハウスをアップグレード：Unity Catalog管理テーブルへの移行ガイド

新しい SET MANAGED コマンドは、 変換 のためのシームレスなメカニズムを提供します。 UC 外部 テーブルを UC マネージド テーブルに変換する際に、ダウンタイムを最小限に抑え、同時書き込みに対応し、テーブル設定を維持し、可能な場合はテーブル履歴を保持します。この記事では、この一般提供 (GA) コマンドを使用するためのベストプラクティスとステップバイステップガイドを紹介します。

UCマネージドテーブルに変換する理由

Unity Catalogを信頼できる情報源とすることで、マネージドテーブルは独自の機能を利用できるようになり、パフォーマンス、ガバナンス、使いやすさが向上します。ベンダーロックインの心配もありません。

主な利点は次のとおりです。

• クエリのパフォーマンスを最大 20 倍に向上させ、ストレージコストを 50% 以上削減できる自動最適化（詳細はこちら）。
• 合理化されたデータ管理: 削除されたデータの自動クリーンアップでコストを削減し、undropもサポート
• ガバナンスの強化: データリネージ、きめ細かなアクセス制御、Unity Catalogによるすべての読み取り/書き込みの監視により、よりセキュアなテーブルアクセスを実現
• 自動行削除 (Auto-TTL) や 行レベルでの取り込み (Zerobus ingest、プライベートプレビュー中) といった、 将来の機能の基盤 となります。

変換されたテーブルは、あらゆるサードパーティのクライアントからの読み取りをサポートしています (詳細については、こちらをご覧ください)。

SET MANAGED 変換コマンドはどのように役立ちますか？ 

SET MANAGEDコマンドを使用すると、外部テーブルからマネージドテーブルへの変換が簡単になります。

外部テーブルからマネージドテーブルに変換する方法

変換のための実践ステップバイステップガイド

SET MANAGEDコマンドを使用すると、テーブルの変換が簡単になります。外部テーブルからマネージドテーブルへスムーズに移行できるよう、ステップバイステップ ガイドで重要なポイントをまとめました。  

ステップ1：変換する外部テーブルを選択する

まず、いくつかのUnity Catalog外部テーブルを選んでUCマネージドに変換することから始め、チームがプロセスや前提条件、変換後の手順に慣れるようにしてください。

たとえば、Databricksクライアントからのみ読み書きされるいくつかのテーブルで、まずこのコマンドを試してみることができます (段階的な移行の計画を参照)。

ステップ 2: 事前チェックリスト

テーブルのリーダーとライターのエコシステムが 変更に対応できる状態 であることを確認してください。選択した各 UC 外部テーブルとそれに関連するワークロードについて、次のことを行う必要があります。

1. 名前ベースのアクセスを使用するように更新:ジョブ、ノートブック、クエリをチェックして、パスベースのアクセス (例: SELECT * FROM delta.'s3://path/to/table') ではなく、3 部構成の名前 (catalog.schema.table) を使用してテーブルにアクセスするようにします。Databricks Labs は、パスベースの参照を見つけるのに役立つ UCX ツール を開発しました。IDE ターミナルから次の Databricks Labs UCX lint-local-code を実行することで、ローカルマシンのディレクトリコード (.py または .sql ファイル) を分析できます。
2. すべてのメンテナンスジョブをキャンセル: 競合を防ぐため、変換プロセス中にテーブルでOPTIMIZE、ZORDER、CLUSTER BYジョブが実行中または実行予定でないことを確認してください (存在する場合はDESCRIBE HISTORYで確認できます)。変換後は、予測最適化によって最適化ジョブが自動的に処理されます。
3. [任意] Databricks Runtimeのバージョンをアップグレード: Deltaテーブルの完全なテーブル履歴を保持するために、テーブルの読み書きを行うすべてのDatabricksクラスターは、Databricks Runtime 15.4 LTS以降であることが理想的です。Databricks Runtime 16.1以降では、読み取り側のダウンタイムを完全になくすことができます。

ステップ3：変換コマンドを実行する

次の変換コマンドを使用して変換を実行します。

 注: UniFormが有効なテーブルの場合は、SET MANAGED TRUNCATE UNIFORM HISTORYを使用してください。

ステップ 4: 結果の確認

コマンドが完了したら、テーブルのメタデータを確認して変換が成功したことを検証します。

このコマンドの出力では、「Type」プロパティが「MANAGED」と表示されます。カタログ エクスプローラーの「このテーブルについて」セクションでも、同じ情報を確認できます。

ステップ5：変換後のハウスキーピング

変換が成功したら、以下の最終ステップを完了して、スムーズな移行を確実なものにしてください。

• テーブルを使用しているストリーミングの読み取り/書き込みジョブが一時停止している場合は、再開してください。
• 主要なクエリを実行して機能テストを行い、新しく管理対象になったテーブルですべてのリーダーとライターが期待どおりに動作することを確認します
• 予測最適化が テーブルで有効になっている ことを確認し、自動メンテナンスの利用を開始します（自動リキッドクラスタリングのために CLUSTER by AUTOを有効にする か、有効になっているか 確認する こともできます）。

段階的な移行の計画

すべてのテーブルをUCマネージドへ正常に変換するには、段階的なアプローチを取り、事前の計画を立てることで、円滑な移行が可能になります。

1. Databricksのみで使用するテーブルを変換: Databricksクライアントからのみ読み書きされるテーブルの変換を優先してください。実験的なツールであるAccess Insightsは、「Databricksの読み取り/書き込み」のみのテーブルと、「Databricks以外の読み取り」または「Databricks以外の書き込み」があるテーブルを特定するのに役立ちます。
2. サポート対象の外部ツールを使用するテーブルを変換: 次に、UCマネージドテーブルからの読み取りをネイティブにサポートしているサードパーティ製ツールからアクセスされるテーブルを特定し、それらを変換します。変換後もサードパーティからのアクセスは引き続き機能します。
3. 複雑なケースへの対応は最後に: サポートされていないレガシーツールでアクセスされるテーブルについては、読み取り用に互換モードのようなソリューションの使用を計画してください。サードパーティからの書き込みが必要な場合は、これらのテーブルを再作成し、プライベートプレビューでUCマネージドテーブルへの書き込みを有効にします。

その他の考慮事項

変換コマンドに関する以下の詳細は、事前に知っておくと役立つ場合があります。

• ロールバックの制限時間:ロールバック セーフティネットを使用するには、変換から 14 日 以内に UC マネージドテーブルで UNSET MANAGED を実行する必要があります。この期間を過ぎると、ストレージコストを節約するために元の外部データは完全に削除されます。
• タイムトラベルの注意点: クライアントを15.4 LTS以上にアップグレードすることをお勧めします。Databricks Runtime 14.3 LTS以前で実行されているクラスターの場合、またはUNSET MANAGEDコマンドを使用してロールバックする場合、変換後はタイムスタンプではなくバージョン番号によってのみ過去のコミットにタイムトラベルできます。
• 書き込み側のダウンタイムの最小化: このコマンドは、ダウンタイムを最小限に抑えるように設計されています。テーブルの場所が新しいマネージドの場所に切り替わる最終段階で、書き込み側で短い停止 (推定1～5分) が発生する可能性があります。
• Delta Sharingの一時的な中断：変換中、Delta Sharingは一時的に中断されますが、プロセスが完了すれば再び正常に機能します。

ヒント: 一括変換によるスケールアップ

特定のスキーマ内の数百または数千の Unity Catalog 外部テーブルを一括で変換するには、次の簡単な SQL スクリプトを使用できます。 

注: このスクリプトは稼働中の環境に変更を加えます。本番環境で実行する前に、開発環境で十分にテストすることを強く推奨します。

データの物理ロケーションの制御

Unified Catalog (UC) のマネージド テーブルは、お客様が管理するストレージに格納され、オープン カタログ API を通じてアクセスできます。データの物理的な保存方法をより詳細に制御したい場合は、カタログまたはスキーマ レベルでマネージド ストレージの場所を定義できます。そのカタログまたはスキーマで作成された新しいマネージド テーブルは、指定された場所に自動的に整理されます。

既存の外部テーブルの場合、マネージドストレージの場所を設定してから、SET MANAGED コマンドを使用して UC マネージドテーブルに変換できます。変換の際、システムはユーザーが定義したマネージド ロケーションを考慮するため、クラウド ストレージ内でのデータの物理的なレイアウトを制御できます。この機能をプライベートプレビューで今すぐ利用するには、アカウントチームにお問い合わせください。

外部テーブルからマネージドテーブルへの変換

パブリックプレビューからわずか数か月で、何百ものお客様がSET MANAGEDを使用して、何千ものテーブルを正常に変換しました。

ここで説明されているすべてが GA になりました。今すぐお試しになり、Unity Catalog マネージドテーブルのパフォーマンス、ガバナンス、シンプルさを実感してください。