スケールするパフォーマンスを自動化 - Unity Catalog マネージドテーブルの力

Unity Catalog (UC) 管理テーブルは強力なガバナンスとシームレスな相互運用性を組み合わせています。データは顧客所有のクラウドストレージに存在するため、組織は物理的な位置に対する完全なコントロールを保持しつつ、Databricksの組み込みインテリジェンスと自動化の恩恵を受けます。

現在、Databricksで最も一般的に使われているのがUCマネージドテーブルであり、UCテーブルのうち3分の2がマネージドテーブルとなっています。
この高い採用率は、運用の簡素化、コスト削減、そしてスケーラブルなパフォーマンス向上を実現できる点が評価されていることを示しています。

UCマネージドテーブルを使えば、常に最新のテーブル機能が利用できるという安心感があります。これらのテーブルは自動でアップグレードされ、他のテーブルタイプと異なり、利用パターンを理解することで、新機能も安全かつ段階的に、有効化できます。手動による対応は不要です。

UCマネージドテーブルの構造は、これまで実現できなかった高度なAI機能も可能にします。すべての読み書き処理がUnity Catalogを経由することで、Databricksは実際の使用状況に基づいてデータをインテリジェントに最適化できるようになり、クエリ性能の向上、ストレージコストの削減、日常的なメンテナンスの不要化が実現します。

主なメリットは以下のとおりです：

• 最新機能による自動アップグレード

• 圧縮・クラスタリング・バキュームなどのセルフメンテナンス

• インテリジェントな最適化によるストレージ＆コンピュートコスト削減

• Databricks以外のクライアントにも対応したOpen APIによるセキュアなアクセス

• Databricks以外の環境でも高速なクエリ実行

本ブログでは、UCマネージドテーブルの効果を支える機能の詳細、最近の機能強化、そして今後のロードマップの一部をご紹介します。

"Unity Catalog管理テーブルの自動最適化は年間で100万ドル以上の節約をもたらし、日々の面倒な手作業を排除しました。" —Abhinav Raghuvanshi、Zeptoのデータエンジニアリング部門のアソシエイトディレクター

Unity Catalog マネージドテーブルのメリットとは？

UCマネージドテーブルは、初期設定のままで最適化されており、手動でのチューニングは不要です。クエリのワークロードに応じて継続的に最適化が行われ、パフォーマンスの向上、ストレージコストの削減、ライフサイクル管理の効率化が実現します。

また、UCマネージドテーブルには、自動バキューム、ファイルの自動圧縮（コンパクション）、メタデータキャッシュなどの機能が組み込まれており、運用負荷を大幅に軽減します。DeltaやIcebergといったオープンフォーマットに基づいて構築されているため、サードパーティ製のツールやエンジンとの連携もスムーズです。

インテリジェントな最適化によるコスト削減と高速化

UCマネージドテーブルは、AIを活用したさまざまな最適化技術により、最大50%以上のコスト削減、クエリの実行速度20倍以上を実現します。

自動リキッドクラスタリング（Automatic Liquid Clustering）

UCマネージドテーブルは、クエリの利用パターンをもとにデータを自動的にクラスタリングします。手動での設定は一切不要です。
一方、UCエクスターナルテーブルでは、データエンジニアが OPTIMIZE コマンドを実行し、クラスタリングキーを手動で定義する必要があります。

マネージドテーブルでは、Predictive Optimization 機能がクラスタリングを自動的かつ動的に処理し、追加作業なしでクエリ性能を向上させ、ストレージコストを削減します。[もっと読む]

自動VACUUM（バキューム）

UCマネージドテーブルでは、Predictive Optimization によって、VACUUMの実行が有効と判断されたタイミングで自動的に処理がスケジューリングされます。
VACUUMは、削除済みの行に関連するファイルを、一定の保持期間経過後に削除する処理であり、ストレージ使用量の削減に貢献します。

一方で、UCエクスターナルテーブルでは、この処理は自動化されておらず、ユーザーが VACUUM コマンドを手動で実行する必要があります。

自動クリーンアップ付きの遅延DROP

UCマネージドテーブルを削除すると、基盤となるクラウドストレージ上のデータは7日後に自動で削除されます。これにより、ストレージコストの削減や孤立ファイル（オーファンファイル）の発生を防ぐことができます。
一方、UCエクスターナルテーブルを削除しても、データ自体は削除されず、ユーザーが手動でストレージバケットからファイルを削除する必要があります。このステップを忘れると、不要なデータが残り続け、無駄なストレージコストにつながります。
※この動作の今後の改善については、ロードマップのセクションをご覧ください。

自動統計収集

UCマネージドテーブルでは、統計情報を自動的に収集し、データスキップやジョインの最適化を通じてクエリ性能を向上させます。
たとえば、各カラムの最小値・最大値といったメトリクスにより、クエリ実行時に不要なファイルをスキップでき、コンピュートの負荷を軽減します。

UCエクスターナルテーブルでは、デフォルトで最初の32列の統計情報のみが生成されますが、UCマネージドテーブルでは実際のクエリワークロードに基づいて、より重要なカラムを優先的に収集・最適化します。[もっと読む]

メタデータキャッシング

UCマネージドテーブルでは、トランザクションメタデータをメモリ上にキャッシュすることで、クラウド上のトランザクションログへのアクセスを減らします。
これにより、コンピュートコストの削減や、クエリプランの生成速度向上が実現します。

この機能はUCマネージドテーブル専用であり、Databricksがすべての書き込み操作を把握できるため、キャッシュされたメタデータの整合性が常に保たれます。

ファイルサイズの最適化

Databricksは、数千件の実運用データから学習したパターンに基づき、AIを使ってファイルを自動的に最適なサイズに圧縮（コンパクション）します。
この最適化はデータの書き込み時に自動で実行され、ファイルの断片化やスキャン時のオーバーヘッドを減らすことで、クエリ性能の向上に貢献します。[詳細を読む]

オープンかつ相互運用性を備えた設計

UCマネージドテーブルは、DeltaやIcebergといったオープンフォーマットに基づいて構築されており、モダンなデータエコシステムとの高い互換性を持っています。
Trino、DuckDB、Apache Spark™、Daft、Iceberg RESTカタログ対応のDremioなど、これらのフォーマットに対応した任意のエンジンからアクセス可能です。

Open APIとクレデンシャル配布（Credential Vending） により、安全なアクセスも実現。外部ツールからでもデータを複製することなくガバナンスの効いたデータへアクセスでき、アーキテクチャを簡素化し、分析・AIワークロードにおける「唯一の信頼できる情報源（Single Source of Truth）」を確保できます。

さらに、サードパーティからの書き込みサポートも拡大中です。現在プライベートプレビュー中の機能では、Databricks以外のDeltaクライアント（たとえばApache Spark）からもUCマネージドテーブルへの書き込みが可能となっており、外部の処理基盤との統合を容易にしつつ、Unity Catalogによるガバナンスは維持されます。

また、**業界唯一のオープンなデータ共有プロトコル「Delta Sharing」**により、Databricksを使っていない受信者に対しても、安全な読み取り専用アクセスを提供できます。これにより、他社プラットフォームやパートナー、アプリケーションにまたがるガバナンスされたデータアクセスが可能になります。

これらの最適化はデータレイアウトのレベルで適用されるため、使用するエンジンに関係なく、すべての外部ツールが恩恵を受けます。クラスタリングされたレイアウト、圧縮されたファイル、高度な統計情報などにより、どのエンジンでもクエリが高速化され、読み取り効率が向上します。

今後のロードマップ

UCマネージドテーブルは、今後さらに強力かつ柔軟に進化していきます。以下の新機能がまもなく登場予定です：

テーブル単位の可観測性（Table-Level Observability）

未使用のテーブルや保持期間、テーブルサイズの推移、カスタムメタデータの可視化を実現。
コスト管理や運用ベストプラクティスの徹底を支援します。

UNDROP期間のカスタマイズ

削除されたテーブルの保持期間を自由に設定可能に。
即時削除にも対応し、ストレージコストのさらなる削減が可能になります。

スキーマ／カタログの再編ツール

テーブルを別のカタログやスキーマへ移動するコマンドを提供予定。
環境の変化に合わせて、データセットを論理的に整理しやすくなります。

複数ステートメント・複数テーブルのトランザクション（マルチステートメントとマルチテーブルトランザクション-プライベートプレビュー中）

複数テーブルにまたがる原子的コミットが可能に。
どれか1つでも失敗すれば全体がロールバックされ、複雑なデータ処理の信頼性が向上します。

UCマネージドテーブルの使い方

UCマネージドテーブルはデフォルトで有効化されており、新規作成にも既存テーブルの変換にも、簡単に対応できます。

新しくマネージドテーブルを作成する

新規ワークロードでは、ストレージパスの指定不要でマネージドテーブルを作成可能。Databricksが、顧客のクラウドストレージ上でデータパスを自動管理します。

CREATE OR REPLACE TABLE catalog.schema.my_managed_table 

既存のUC外部テーブルをマネージドに変換

既存のUCエクスターナルテーブルをマネージドに切り替える場合は、以下のコマンドを実行：

ALTER TABLE catalog.schema.my_external_tableSET MANAGED

View documentation そして、この formを使用してゲート付き公開プレビューへのアクセスをリクエストしてください。

外部（非UC）テーブルの変換

他のテーブル形式からの移行を希望するチーム向けに、UCマネージドテーブルへの変換機能もPrivate Preview中。
ガバナンスと最適化をUnity Catalogに一元化しやすくなります。
のformを使用してゲート付きプレビューへのアクセスをリクエストできます。

プレビューで高度な機能を試す

他社製クライアントからの書き込み、複数テーブルのトランザクション、スキーマ再編などの先進機能を試したい場合は、Databricksの担当営業にご連絡のうえ、関連プログラムへの参加申請をお願いします。