大規模な予測的最適化：イノベーションの1年と今後の展望

序章

最もパフォーマンスと費用対効果が高いlakehouseとは、データ量、クエリーパターン、組織での使用状況が進化し続けても、自己最適化するものです。Unity Catalogの予測的最適化 (PO) は、データの書き込みとクエリーの実行方法を継続的に分析し、ユーザーやプラットフォームチームによる手作業を必要とせずに適切なメンテナンス操作を自動的に適用することで、この動作を可能にします。2025年、予測的最適化はオプションの自動化機能からプラットフォームのdefaultの動作に移行し、従来テーブルのチューニングに伴う運用上の負担をなくしながら、何百万もの本番運用テーブルにわたってパフォーマンスとストレージ効率を管理しています。ここに至るまでのマイルストーンと、2026年の今後の展開をご紹介します。

レイクハウス全体での大規模な導入

2025年を通じて、増え続けるデータ資産を管理するために自律的なメンテナンスに頼る顧客が増えたことで、予測的最適化はDatabricks Platform全体で急速に採用されました。予測最適化は、この1年間で急速に普及しました。

• エクサバイト単位の未参照データがvacuum処理され、その結果、数千万ドルものストレージコストが削減されました
• クエリーパフォーマンスとファイルプルーニング効率を向上させるため、数百ペタバイトのデータがコンパクションおよびクラスタリングされました。
• 数百万のテーブルが自律的なデータレイアウト管理のために Automatic Liquid Clustering を採用

この規模で確認された一貫したパフォーマンス向上に基づき、予測的最適化 は、すべての新しい Unity Catalog のマネージドテーブル、ワークスペース、アカウントで default で有効になりました。

予測最適化の仕組み

予測的最適化 (PO) は、レイクハウスのプラットフォームインテリジェンスレイヤーとして機能し、データレイアウトを継続的に最適化し、ストレージフットプリントを削減し、UC マネージドテーブルでの効率的なクエリプランニングに必要な正確なファイル統計を維持します。

観測された使用パターンに基づき、POは次のようなコマンドをいつ、どのように実行するかを自動的に決定します。

• OPTIMIZEは、小さなファイルを圧縮し、データの局所性を向上させることで、効率的なアクセスを実現します。
• VACUUM: 参照されていないファイルを削除してストレージコストを抑制します
• 自動リキッドクラスタリング を備えたテーブルに最適なクラスタリング列を選択する CLUSTER BY
• ANALYZE: クエリープランニングとデータスキッピングのために正確な統計を維持します

すべての最適化の決定はワークロードドリブンかつ適応型であるため、クエリーのパターンが変化しても、スケジュールの管理、パラメーターの調整、最適化戦略の見直しを行う必要がありません。

2025年における予測的最適化の主な進歩

自動統計でクエリーが 22% 高速化

正確な統計情報は効率的なクエリープランの構築に不可欠ですが、データ量とクエリーの多様性が増大するにつれて、手動での統計情報管理はますます非現実的になります。

自動統計（現在一般提供中）により、予測的最適化は観測されたクエリーの動作に基づいてどの列が重要かを判断し、手動のANALYZEコマンドなしで統計が最新の状態に保たれるようにします。

統計情報は、2つの補完的なメカニズムを通じて維持されます。

• Stats-on-writeは、最小限のオーバーヘッドでデータが書き込まれるときに統計情報を取得する、ANALYZE TABLEの実行より7～10倍パフォーマンスの高い手法です。
• バックグラウンド更新は、データの変更やクエリーパターンの変化によって統計が古くなった場合に統計を更新します

実際の顧客の本番運用ワークロードにおいて、このアプローチは手動での統計情報管理にかかる運用コストを排除しつつ、クエリーを最大22%高速化しました。

6倍高速かつ4倍低コストなVACUUM

VACUUMは、参照されていないデータファイルを削除することで、ストレージコストとコンプライアンスの管理において重要な役割を果たします。標準のvacuum処理では、削除対象を特定するためにテーブルディレクトリ内のすべてのファイルをリストアップする必要があり、1,000万個のファイルを持つテーブルの場合、この操作に40分以上かかることがあります。

予測的最適化は、Deltaトランザクションログを活用して削除可能なファイルを直接特定し、可能な限りコストのかかるディレクトリ一覧表示を回避する、最適化されたVACUUM実行パスを適用するようになりました。

大規模な環境では、これにより以下の結果が得られました。

• 最大 6 倍高速な VACUUM の実行
• 標準的なアプローチと比較して最大4倍低いコンピュートコスト

エンジンは、このログベースのアプローチを使用するタイミングと、中断されたトランザクションの断片をクリーンアップするために完全なディレクトリ スキャンを実行するタイミングを動的に判断します。

自動リキッドクラスタリング

Automatic リキッドクラスタリング は 2025 年に一般提供を開始し、すでに本番運用で数百万のテーブルを最適化しています。

このプロセスは完全にワークロードドリブンです。

• まず、POはテーブル上のすべてのクエリーからテレメトリを分析し、述語列、フィルター式、読み取られてプルーニングされたファイルの数とサイズなどの主要なメトリクスを観測します。
• 次に、ワークロードのモデリングを実行し、さまざまな候補となるクラスターキーの組み合わせ（例：日付、customer_id、またはその両方でのクラスタリング）を特定してテストします。
• 最後に、POは費用対効果分析を実行して、クエリープルーニングを最大化し、スキャンされるデータを削減する最善のクラスタリング戦略を1つ選択します。テーブルの既存の挿入順序がすでに十分であるかどうかを判断することさえあります。

手動でのチューニングは一切不要で、クエリーが高速化されます。ワークロードを自動的に分析して最適なデータレイアウトを適用することで、POはクラスタリングキーの選択という複雑なタスクを不要にし、クエリーパターンが進化してもテーブルが高いパフォーマンスを維持できるようにします。

プラットフォーム全体のカバレッジ

予測最適化は、従来のテーブルの枠を超えて拡張され、Databricks Platformのより広範なセットをサポートするようになりました。

• PO は Lakeflow Spark Declarative Pipelines (SDP) とネイティブに統合され、マテリアライズドビューとストリーミングテーブルの両方で自律的なバックグラウンド メンテナンスを実行できるようになりました。
• POは、マネージドDeltaテーブルとマネージドIcebergテーブルの両方で動作します
• POは、すべての新しいUnity Catalogで管理されるマネージドテーブル、ワークスペース、アカウントでdefaultで有効になっています。

これにより、個々のテーブルを個別に最適化するのではなく、データ資産全体にわたる自律的なメンテナンスが保証されます。

2026 年の次の展開

私たちは、手動でのテーブルチューニングを自動メンテナンスに置き換える機能の提供に尽力しています。並行して、物理的なテーブルの健全性を超えて、総合的なデータライフサイクルインテリジェンス（ストレージコストの自動削減、データライフサイクル管理、行の削除）に対応することを計画しています。また、可観測性の強化も優先しており、予測的最適化の知見を一般的なテーブル操作やGovernance Hubに統合することで、PO（予測最適化）のオペレーションとそのROIに対する可視性を高めています。

Auto-TTL (自動行削除)

データ保持期間の管理やストレージコストの管理は、重要でありながら、多くの場合手動で行われるタスクです。この度、行の削除を完全に自動化する予測的最適化の新機能、Auto-TTLをご紹介します。この機能を使用すると、次のようなコマンドで、UCマネージドテーブルに直接シンプルなTTL (time-to-live) ポリシーを設定できます。

ポリシーが設定されると、残りは予測最適化が処理します。期限切れの行をソフトデリートするために最初にDELETE操作を実行し、次にVACUUMを実行して物理ストレージから完全に削除するという2段階のプロセス全体を自動化します。

プライベートプレビューでこれをお試しいただくには、今すぐアカウントチームにお問い合わせください！

強化された可観測性

予測的最適化の可観測性の向上

新しいデータガバナンスハブで、予測最適化の直接的な影響とROIを追跡できるようになります。このオブザーバビリティダッシュボードは、POの運用を一元的に表示し、その価値を定量化する主要なメトリクスを提示する機能を標準で提供します。

これを使用すると、圧縮されたバイト数、Liquidによってクラスタリングされたバイト数、vacuum処理されたバイト数、分析されたバイト数が明確に視覚化され、POが内部で何を行っているかを正確に確認できます。最も重要なのは、ハブが推定ストレージコスト削減額を表示することで、これらのアクションを直接的なビジネス価値に変換することです。これにより、POがストレージコストとクエリーパフォーマンスの両方にもたらすプラスの効果を、これまで以上に簡単に理解し、伝えることができるようになります。

DESCRIBED EXTENDED では、予測的最適化 が最適化をスキップした理由も確認できます（例:テーブルがすでに適切にクラスタ化されている、テーブルが小さすぎてコンパクションのメリットがないなど）。

さらに、POシステムテーブルで、データスキッピングとAuto Liquidのための列選択を確認できる機能を追加しました。

データガバナンスハブをプライベートプレビューでお試しいただくには、今すぐアカウントチームにお問い合わせください！

テーブルレベルのストレージ可観測性の向上

ストレージ フットプリントをより明確にするため、予測最適化向けに強化された可観測性機能を導入します。ファイル数やストレージの増加といった高レベルのメトリクスを通じて、テーブルの健全性と進化を監視できるようになります。これらの知見を直接提供することで、自動メンテナンスの効果を可視化し、コスト削減とデータ資産の合理化のための新たな機会を特定しやすくなります。

予測的最適化を始めましょう

予測的最適化は、Unity Catalogでマネージドテーブルで本日より利用可能で、新しいワークロードではデフォルトで有効になっています。

有効にすると、お客様は、より高速な VACUUM の実行、ワークロードを考慮した自動統計、および Automatic リキッドクラスタリングによる自律的なデータレイアウトのメリットを自動的に享受できます。

また、アカウントチームに連絡することで、プライベートプレビューを通じてAuto TTLと予測最適化のオブザーバビリティ（データガバナンスハブ）を試すこともできます。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事