予測的最適化の紹介: クエリーの高速化、ストレージの低コスト化、手間いらず

Databricks 予測的最適化のパブリック プレビューが開始されたことをお知らせします。この機能により、テーブルデータのレイアウトがインテリジェントに最適化され、パフォーマンスと費用対効果が向上します。

予測的最適化は、Unity CatalogおよびLakehouse AIを活用してデータに実行する最適な最適化を判断し、専用に構築されたserverless インフラストラクチャ上でそれらの操作を実行します。これにより、レイクハウスの導入・活用が大幅に簡素化され、データからビジネス価値を得ることに集中するための時間を確保できます。

この機能は、お客様のデータとそのアクセスパターンに基づいてAIが予測的にアクションを実行する、Databricksの長年にわたる一連の機能における最新のものです。以前、弊社では、読み取りクエリーと更新クエリーの実行時にこれらの技術を適用する読み取り用 Predictive I/Oと更新をリリースしました。 

課題

レイクハウスのテーブルは、データレイアウトを改善するバックグラウンド最適化から大きな恩恵を受けます。これには、適切なファイルサイズを確保するためのファイルのコンパクションや、不要なデータファイルをクリーンアップするためのvacuumなどが含まれます。適切な最適化により、コストを削減しながらパフォーマンスが大幅に向上します。

しかし、このことはデータ エンジニアリング チームにとって継続的な課題となっており、次の点を見極める必要があります。 

• どの最適化を実行しますか？
• どのテーブルを最適化すべきですか？
• これらの最適化をどのくらいの頻度でランするか？

レイクハウスプラットフォームの規模が拡大し、セルフサービス化が進むにつれて、プラットフォームチームがこれらの質問に効果的に答えることは事実上不可能になります。顧客からよくお聞きするのは、新しいビジネスユースケースの登場によってテーブルが増え続け、その最適化に追いつけないというご意見です。

さらに、これらの厄介な問題に答えが出たとしても、チームは、ジョブのスケジューリング、障害の診断、基盤となるインフラストラクチャの管理など、これらの最適化をスケジュールして実行するという運用上の負担に、依然として対処する必要があります。 

予測最適化の仕組み

予測的最適化により、Databricksがこれらの厄介な問題に対処するため、お客様は貴重な時間をデータによるビジネス価値の推進に集中させることができます。予測的最適化は、ボタンを1回クリックするだけで有効にできます。そこから先は、面倒な作業はすべて自動で行われます。

まず、Predictive Optimizationは、実行する最適化の種類と頻度をインテリジェントに決定します。Google の AI モデルは、テーブルの使用パターン、既存のデータ レイアウト、パフォーマンス特性など、さまざまな入力を考慮します。そして、最適化によって期待されるメリットと予想されるコンピュートコストを比較検討し、理想的な最適化スケジュールを出力します。 

スケジュールが生成されると、Predictive Optimizationは専用に構築されたサーバーレスインフラストラクチャ上でこれらの最適化を自動的に実行します。適切な数とサイズのマシンの起動を自動的に処理し、最適化タスクが適切にビンパッキングされ、最適な効率でスケジュールされるようにします。 

システム全体は、手動での微調整やチューニングを必要とせずにエンドツーエンドで実行され、時間の経過とともに組織の使用状況から学習し、組織にとって重要なテーブルを最適化する一方で、そうでないテーブルの優先順位を下げます。課金の対象は、最適化の実行に必要なサーバーレス コンピュートのみです。標準で、すべてのオペレーションがシステムテーブルに記録されるため、オペレーションの影響とコストを簡単に監査し、把握することができます。

インパクト

ここ数か月で、Predictive Optimization のプライベートプレビュープログラムに多くのお客様にご登録いただきました。これにより、よくある2つの極端なケースの間にあるスイートスポットを見つけられることがわかっています。

極端な例として、高度なテーブル最適化パイプラインをまだ構築していない組織もあります。予測的最適化を使用すると、最適な最適化スケジュールを検討したり、インフラストラクチャを管理したりすることなく、テーブルの最適化をすぐに起動できます。

その一方で、最適化に過剰投資している組織もあるかもしれません。たとえば、最適化パイプラインを自動化しているチームは、1時間ごとまたは毎日 OPTIMIZE ジョブや VACUUM ジョブを実行したくなるものです。しかし、これらには収穫逓減のリスクがあります。より少ない最適化オペレーションで、同じパフォーマンス向上が達成できるのではないでしょうか？ 

予測的最適化は、投資収益率が高い場合にのみ最適化をランすることで、適切なバランスを見つけるのに役立ちます:

具体的な例として、Anker のデータエンジニアリングチームは Predictive Optimization を有効にし、すぐに次のようなメリットを実感しました。 

無料トライアル

本日より、Predictive Optimizationはパブリックプレビューで利用可能になりました。有効化は5分もかかりません。アカウント管理者として、アカウントコンソール > 設定 > 機能の有効化タブに移動し、Predictive Optimization設定をオンに切り替えます:

クリック1つで、Unity Catalogのマネージドテーブル全体でAIによって最適化されたデータレイアウトのパワーを活用し、データの高速化とコスト効率の向上を実現できます。詳しくは、ドキュメントをご覧ください。

これはまだ始まりにすぎません。今後数か月にわたり、この機能にさらなる最適化を引き続き追加していきます。今後のさらなる展開にご期待ください。
 

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事