Predictive Optimization (予測最適化) の一般提供開始を発表！

Translation Review by saki.kitaoka

Databricks Predictive Optimization (予測最適化) の一般提供開始をお知らせできることを嬉しく思います！

この機能は、テーブルデータのレイアウトをインテリジェントに最適化し、クエリの高速化とストレージコストの削減を実現します。

Predictive OptimizationはUnity Catalogを活用し、データインテリジェンスエンジンによって最適なデータ操作を自動的に実行することで、サーバーレスインフラ上で動作します。

従来はデータチームが手動で管理していたメンテナンス操作を、Databricks Data Intelligence Platformが自動化することで、管理の複雑さを軽減し、パフォーマンスとコスト効率を向上させます。

今すぐアカウントコンソールからPredictive Optimization(予測最適化)を有効にして始めましょう！

データレイアウトの最適化は難しい問題です

適切なテーブルメンテナンスは、組織のユニークなニーズに応じてデータレイクを最適化することで、クエリパフォーマンスとコスト効率を大幅に向上させます。しかし、これを正しく行うには、技術的な専門知識、手動の作業、そしてデータやユースケースの進化に応じた継続的な調整が必要です。

データエンジニアリングチームは、以下のような課題に直面します：

• どの最適化を実行するか？
• どのテーブルを最適化するか？
• 最適化をどの頻度で実行するか？

これらの質問に答えた後、チームはジョブのスケジューリング、失敗の診断、基盤インフラの管理などの運用上の負担を管理する必要があります。

さらに、これは一度限りの設定ではありません。データが増えたり、新しいテーブルが追加されたり、アクセス パターンが変わったりすると、チームはこれらのジョブを継続的に更新する必要があります。 データとAIのユースケースが組織内で爆発的に増加する中、多くの顧客は、ビジネスの拡大に伴い新たに作成されたテーブルの最適化に対応できないと感じていることがわかりました。

Predictive Optimization (予測最適化) がデータ管理の課題を解決

Predictive Optimizationを使用すると、DatabricksがAIとUnity Catalogを活用してこれらすべてを自動で処理し、ビジネス価値の創出に集中できるようになります。

インテリジェント分析

Predictive Optimizationは、Unity CatalogとData Intelligence Engineを活用して、最適な最適化スケジュールをインテリジェントに決定します。私たちのAIモデルは、組織のクエリパターンを分析し、データレイアウト、テーブルの特性、パフォーマンス特性などを組み合わせて、最も効果的な最適化を実行します。

多くの顧客にとって、効果とROIは即座に現れます。例えば、大手エネルギー企業のPlenitudeのチームは、Predictive Optimizationを有効にしてすぐに大きな利益を得ました。

「Databricks Predictive Optimizationは、FinOpsグループがストレージコストを最小化するのに一貫して役立っています。ストレージコストが直ちに26％削減され、今後も追加の節約が見込まれています。この機能により、手動のメンテナンス操作を廃止し、スケーラビリティを大幅に向上させることができました。」 — Alessandro Caronia, インフラストラクチャオペレーションマネージャーおよびSimona Fiazza, エンドツーエンドオペレーションマネージャー, Plenitude

自動適応学習

Predictive Optimizationは、データ使用パターンに自動的に適応し調整します。インテリジェンスエンジンは、組織の使用状況から学習し、データが常に最も効率的なレイアウトで保存されるようにします。これにより、手動での介入なしにコスト削減とパフォーマンス向上が実現します。

この自動システムは、AIデータアノテーションプラットフォームのToloka AIにおける手動ソリューションを完全に置き換えます。

「Predictive Optimization（PO）のおかげで、テーブルメンテナンス用のDIYソリューションを廃止できました。POはより効率的でコスト効果が高く、メンテナンス操作の恩恵を受けるテーブルのみを最適化します。POはデータプラットフォームを簡素化し、リソースの割り当てを改善し、データ管理プロセスを合理化します。」 — Nikita Bochkarev, シニアデータエンジニア, Toloka AI

自動リキットクラスタリング

プレビュー版から新しく追加された機能である予測最適化により、Liquid Clustering を使用したテーブルに対して、VACUUM および COMPACT の他に、OPTIMIZE が自動的に実行されるようになりました。クエリのパフォーマンス向上のために、クラスタリングのスケジュールや頻度を決定する必要はなくなりました。予測最適化により、最適な頻度でクラスタリングが行われるようになります。

数字で見るインパクト

プレビュー版のリリース以来、Predictive Optimizationは数十万のテーブルに対してインテリジェントに最適化を実行し、エクサバイト規模のデータを扱ってきました。これらの最適化は、ディスク上のファイルサイズとレイアウトを最適化することでクエリパフォーマンスを向上させ、顧客に年間数百万ドルのストレージ節約をもたらしています。

プレビュー顧客であるAnkerは、クエリパフォーマンスが2倍に向上し、ストレージコストが50％節約されたと報告しています。

「DatabricksのPredictive Optimizationは、Unity Catalogストレージをインテリジェントに最適化し、年間ストレージコストを50％削減し、クエリ速度を2倍以上に向上させました。最もアクセスの多いテーブルを優先的に最適化するよう学習しました。そして、これをすべて自動で行い、チームの貴重な時間を節約しました。」 — Shu Li, データエンジニアリングリード, Anker

近日公開！

Predictive Optimizationには、実行された最適化とそのクエリパフォーマンスおよびストレージ節約への影響に関する洞察を提供する組み込みの可観測性ダッシュボードが追加されます。これにより、Predictive Optimizationの効果が透明で測定可能になります。詳細を知りたい場合は、すべての操作がシステムテーブルにログ記録されているため、完全な可視性を得ることができます。

近い将来、Predictive Optimizationはサポートされている書き込み操作中に統計を自動的に収集します。Predictive Optimizationは、クエリプランの最適化に使用される統計をインテリジェントに更新し、バックグラウンドでANALYZEを実行します。これらのバックグラウンド操作は、統計が古くなった時やワークロードに必要な時にスマートロジックによって決定されます。自動統計プライベートプレビューまたはパブリックプレビューの初期段階に参加したい場合は、このフォームに記入してください。こちらからご連絡いたします。

近い将来、Predictive OptimizationはすべてのUnity Catalog管理テーブルでデフォルトで有効になります。これにより、データレイアウトが最適化され、効率的なストレージとその他のメリットが、手を煩わせることなく実現されます。私たちは常にクエリパフォーマンスと効率を向上させる新機能を追加しています。

今後数ヶ月の間でのさらなる発表をお楽しみに。

今すぐ始めましょう！

アカウント コンソールの[設定] > [機能の有効化]で、予測の最適化の横にある[有効]を選択して、今すぐ利用開始をしてください。

1 回のクリックで、予測的最適化のインテリジェンス エンジンがデータの処理を高速化し、コスト効率を高めます。

詳細についてはドキュメントを参照してください。