統計の予測最適化を発表
によって Kent Marten 、 モハメド・ザイト による投稿
Archived. This article has not been updated since the publish date above. The dynamic nature of information means that previously accurate content can become outdated or even obsolete over time. Readers are advised to exercise due diligence and cross-check any information found in this blog post before making decisions or adopting any practices based on said information.
統計の予測最適化のゲーテッドパブリックプレビューを発表できることを嬉しく思います。Data + AI Summitで発表された予測最適化（Predictive Optimization）は、最適化プロセスを効率化するためのAI駆動のアプローチとして一般提供されています。予測最適化は現在、重要なデータ レイアウトとクリーンアップ タスクをサポートしており、ユーザーからの早期フィードバックでは、日常的なデータ メンテナンスを大幅に簡素化する効果が高く評価されています。
自動統計管理の追加により、予測最適化は次のような進歩を通じて顧客に価値を提供し、操作を簡素化します。
- データスキップ統計のインテリジェントな選択により、列順序管理の必要性が排除されます
- クエリ最適化統計の自動収集により、データロード後にANALYZEを実行する必要がなくなります
- 収集さ れた統計情報はクエリ実行戦略に役立ち、平均してパフォーマンスの向上とコストの削減につながります
統計の影響
最新の統計情報を利用することで、パフォーマンスと総所有コスト（TCO）が大幅に向上します。統計情報ありとなしのクエリ実行の比較分析から、観察されたワークロード全体で平均22％のパフォーマンス向上が明らかになりました。Databricksはこれらの統計を利用して、データスキャンプロセスを洗練させ、最も効率的なクエリ実行計画を選択します。このアプローチは、データインテリジェンスプラットフォームがユーザーに具体的な価値を提供する能力を示しています。
統計がクエリパフォーマンスに影響を与えるのは驚くことではありません。統計はクエリプランの最適化を決定するために使用され、実行時にアダプティブクエリ実行 (AQE)によって補完されます。ゲーテッドパブリックプレビューに参加している顧客の中には、最適化された結合戦略を持つクエリの割合の増加とブルームフィルターの普及によるパフォーマンス改善が見られました。統計はパフォーマンス改善を最も確認するための最良の機会を提供します。
現在の課題
データレイクハウスは、2つの異なるタイプの統計を使用しています： データスキップ統計（デルタ統計とも呼ばれます）と クエリ最適化統計です。デルタ統計はファイルレベルで動作し、スキャン操作中のデータスキップを容易にし、デフォルトで最初の32列に対して自動的に生成されます。対照的に、クエリ最適化統計は、クエリ計画を支援するテーブルレベルのメトリクスで、ANALYZEコマンドを実行した後にのみ収集されます。
現在の統計収集のアプローチは、最適なパフォーマンスを追求しながらコストを最小限に抑えるデータエンジニアリ ングチームにとっていくつかの課題を提起しています：
- ワイドおよびネストされたスキーマのデータスキップ機能をどのように強化するか？
- ワークロードのクエリパターンを進化させるためにどのような戦略を使用できるか？
- ANALYZEコマンドを使用してクエリオプティマイザの統計を更新する最適な頻度はどれくらいか？
データスキップ統計は自動的に収集されますが、データが増え続け、使用方法が多様化するにつれて、ANALYZEコマンドをいつ実行するかを決定することが複雑になります。顧客は、クエリ最適化統計のメンテナンスを積極的に管理することで、この運用負荷に対処する必要があります。さらに、多くの顧客は定期的にANALYZEコマンドを実行しないため、最適でないクエリ実行計画が生じる可能性があります。