Databricksの全文検索インデックスで検索クエリを高速化

テーブルが数百ギガバイト、数テラバイト、あるいはそれ以上に拡大するにつれ、すべてのデータチームが同じ課題に直面します。テラバイトやペタバイト規模のアプリケーションログからエラーメッセージを検索する、セキュリティデータから不審なIPアドレスを見つける、コンプライアンスデータセットから特定のコンテンツを特定するなど、テキスト検索クエリが非常に遅くなるのです。これらのクエリは必要以上のデータをスキャンすることになり、大規模環境での迅速かつ的を絞ったルックアップを困難にします。本日、これらの課題を解決するソリューションを発表できることを嬉しく思います。Databricks Runtime 18.2において、全文検索インデックスがベータ版として利用可能になりました。

チームは、重複するテーブルの維持、ElasticsearchやSplunkなどの外部検索システムの構築、あるいは他のクエリパターンを犠牲にして特定のクエリパターンに最適化するためにテーブルレイアウトを過剰に設計するなど、回避策を余儀なくされることがよくあります。

全文検索インデックスとは？

全文検索インデックスは、テキスト列に対する部分一致（サブストリング）およびキーワードクエリを高速化します。インデックスを作成すると、クエリエンジンが自動的にそれを使用するため、以前はテーブル全体をスキャンしていた検索でも、ごく一部を読み取るだけで済むようになります。（仕組みについては以下で説明します。）

全文検索インデックスは、高カーディナリティのルックアップや、多数のテキスト列を一度に検索するのに最適です。一般的な例は以下の通りです。

• ログ分析とSIEM （Security Information and Event Management）：数テラバイトのセキュリティログやアプリケーションログから、エラーメッセージ、IPアドレス、不審なパターンを検索します。
• トラスト＆セーフティ（信頼と安全）の調査：大規模なコンテンツモデレーションデータセットから特定のコンテンツを検索します。
• コンプライアンス監査：規制報告データの中から、特定の用語を含むレコードを特定します。

SQLステートメントだけで簡単に開始できます。

その後、クエリは自動的に高速化されます。

クエリエンジンが検索インデックスを検出し、それを利用して大部分のファイルをスキップするため、多くの場合、クエリが桁違いに高速化されます。

仕組みについて

全文検索インデックスは、ベーステーブルとは別に保存されます。インデックスを作成すると、Databricksはテキストコンテンツをトークン化し、トークンと一致する行をマッピングするコンパクトなルックアップ構造である内部インデックスを構築します。クエリの実行時、エンジンはこのインデックスを参照して、一致する行が含まれている可能性のあるファイルを特定し、それらのファイルのみを読み取ります。

このアーキテクチャには、いくつかの重要なメリットがあります。

• 書き込みパフォーマンスへの影響ゼロ：インデックスは非同期で維持されます。インデックス作成によってベーステーブルへの書き込みが遅くなることはありません。
• クエリの自動最適化：Databricksのクエリエンジンは、利用可能なインデックスを評価し、クエリヒントを必要とせずに最適なアクセスパスを選択します。
• 正確性の保証：インデックスが最新でない（ベーステーブルより遅れている）場合でも、クエリの正確性は維持されます。Databricksは必要に応じてテーブルのインデックス付き部分と未インデックス部分の両方をスキャンするため、結果は常に完全で正確です。
• DeltaおよびIcebergに対応：全文検索インデックスは、サーバーレスおよびクラシックコンピュートの両方で、Unity Catalog管理下のDeltaおよびIcebergテーブルをサポートします。

全文検索インデックスはLiquid Clusteringとどのように関係していますか？

Liquid clusteringと全文検索インデックスは、それぞれ異なる課題を解決します。Liquid clusteringはデータを物理的に整理するため、クラスタリングキーでフィルタリングするクエリが大きなデータチャンクを効率的にスキップできるようになります。クラスタリングは、列値の等価フィルターや範囲フィルターには役立ちますが、フィールド内の部分一致やキーワードの特定には役立ちません。

対照的に、全文検索インデックスは列値のテキスト内を検索するため、迅速な部分一致やキーワードのルックアップが可能になります。つまり、すでにクラスタリングを行っている列であっても、クラスタリングだけではフィールドのコンテンツ内の一致を検出できないため、全文検索インデックスによってクエリを高速化できます。

簡単に言うと、Liquid clusteringは列値によるフィルタリングを最適化し、全文検索インデックスは列値内の検索を最適化します。これらは互いに補完し合い、同じテーブル上で連携して機能します。

お客様のパフォーマンス実績

あるトラスト＆セーフティチームは、ペタバイト規模のテーブルに対する調査に全文検索インデックスを導入しました。

以前はテーブル全体をスキャンする必要があった部分一致検索が100倍以上高速に実行されるようになり、インタラクティブな調査が初めて実用的になりました。

今後のリリースでさらに大幅な高速化を実現できるよう、より効率的なインデックスレイアウトやその他の最適化に積極的に取り組んでいます。

はじめに

全文検索インデックスは、Databricks Runtime 18.2においてベータ版として利用可能です。開始するには、全文検索インデックスのドキュメントを参照してください。

今後の予定

全文検索インデックスの次のマイルストーンは18.3であり、以下が予定されています。

• 自動権限継承を備えた、完全なUnity Catalog統合。
• Predictive Optimizationによる自動メンテナンス：手動でのREFRESH INDEXは不要になります。インデックスは自動的に最新の状態に維持されます。

ベータ期間中の皆様からのフィードバックをお待ちしております。ぜひ今すぐワークロードで全文検索インデックスをお試しいただき、パブリックプレビュー版のリリースに向けた改善にご協力ください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事