境界なき地理空間：AI/BIマップ、Delta Sharing、Iceberg v3を備えた空間SQLのGA

フロリダ湾でハリケーンが発生しています。保険会社として、ビジネスにおける重要な問いに即座に答える必要があります。予測される嵐の進路内にある保険契約の特定、リスクにさらされている総保険価額、最も被害を受けやすい郡、そして通知が必要な再保険パートナーの特定などです。

少し前まで、こうした空間的な問いに答えるには、複数のシステムを組み合わせる必要がありました。交差判定用の空間データベース、保険契約データ用のウェアハウス、そしてアナリストやアンダーライターと共有するために結果をマッピングする可視化ツールなどです。外部システム内に保険契約データを複製することさえあったかもしれません。システムが増えるたびにリスクが高まり、データがコピーされるたびにガバナンスが断片化します。

今日では、空間データの処理を1つのプラットフォーム上で行うことができます。Spatial SQLが一般提供（GA）開始となりました。Databricksは地理空間レイクハウスです。ウェアハウスに空間データベースを組み込み、さらにマッピングツールを繋ぎ合わせる時代は終わりました。IcebergやDeltaにデータをGeometryとして保存し、大規模な空間クエリを実行し、90以上の空間関数を呼び出し、Delta Sharingを通じて共有し、Genieで探索することができます。その間、Unity Catalogがガバナンスを管理します。

Databricksのお客様は、このプラットフォームがもたらす価値を高く評価しています。

Spatial SQLにより、ETLワークロードを簡素化し、クエリのパフォーマンスを確保し、Delta Lakeを使用した完全にオープンなデータ型によって複雑な地理空間アーキテクチャを統合することができました。私たちはクエリが70%高速化されると同時に、これまで不可能だった分析機能が解放されるのを目にしました。S&P Global Energyは、世界のエネルギーおよびコモディティ市場の包括的なビューをお客様に提供し、長期的な持続可能価値を創出しています。 — Hubert Boguski氏（S&P Global Energy、ソフトウェアエンジニアII）

Spatial SQLが世界クラスのパフォーマンスを提供

ハリケーンが接近して時間に追われる状況では、一分一秒が重要です。そのため、私たちはパブリックプレビュー以降、空間ジョインとST_関数の標準パフォーマンスを継続的に向上させてきました。最新の改善効果を測定するため、SpatialBenchを使用して包括的なベンチマークを実行しました。SpatialBench全体で、12個のクエリのうち8個がパブリックプレビュー時から改善され、その向上幅は20%から15倍に及びました。

ブーリアン集合演算（ST_Intersection、ST_Difference、ST_Union）向けに、改善されたアルゴリズムを導入しました。これらの関数は、「自分の土地区画のどの部分が、予測されるハリケーンの進路内にあるか？」や「このエリアにあるすべての携帯電話基地局の合計カバー範囲はどれくらいか？」といった問いに答えるのに役立ちます。これらの演算子を使用して面データセットを処理する場合、Databricksは以前のバージョンと比較して平均2倍高速化されています。コードの変更は不要で、既存のクエリがそのまま高速になります。

これらは、プレミアムクーリエおよびラストマイル配送サービスを専門とするTop ChronoのようなDatabricksのお客様の効率化を推進する空間演算です。

DatabricksのSpatial SQLは、メンテナンスが面倒で、基本的な操作にもSQL UDFを必要としていたサードパーティ製ライブラリへの依存を解消してくれました。現在、私たちは正確な距離を測定するためにST_Transformを使用して配送ルートをランベルト93（フランス）に投影し、ST_Withinを使用して配送が顧客ゾーンに入ったことを検知し、ST_Unionを使用して重複するドライバーのルートをマージするなどしています。Databricksは、当社の配送業務の規模に合わせて拡張できる、完全で高性能な空間ツールキットを提供してくれます。 — Maxime Delobelle氏（Top Chrono、リードデータアーキテクト）

AI/BIダッシュボードがGeometryとGeographyを使用したマップをサポート

空間的な問いに対して、結果を共有する最善の方法はマップを使用することです。Spatial SQLの一般提供（GA）の一環として、AI/BIでGeometryまたはGeography列を使用したマップのレンダリングが可能になりました。地理データを可視化するために、カスタムアプリケーションやサードパーティのマッピングツールを使用する必要はもうありません。

アンダーライターがハリケーン被害予測ダッシュボードを開くと、リスクのある保険契約、ハリケーンの進路、過去の追跡データをすべてビジュアルの一部として表示できます。郡ごとにフィルタリングしたり、異なる予測進路を比較したり、必要に応じてデータをスライスしたりできます。

また、アンダーライターがそこにたどり着くためにSQLを書く必要はありません。Genieは、1つのプロンプトで適切なダッシュボードを生成できます。

Genieは、他の列と同様に地理空間列についても推論します。「ハリケーン予測地域にあるフロリダの郡で、総保険価額が100万ドルを超える保険契約を表示して」と入力するだけで、Genieが空間クエリを生成し、Unity Catalogの行フィルターを適用し、必要に応じてマップ付きのダッシュボードを作成します。

オープンレイクハウス：地理空間向けのDelta SharingとIceberg v3の相互運用性

リスクおよび被害データは共有可能である必要があります。再保険パートナーは、保険契約レベルの出再ファイルを必要とします。緊急事態管理機関は、組織の内外でデータを共有する必要があります。これらのやり取りのすべてが、カスタムのデータ抽出パイプラインになってしまう可能性があります。

Spatial SQLの一般提供（GA）により、地理空間列を持つテーブルがDelta Sharingでサポートされるようになりました。保険会社が保険契約の境界を含む単一のDelta Shareを公開すると、アンダーライターの再保険パートナーはそこから直接データを読み取ることができ、データの抽出やスキーマの変換は不要になります。アクセスはUnity Catalogのポリシーによって管理され、リネージも追跡されます。

地理空間に対するDatabricksのオープン性は、基盤となるテーブルフォーマットにも拡張されました。Spatial SQLを使用することで、管理されたIcebergテーブルへの読み書きや、外部で書き込まれたIcebergテーブルからの読み取りが可能になりました。DatabricksでのIceberg v3サポートはすでに一般提供（GA）されていますが、今回、地理空間データ型のサポートが追加されました。オープンレイクハウスとは、サイロ化ではなく標準化を意味します。

本日一般提供（GA）となる機能

DatabricksのSpatial SQLには以下が含まれます。

• GEOMETRYデータ型 – ベクター地理空間データをネイティブの列型に保存します。Geometryデータ型は、最高の空間クエリパフォーマンスを提供します。

注：Geographyは、一般的な空間関数で完全にサポートされるまで、パブリックプレビュー段階に留まります。

• 90以上のST_*関数 – 一般的なフォーマット（WKT、WKB、GeoJSON、EWKT、EWKB）のインポートとエクスポート、測定、構築、述語、変換などをサポートする、OGC準拠 of 空間関数です。
• 高性能な空間ジョインと空間演算 – DatabricksのSpatial SQLは世界クラスのパフォーマンスを提供し、パブリックプレビュー以降、大部分のSpatialBenchクエリで20%から15倍の向上が見られます。

Databricksプラットフォームは、以下の機能で地理空間データ型の処理をサポートするようになりました。

• AI/BIマップ
• Delta Sharing
• Iceberg v3テーブル（Databricks Runtime 18.2以上）

このブログでは保険会社を想定したシナリオを説明していますが、地理空間のコンテキストはあらゆるドメインにおいて重要です。

• マーケティングチームは、人口統計、商圏分析、顧客の位置パターンを組み合わせることでキャンペーンを構築します
• 通信事業者は、加入者密度、カバレッジ測定、サービス未提供エリアを分析することで、基地局の配置とメンテナンスを計画します
• 小売業者は、既存店舗との商圏の重複、人口統計学的な集客圏、競合店舗との近接性を分析することで、新規出店地を評価します
• 近代的な農業企業は、土壌センサー、圃場ゾーン、天気予報を分析することで、可変施肥や灌漑を計画します
• エネルギー・公益企業は、地形、気象パターン、インフラのニーズを組み合わせることで、再生可能エネルギーの適地を評価します

地理空間情報の今後の展望

オープンなレイクハウスのストーリーは、Databricksプラットフォームにとどまりません。Databricksは、GEOMETRY型とGEOGRAPHY型をApache Spark 4.2（2026年夏に予定）にコントリビュートしています。現在Databricksでクエリを実行しているものと同じジオメトリとジオグラフィが、すべてのSparkコミュニティユーザーが利用できるファーストクラスのデータ型になります。

製品チームにフィードバックを提供する
追加のマップ可視化要件、ST式、またはその他の地理空間機能に関するご要望がございましたら、こちらの短いフィードバックアンケートにご記入ください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事