IP関数の一般提供が開始され、レイクハウスに高性能なネットワーク分析機能がもたらされます

IPデータはデータウェアハウスのデータです

すべてのファイアウォール、ロードバランサー、VPN、CDNエッジ、DNSリゾルバー、Kubernetesクラスター、アプリケーションサーバーは、すべて1つのキー（**IPアドレス**）に基づいてレコードのストリームを出力します。IPアドレス。大企業の場合、これらのストリームは全体で1日に数百億ものイベントを生成し、脅威検知、不正調査、ネットワークオブザーバビリティなど、組織が実行する最も価値のある分析の基盤となります。歴史的に、業界はこれらのネットワークオブザーバビリティのユースケースを、専用のスタックを必要とする特殊なユースケースとして扱ってきたため、サイロ化、ガバナンスの断片化、ベンダーロックインを招いていました。

それが今、変わります。本日、IP関数が一般公開（GA）されました。このリリースにより、IPアドレス分析はレイクハウス上のファーストクラスかつ高性能なSQLワークロードとなり、セキュリティチームは単一のガバナンスモデルの下で、大容量のIPデータを他の分析データとともにパース、エンリッチ、分析できるようになります。

ネットワーク分析がこれまで困難であった理由

これまで、IPアドレスはSQLで扱うのが非常に困難でした。IPv4アドレスは文字列のように見えますが、32ビットの整数のように動作します。IPv6は128ビットです。10.0.0.0/8のようなCIDRブロックは単一の値ではなく、1,600万個のアドレスの範囲です。「このIPはそのサブネット内にあるか？」という問いは、テキストの背後に隠された範囲包含の問題です。

ネイティブサポートがないため、チームはいくつかの不安定なパターンのいずれかを余儀なくされ、それぞれ正確性、パフォーマンス、またはメンテナンス性が犠牲になっていました。

その結果、誰も得をしない状況になっていました。SQLしか使わないアナリストは、手続き型コードが必要なため、基本的なIPフィルタリングから排除されていました。データエンジニアは、UDFライブラリやCIDR展開ジョブのメンテナンスに時間を費やしていました。何よりも、脅威インテリジェンスやGeo-IPテーブルと数十億のイベントを照合してエンリッチするような重要なワークロードは、ビジネスが数分で回答を必要としているにもかかわらず、1時間以上もかかっていました。ペタバイト規模では、この時間差は、進行中の侵入を検知できるか、事後レポートでそれを知るかという違いになります。

SQLに組み込まれたネイティブIP関数

Databricksは、ネットワークデータをレイクハウスのファーストクラス市民にする、組み込みのIP関数の完全なセットを導入します。これらはIPv4とIPv6を一元的に処理し、人間が読める形式STRINGとコンパクトなBINARY表現の両方を受け入れ、CIDR表記をネイティブに理解します。また、エンジン自体に実装されているため、オプティマイザとPhotonによる高速化が可能です。

以下の例では、生のネットワークフローログを脅威インテリジェンスでエンリッチし、多数の宛先やポートをスキャンしている不審な送信元ネットワークを特定します。以前はカスタムのパースロジックや専用のIPライブラリが必要だった処理を、ネイティブのIPおよびCIDR操作を使用してSQLで直接表現できるようになります。

UDFも、正規表現も、整数の複雑な操作も不要です。アナリストが実際に問いかけている質問のようにシンプルに記述できます。

関数一覧

GAリリースには、IPデータのパース、正規化、検査、結合に必要な完全なツールキットが含まれています：

包含と結合

• ip_cidr_contains(cidr, needle) - IPアドレスまたは別のCIDRブロックが、特定のCIDRブロック内に含まれるかどうかをテストします。これは、CIDRブロックの結合や大量のフィルタリングの背後にある唯一の述語であり、最適化の取り組み全体が集中している関数です。

パースと正規化

• ip_host(ip) - IPv4またはIPv6アドレスを標準形式に正規化します（例：2001:0db8:0000::1を2001:db8::1に短縮）。
• ip_cidr(cidr) - CIDRブロックの正規表現を生成します。

CIDRの検査

• ip_network(cidr) / ip_network_first(cidr) - CIDRブロックの最初のアドレス（ネットワークアドレス）を返します。
• ip_network_last(cidr) - CIDRブロックの最後のアドレスを返します。
• ip_prefix_length(cidr) - プレフィックス長（/の後の数字）を返します。
• ip_version(ip_or_cidr) - 4または6を返すため、特別な処理をすることなく、混在するプロトコルのアドレスを分岐処理できます。

表現の変換（パフォーマンス向上のため）

• ip_as_binary(ip_or_cidr) - アドレスまたはCIDRを、正規化されたコンパクトなバイナリ形式（IPv4は4バイト、IPv6は16バイト）に変換します。BINARYで保存および結合を行うことで、繰り返しのパースを回避し、ストレージ容量を削減できます。
• ip_as_string(ip_or_cidr) - レポート作成などのために、バイナリ表現を人間が読めるテキストに変換します。

不整合データ向けの安全なバリアント

• try_ip_host(ip), try_ip_cidr(cidr), try_ip_as_binary(ip_or_cidr), try_ip_as_string(ip_or_cidr) - 通常の関数と同じですが、無効な入力に対してエラーを発生させる代わりにNULLを返します。一部のレコードが常に破損しているような生のログを取り込む際に不可欠であり、1つの不正な行によって10億行のジョブ全体が失敗するのを防ぎます。

これらのネイティブ関数は、他のSQLと自然に組み合わせることができ、セットアップなしですべてのSQLユーザーが利用できます。また、オプティマイザがこれらを理解するため、優れたパフォーマンスを実現できます。

企業のGenAI、データ、クラウドプラットフォームの開発を支援するRearcは、IP関数を活用して、大規模な顧客向けのネットワークオブザーバビリティのユースケースを構築しています。

私たちは、パフォーマンスとコスト効率が極めて重要となる、1日あたり30TB以上のデータを定期的に処理する大手金融機関向けの製品を構築しました。DatabricksエンジンにネイティブなIP関数を使用することで、SQLで直接IPデータのパース、検証、結合を行うことができ、これまでのアドホックな実装を、はるかにエレガントでメンテナンスしやすいものに置き換えることができました。これらの関数はエンジンに組み込まれているため、この規模のワークロードが要求するパフォーマンスを犠牲にすることなく、これを実現できました。これにより、レイクハウスでのネットワーク分析の提供がよりシンプルかつ迅速になりました。」 —Dara Kharabi氏（Rearc、AI & Data プラクティスリード）

ペタバイト規模に対応：分単位ではなく秒単位で処理

一般的なIP分析の課題は、はるかに広い範囲の中から単一のアドレスまたはサブCIDRを特定することです。これは、脅威の迅速な検出、不正行為の調査、大規模なネットワークアクティビティの監視において極めて重要です。このユースケースは範囲結合（レンジジョイン）に該当しますが、標準的な結合アルゴリズムは完全一致（等価）に依存しているため、従来のエンジンでは処理が困難でした。Databricksのエンジンは、 ip_cidr_containsを介して、IPアドレス向けに最適化された範囲結合をサポートしています。 

Databricksの ip_cidr_containsは、プローブ（「針」）テーブルとブロック（「干し草の山」）テーブルのすべての規模において、価格と速度の両面で従来のデータウェアハウスを凌駕しています。私たちは、5つの代表的なシナリオで ip_cidr_containsのベンチマークを行いました。

結果が示すように、DatabricksのIP関数のパフォーマンスは、規模が拡大しても競合他社を大きく上回っています。プローブ数が100億IPアドレスを超え、ブロック数が100万CIDRを超えると、クエリ速度は横ばいになり始めます。 

コストの差も同様に顕著です。ワークロードがスケールしても、Databricksは依然として 2倍から最大で 6.4倍安価です。

Stanbyは、ネットワーク監視のユースケースを外部システムではなく、レイクハウス上で直接実行することの価値をすぐに実感しました。

「DatabricksのネイティブIP関数を使用することで、SQLで直接IPデータやCIDRデータを処理できるようになりました。壊れやすい文字列のパースや、手動のビット演算ロジックに頼る必要はもうありません。IPデータのパース、検証、結合をファーストクラスのSQL操作として実行できるようになったことで、私たちのチームにとってこの作業はよりシンプルになり、メンテナンス性も向上しました。レイクハウス上の他のデータと並行して、ネットワークやトラフィックの分析を実行するのに最適です。」—Stanby、データエンジニアリングリーダー

最終的に、これらの非常にパフォーマンスの高いIP関数により、ネットワークワークロードのカテゴリ全体をレイクハウス上に直接構築できるようになります。

これにより実現すること

高速でネイティブなIP関数により、これまでレイクハウス上で実行できなかったワークロード全体を移行できるようになります。

• 大規模なCIDRエンリッチメント結合 - すべてのイベントにGeoIP、ASN、脅威インテリジェンス、または所有権のメタデータを数秒でタグ付けし、下流の検出および調査クエリがエンリッチされたデータに対して実行されるようにします。
• 大量データに対するリアルタイムフィルタリング - 「過去24時間におけるこの不審な/16からのすべての接続を表示する」という処理が、バッチジョブではなくインタラクティブなクエリになります。
• 統合されたIPv4およびIPv6分析 - 混合プロトコルのテーブルがそのまま機能するため、最新のトラフィックが破棄されることなく分析されます。
• CIDR-in-CIDRマッチング - ネットワークトポロジやポリシー分析のために、サブネット全体が別のサブネットに含まれているかどうかを、IP-in-CIDRと同等のパフォーマンスで確認できます。
• ファーストクラスのSQLアクセシビリティ - アナリストは、プロシージャコードやUDFライブラリを必要とせず、標準的なSQLでIPフィルタリングや結合を実行できます。

これらの関数がレイクハウスでネイティブにサポートされることで、これらのネットワークワークロードは、企業の他の部門とガバナンスが効いた1つのデータコピーを共有できます。ライセンスの取得、セキュリティ保護、同期維持が必要な、別の専用システムを用意する必要はありません。

今すぐ始める

ネイティブIP関数は、Databricks Runtime LTS以降で現在 一般提供（GA） されています。 

関数の一覧とシグネチャの詳細については、 IP関数のリファレンスドキュメントを参照してください。ネットワークのファイアホースは常に最大のデータセットの1つでしたが、ついに他の分析データと同じ場所に配置できるようになりました。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事