特徴量ビューのご紹介

理想的な環境であれば、ML特徴量は一度作成するだけで済みます。しかし多くのチームにとって、ノートブック上では動作する特徴量であっても、重複したロジック、壊れやすいパイプライン、単発のバックフィル、オンラインストアのインフラ構築、ガバナンスのオーバーヘッドといった問題につながるのが現状です。不正検知、パーソナライズ、レコメンデーションなどのリアルタイムのユースケースでは、モデルが正確な予測を行うために最新のシグナルに依存するため、この複雑さへの対応はさらに困難になります。よくある課題には以下のようなものがあります。

• リアルタイム処理と過去データを用いたトレーニングの間での特徴量ロジックの再実装
• トレーニングとサービングの間のスキュー（乖離）によるモデルパフォーマンスの低下
• ユースケース間での特徴量の発見と再利用
• 長期間の過去データに遡る特徴量のオンラインストアへのバックフィル
• 大規模で複雑な本番環境インフラの維持管理
• コンポーネントやパイプラインにまたがるガバナンスとリネージ（系統）の追跡

Databricksは、Databricks内でマネージドな特徴量パイプラインを直接作成するためのフレームワークである「Feature Views」のパブリックプレビューを発表できることを嬉しく思います。Feature Viewsを使用すると、特徴量を一度作成するだけで、実験からリアルタイムサービングまでのすべてをプラットフォームに任せることができます。

Feature Viewsとは？

Feature Viewは、MLライフサイクル全体をカバーする、シンプルで強力な抽象化概念です。データサイエンティストやMLエンジニアは、ソース、エンティティ、時系列カラム、計算処理といった特徴量ロジックを定義します。その1つの定義から、DatabricksのFeature Storeは、実験やトレーニング用に、過去の特定の時点における正確なデータを生成します。準備が整ったら、ユーザーはFeature Viewをマテリアライズ（実体化）し、Databricksが効率的な推論のために特徴量データを計算するパイプラインを実行します。

同じ特徴量定義で、バッチソースとストリーミングソースの両方をサポートします。実験と本番移行の手順は、どちらのソースでも同じです。バッチソースからストリーミングソースへの切り替えは、数行のコードを書くだけで簡単に行えます。

以下は、ストリーミング特徴量およびバッチ特徴量として実行される、同じFeature Viewの定義です。

なぜFeature Viewsなのか？

1. 1つの定義でスキューを排除

リアルタイムMLにおける最大の失敗要因は、トレーニング用の特徴量計算方法と、サービング時の計算方法との間のギャップです。Feature Viewsは、その構造によってこのギャップを解消します。定義は1つだけであり、プラットフォームはその単一の定義に基づいてトレーニング値とオンライン推論値を計算するため、両者が完全に一致します。MLチームにとって、これはメンテナンスが必要なコードが大幅に削減され、本番環境への移行が非常にスムーズになることを意味します。

「数億人の旅行者に対するより優れたレコメンデーションは、より優れた特徴量から始まります。Feature Viewsによって特徴量コードが劇的に削減されました。当社のデータサイエンティストは開発を加速させ、計算方法ではなく、旅行者の価値を高める要素に集中できるようになりました。」—Skyscanner、データ部門シニアディレクター、Jules Marshall氏

2. 実験を支援するGenie Code

Feature Engineering Client SDKとGenie Codeを使用すれば、迅速かつ簡単に構築を開始できます。このSDKを使用すると、ノートブック内でローカルに特徴量を簡単に宣言し、過去データに基づいて即座に正しく計算して、特定の時点における正確なトレーニングセットを構築できます。

Databricksでは、特徴量の定義、特徴量データ、モデルトレーニング、MLflowが1つの環境に統合されているため、データサイエンティストは特徴量のアイデア出しからモデルの実験までを単一のノートブック内で行うことができます。

Genie Codeを使用すると、チームはFeature Viewsを活用して、適切なデータソースの特定、特徴量のアイデア生成、モデルとデータの実験を単一のノートブックで行う、ワンショットのモデル実験ワークフローを実行できます。

3. 運用不要の本番対応パイプライン

特徴量の本番運用の準備が整ったら、Unity Catalogに登録し、`materialize_features`を呼び出します。Databricksがユーザーに代わってパイプラインを作成・管理し、適切なオンラインストアおよびオフラインストアに書き込みます。

本番対応とは、高品質なデータ、スケーラブルなインフラ、そしてミッションクリティカルな信頼性を意味します。Feature Viewsは、実績のあるGA（一般提供）製品であるLakebaseやRTMをバックグラウンドでオーケストレーションし、各コンポーネントの連携を最適化してFeature Servingのワークロードをサポートします。長期間のウィンドウのバックフィル、ストリーム特徴量、オンラインストアからの古い行の期限切れ処理などの特殊なケース（コーナーケース）も、設定なしでそのまま機能します。

4. 必要に応じたリアルタイムの鮮度

新しいイベントが発生するたびに、モデルに提供される値を即座に変更する必要があるユースケース向けに、Feature ViewsはKafkaをソースとするストリーミング特徴量をサポートしており、イベントの発生からオンラインで利用可能になるまで、エンドツーエンドで200ミリ秒のp99レイテンシを実現します。`RollingWindow`は、ミリ秒単位の解像度で各イベントのタイムスタンプから過去に遡るため、「過去10分間の取引合計」のような集計値は常に最新の状態に保たれます。

バックグラウンドでは、Databricksがこの高速化を実現するコンポーネントをオーケストレーションしています。Spark Realtime Modeがイベントを継続的に処理し、マイクロバッチを待つことなくイベントごとにローリング集計を更新します。Lakebaseはストリーミングに最適化されたオンラインストアとして機能し、頻繁に発生する小規模なアップサート（挿入・更新）に対するライトアンプリフィケーションを最小限に抑えます。そして、Model Servingが推論時に特徴量を構築・取得します。ユーザーがローリングウィンドウ特徴量を記述するだけで、プラットフォームがパイプラインを構築します。

5. Unity Catalogによるガバナンスとプラットフォーム全体への統合

マテリアライズされた特徴量はデータであり、データと同様に管理されるべきです。Databricksにおいて、Feature ViewsはUnity Catalogのファーストクラスオブジェクトであり、検索可能で、アクセス制御され、完全なリネージ（系統）が追跡されます。特徴量はモデルとパッケージ化されます。MLflowでモデルを記録すると、その特徴量の依存関係が記録され、推論時にはModel Servingが必要な特徴量を自動的に検索します。カスタムの検索コードや手動の配管作業は不要です。MLflow、Model Serving、Genie Codeと組み合わせることで、Feature ViewsはDatabricksを、MLスタック全体の開発、デプロイ、ガバナンスをワンストップで行える場所にします。

Genie CodeはFeature Viewsとネイティブに統合されているため、データサイエンティストはシンプルなプロンプトから特徴量を構築し、反復開発を行うことができます。ノートブックに新しい特徴量を追加するよう指示すると、Genie CodeはDatabricksにすでに存在するデータとガバナンスを利用して、コンテキストに応じた適切なコードを生成できます。

チームによるFeature Viewsの活用方法

• 金融サービスチームは、不正検知のための1秒未満の取引シグナルに、`RollingWindow`ストリーミング特徴量を使用しています。
• パーソナライズおよびレコメンデーションチームは、エンゲージメントを高めるためにユーザーの最新のセッション内インテントをキャプチャする一方で、モデルトレーニングのためにオフラインで同じ定義を再利用しています。
• プラットフォームチームは、これまで断片化されていた特徴量パイプラインを、管理されたUnity Catalogオブジェクトに統合し、自己管理型のオンラインストアやストリームプロセッサの運用負荷を排除しています。

はじめに

使い始めるには、GenieにFeature Viewsを使用して新しい実験を作成するよう指示するだけです。

Genieは、特徴量の定義、データセットの重要度分析、トレーニングセットの構築、そして本番環境への移行準備が整った際の登録と実体化（マテリアライズ）を支援します。なお、ストリーミングの実体化には、Lakebaseをサポートするリージョン内のEnterpriseティアのワークスペースが別途必要です。

詳細については、以下のドキュメントをご覧ください：

• Feature Viewsのドキュメントを読んで、最初の特徴量を定義しましょう
• Feature Viewsのクイックスタートノートブックを試して、実際にコードを動かしてみましょう
• トレーニングとサービングのワークフロー全体については、Feature Viewsを使用したモデルトレーニングとFeature Viewsの実体化（マテリアライズ）に関するドキュメントをご覧ください

Feature Viewsを使用すると、特徴量を一度作成するだけで、基盤となるインフラを自分で運用することなく、実験、バッチ、リアルタイムサービング全体で再利用できます。既存のバッチ特徴量を使って、ミリ秒レベルの鮮度（フレッシュネス）がどれほど強力なシグナルをもたらすかをお試しください。それを実現するパイプラインの実行は Databricks に任せることができます。

このような課題に一緒に取り組みたい方を、現在募集しています。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事