FennelがDatabricksに参画します！ 誰もが機械学習を使いこなせる世界へ

本日、DatabricksにFennelチームを迎えることができ、大変うれしく思います。
Fennelは、変更があったデータだけを再計算することで、バッチ、ストリーミング、リアルタイムデータにおける特徴量エンジニアリングのパイプラインの効率性とデータの鮮度を大幅に向上させます。

このFennelの機能をDatabricks の Data + AI Platformに統合することで、顧客は特徴量の試行錯誤をより迅速に行えるようになり、信頼性の高いシグナルでモデル精度を向上させ、生成AIモデルに対してパーソナライズされたリアルタイムの文脈を提供できるようになります。それも、複雑なインフラの管理や高額なコストをかけることなく実現できます。

AI時代の特徴量エンジニアリング

機械学習モデルの性能は、学習するデータの質によって決まります。
だからこそ、「特徴量エンジニアリング」は非常に重要です。特徴量とは、ドメインに特化した意味や行動パターンをモデルが理解できる形式に変換したものです。

生成AIの時代においては、大規模言語モデルが非構造化データを直接扱えるようになっていますが、それでも特徴量エンジニアリングは欠かせません。プロンプトの一部として、パーソナライズされた情報や集約されたデータ、リアルタイムな文脈を提供するために重要な役割を果たします。

しかし、その重要性にもかかわらず、特徴量エンジニアリングはこれまで非常に手間とコストがかかる工程でした。最新かつ適切に変換された特徴量を算出するには、複雑なETLパイプラインの構築と維持が必要だったためです。多くの企業が、バッチデータとリアルタイムデータの両方を扱うこと、トレーニング環境と本番環境で一貫性を保つことに苦労しています。さらに、それらを高品質かつ低コストで実現することは、なおさら難しい課題でした。

Fennel + Databricks

Fennelは、特徴量とそのパイプラインの作成・管理を効率的かつシンプルに行えるフルマネージドプラットフォームを提供し、これまでの課題を解決します。
バッチ処理とリアルタイム処理の両方に対応しており、特徴量の鮮度を保ちながら、トレーニング時と提供時のズレ（training-serving skew）を防止します。

Pythonネイティブな操作環境により、データサイエンティストは新しい言語を習得したり、データエンジニアに依存せずに、複雑な特徴量も簡単かつ迅速に記述できます。
また、差分のみを再計算するインクリメンタル処理エンジンにより、不要な処理を避けてコストを最適化。さらに、優れたデータガバナンス機能で高いデータ品質を維持します。

特徴量パイプラインの管理を包括的に支援するFennelは、機械学習モデルの開発・デプロイにかかる複雑さと時間を大幅に削減。データサイエンティストが複雑なインフラ管理ではなく、モデルの精度向上に直結する特徴量の設計に集中できるようになります。

Fennelのチームは、MetaやGoogle BrainでAIインフラの開発をリードしてきた経験豊富なメンバーで構成されており、機械学習における最新の特徴量エンジニアリングに強みを持っています。
2022年の創業以来、「あらゆる規模のチームがリアルタイム機械学習を簡単に活用できるようにする」というビジョンのもと、製品の迅速な実現を支援してきました。

たとえば、UpworkやCricutといった企業は、Fennelを活用して、クレジットリスク判断、不正検知、トラスト＆セーフティ、パーソナライズランキング、マーケットプレイスのレコメンデーションなど、さまざまなユースケースで機械学習用の特徴量を構築しています。

今後FennelチームはDatabricksのエンジニアリング部門に加わり、すべてのお客様がDatabricksのData + AI Platform上でリアルタイム特徴量エンジニアリングの恩恵を受けられるよう取り組んでいきます。

統合に関する最新情報は今後のアップデートをぜひお楽しみに。
また、6月9〜12日にサンフランシスコで開催される Data + AI Summitで、Fennelの実際の活用例をご覧いただけます！