Databricks上でTabPFN AIがビジネス変革を加速

最近では、ビジネス変革に関するビジネスジャーナル、四半期決算説明会、業界のホワイトペーパー、戦略プレゼンテーションで、人工知能（AI）を中心としないものを見つけることは困難です。現代のAIは、組織によるコンテンツの利用、解釈、生成の方法に根本的な変化をもたらします。これにより、これまで深い専門知識と長年の経験を必要としていたさまざまなタスクを、企業が拡張・自動化できるようになります。

しかし、AIがテキスト、画像、音声などの非構造化コンテンツを理解し生成する能力に注目が集まる一方で、すなわち、非常に多くのコアビジネスプロセスは、長年にわたり、関連しつつも異なるテクノロジーである古典的なMachine Learning（ML）に依存してきました。MLは構造化されたデータ入力から予測ラベルを生成します（図1）。これまでのところ、AIの変革力は、古典的な機械学習をほとんど変えていません。

従来の機械学習ワークフローが根強く残っているのは、その本来の複雑さと労働集約性に起因します。データサイエンティストは、モデルのトレーニングが始まる前に行われるアクティビティ、すなわち構造化データ入力の準備と検証、特徴量エンジニアリング、適切なモデルクラスの選択に、日常的に時間の80%以上を費やしています。さらに、基盤となるデータ分布が変化し、時間の経過とともにモデルのパフォーマンスが低下するため、この作業は1回限りの投資ではなく、モニタリング、デバッグ、再トレーニングの継続的なサイクルとなります。

大規模になると、この課題はより深刻になります。数百、あるいは数千もの機械学習モデルをデプロイする組織は、自動化された実験フレームワークを利用して、何千ものパラメーターの組み合わせを評価します。しかし、自動化をもってしても、根本的なリソースの制約を克服することはできません。

現実は厳しいものです。企業は限られたリソースと、ビジネスの成果を迅速に上げる必要性を踏まえ、どのモデルの最適化に注力し、どのモデルを「十分な」状態でランするかを選択しなければなりません。しかし、構造化データ入力と予測出力に焦点を当てた新しいAIモデルの登場は、ついに前進への道を開くかもしれません。

ビデオ 1. Databricks ソリューション アクセラレータの一部としての TabPFN モデルとのインタラクション

TabPFNの紹介：Machine LearningのためのAIモデル

この分野で最も有望な開発の 1 つは、構造化データのための機械学習 (ML) ワークフローを根本的に再考する、 Prior Labs の基盤 (AI) モデルである TabPFN です。予測タスクごとに固有のモデルを構築・トレーニングする必要がある従来の機械学習アプローチとは異なり、TabPFN は LLM と同じ「事前トレーニング済みですぐに使える」パラダイムを、表形式のビジネスデータに適用します。このモデルは1億3000万を超える合成データセットで事前学習されており、事実上あらゆるドメインやユースケースの構造化データから効果的に「学習する方法を学習」します（図1）。

機械学習タイムラインの短縮

機械学習の生産性に対する影響は劇的です。従来のアプローチではデータサイエンティストがデータ準備、特徴量エンジニアリング、モデル選択、ハイパーパラメータチューニングに数時間から数日を費やす必要があるのに対し、TabPFN は通常わずか数秒の 1 回のフォワードパスで本番環境レベルの予測を提供します。

このモデルは生の入力を直接処理し、通常データサイエンスの労力の大半を占める広範な前処理を必要とせずに、欠損値、混合データ型、カテゴリカル特徴量、テキスト特徴量、外れ値を自動的に管理します。おそらく最も重要な点として、TabPFNはモデル再トレーニングという継続的なメンテナンスの負担をなくします。新しいデータが利用可能になっても、組織は新たなトレーニングサイクルを開始するのではなく、モデルのコンテキストを更新するだけです。

トレードオフのないパフォーマンス

TabPFNは、何時間もの自動チューニングを必要とする従来の手法の精度を上回ります。このパフォーマンス プロファイルは、前述の経済性を根本的に変えます。組織はもはや、モデルの精度とリソース割り当てという二者択一を迫られることはありません。その代わり、データサイエンスチームを比例的にスケールさせることなく、より広範なユースケースに予測機能を迅速にデプロイでき、通常は専用の最適化作業が必要となる一握りの最も価値の高いアプリケーションを超えて機械学習を民主化できます (図 2)。

AIの影響力を構造化予測へ拡大

TabPFNは現在、最大10万行、2,000特徴量のデータセットをサポートしており、エンタープライズ版では1,000万行まで拡張可能です。これにより、小売、金融、ヘルスケア、製造、その他の業界にわたる運用MLのユースケースの大部分をカバーします。コンテンツ生成や自然言語タスクの範囲を超えてAIの実用化を目指す組織にとって、TabPFNのような基盤モデルは、長年にわたりデータ駆動型意思決定の根幹を形成してきた構造化データと予測分析に、同様の段階的な生産性向上をもたらす、まさに「欠けていた一片」なのです（図3）。

TabPFNは、すでに世界中の企業で多くの実用アプリケーションを支えています。Taktileによる金融リスク管理、NHSによる健康成果評価、Hitachiによる予知保全など、さまざまな分野への導入により、効率と成果の質の両方が向上しました。TabPFNは、従来の機械学習手法を一貫して上回る性能を発揮し、ベースラインを10%-65%向上させ、データサイエンスのワークフローを90%高速化します。組織は、収益の増加、健康成果の改善、メンテナンスコストの削減、顧客離れの防止など、多くのメリットを実現しています。

DatabricksでのTabPFNの使用

Databricksは、Machine Learning（ML）を用いて予測機能の構築を目指すデータサイエンティストに、長年選ばれ続けているプラットフォームです。オープンプラットフォームとして、TabPFNはDatabricksプラットフォーム内での使用に非常に適しています。

データが存在する場所で構築

ほとんどのエンタープライズの古典的なMLは、トランザクション、運用テレメトリ、顧客イベント、在庫シグナル、リスク指標といったレイクハウスのデータから始まります。そのデータを外部環境に移動させると、重複が生じ、セキュリティリスクが高まり、再現性と監査可能性が弱まるため、チームのスピードが低下します。Databricksを使用すると、ガバナンスの効いたデータに直接隣接してTabPFNワークフローを実行できるため、チームは統制を維持しながらデータ移動を最小限に抑えることができます。Unity Catalogを使用すると、組織はアクセス制御と監査を一元化し、データとAI資産全体のリネージを保持できます。これは、どのデータが使用され、特徴量がどのように導出され、意思決定時に誰がアクセス権を持っていたかを証明する必要がある場合に重要となります。

結果を効率的に運用化

TabPFNはモデリング手法です。本番運用でインパクトを生み出すには、バッチおよびリアルタイムでのスコアリング、評価、ガバナンス、モニタリングといった、反復可能なエンタープライズパターンと統合する必要があります。Databricksはこれらのワークフローのための強力なプラットフォームであり、スケーラブルなコンピュートとリアルタイム推論インフラストラクチャによって、TabPFNを信頼性の高い運用プロセスに変えることができます。評価とモニタリングのために、MLflowはエクスペリメントの追跡とモデルレジストリを提供し、バージョン、リネージ、プロモーションワークフローを監査可能な方法で管理します。

継続的なモデルガバナンスの提供

DatabricksはTabPFNモデルのパフォーマンスを継続的にモニタリングし、予測が実際のビジネス成果からdriftし始めたときにそれを検出します。調整が必要な場合でも、TabPFNのアーキテクチャにより、従来数週間かかっていた再トレーニングのサイクルが不要になります。チームはモデルのコンテキストを最新データで更新し、数日ではなく数分で再デプロイするだけです。この自動モニタリングと迅速な更新機能の組み合わせにより、継続的なモデルメンテナンスに通常必要とされるデータサイエンスのリソースを大幅に削減しながら、予測の品質が変化する市場の状況と一致し続けることが保証されます。

チームが最小限のセットアップでTabPFNをテストできるように、私たちは、管理されたLakehouseデータを使用してDatabricks上でTabPFNをエンドツーエンドでランするする方法を示す、公開されているソリューションアクセラレーターを公開しました。このアクセラレーターには一連のノートブックが含まれており、さまざまな業界シナリオのデータを現実的にシミュレートし、TabPFNを使用して予測を構築します（ビデオ1）。

今すぐ始めましょう。AI の変革力を機械学習ワークロードにもたらし、全社的なビジネスプロセスの変革を推進しましょう。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事