質問、構築、構成：第5回Genieハッカソンから学んだDatabricks Genieについて

Databricksハッカソンの仕組み

私たちがこうしたハッカソンを開催する理由はシンプルです。製品を学ぶ最も手っ取り早い方法は、それを使って何かを作ることだからです。各ハッカソンは、チームが製品について学び、ロードマップ上での今後の方向性を把握するイネーブルメントセッションから始まります。その後、開発がスタートします。チームは約1週間共同で作業してプロジェクトを提出し、最も優れたソリューションには賞品が授与されます。

今回で5回目の開催となり、スポットライトを浴びた製品は Databricks Genieでした。

Genieがハッカソンに最適な理由

Databricks Genie製品を使用すると、SQLの代わりに日常的な英語（自然言語）でデータを操作できるため、ハッカソンのテーマとして非常に幅広い可能性が広がります。Genieは単一の機能ではなく、ファミリーであり、次の3つの異なる形で提供されます。

• 質問する（Ask it）： Genie Agentは、ガバナンスが適用されたデータに対するチャットインターフェースです。
• 構築する（Build with it）： Genie Codeは、データ、アナリティクス、MLワークフローを支援する自律型AIパートナーです。
• 組み合わせる（Compose it）：Genie Agentは、エージェントやアプリが自律的に呼び出すツールとして公開できます。

これらはそれぞれ組織内の異なるチームに役立つため、今回は3つのトラックを用意しました。単に答えを求めるビジネスユーザーから、Genie Agentをシステム全体に組み込むエンジニアまで、この順番に沿って見ていきましょう。3つのトラックすべてに共通しているのは、質問の仕方に依存せず、Unity Catalogが「誰が何を表示できるか」を制御し、Genie Ontologyが共有のセマンティック理解を提供するという点です。

トラック1：Genie Agentでデータと対話する

対象者：ガバナンスが適用されたドメイン固有のエージェントに質問したいビジネスユーザー。Genie Agentは、アナリストがガバナンスの適用されたデータの一部に対して構築するドメイン固有のチャットインターフェースであり、ビジネスユーザーと共有して自然言語で質問することができます。キュレーターは、Unity Catalogのテーブルを指定し、いくつかのサンプルクエリを追加し、SQL式やメトリックビューでビジネス用語を定義し、正確な回答が必要な質問に対して信頼できるアセット（ガバナンスが適用された関数）を固定できます。そこから、ビジネスユーザーは質問を入力するだけで、結果、グラフ、およびその背景にあるクエリを受け取ることができます。実際のチームがGenie Agentをデプロイすると、どのようになるでしょうか。

OneTrustは、Genie Agentの本来の仕組みに真っ向から取り組みました。単一のエージェントは最大30個のテーブルに焦点を当てるように設計されており、これにより迅速かつ正確な回答を維持できますが、OneTrustの実際のアナリストが関心を持つデータは190個のテーブルと300以上のビューに及びます。そこで彼らは、データをいくつかの特化したGenie Agentにシャード（分割）し、各質問を適切なエージェントにルーティングし、回答を1つの会話にまとめる監視レイヤーを構築しました。ユーザー側から見れば、何も変わりません。これまで通り1つのエージェントに質問するだけです。その裏側では、信頼性を維持するガバナンスを犠牲にすることなく、企業全体のデータ資産に対して自然言語でのセルフサービスが実現されています。

別のチームは、Genie Agentを約16万件のローン記録に接続し、極めて重要なステップとして、チーム独自の用語を学習させました。「cure」の意味や「DNC」が何を表すかを定義することで、モデルが日常的な質問を正しいデータにマッピングできるようにしたのです。間もなく、回収チームは自然言語で質問できるようになり、滞納ローンの大部分が約15日以内に解決されているといった事実を把握できるようになりました。最も素晴らしかったのは、予期せぬ瞬間でした。用語集が整備されると、エージェントはチームが思いつきもしなかった鋭い質問を提案し始めたのです。適切なコンテキストを与えることで、チャットボックスはこのような存在へと進化します。

トラック2：Genie Codeで構築する

質問することは始まりにすぎません。次の問いは、「誰が、どれだけ迅速に構築できるか」です。

対象者：アナリストおよびビルダー。データについて理解しており、ある程度のSQLは書けるものの、プロジェクトでパイプライン、関数、洗練されたダッシュボードが必要になった途端に壁にぶつかっていた、セミテクニカルな人々です。

Genie Codeは、このファミリーにおける「ビルダー」です。やりたいことを自然言語で説明するだけで、メトリックビュー、Unity Catalog関数、パイプライン、ダッシュボードの作成といった作業をすべてDatabricks内で実行してくれます。個別の開発環境をセットアップする必要はありません。Unity Catalogと深く統合されているため、実際のスキーマとセマンティクスを理解し、勝手にカラム名を作成するのではなく、適切な結合（JOIN）を選択します。アナリストにとって、これは大きなレバレッジとなります。かつてはデータエンジニアリングチームへの起票や、1週間かけてSQLを手書きしていた作業が、今では半日で完了します。これこそが、このトラックが示すために設計された価値です。

あるチームは、データチーム自身のシステムにGenieを適用しました。彼らはGenie Codeを使用してガバナンスインテリジェンスプラットフォームを構築しました。これは、廃止すべき休止中のレポートにフラグを立て、リネージとSQLロジックを使用して組織内に隠れている重複レポートをクラスタリングし、データが実際にAIで利用可能な状態にあるかどうかをスコアリングするものです。通常であれば、四半期単位の期間とロードマップを必要とするような横断的なガバナンスプロジェクトですが、Genie Codeを使用することで、ハッカソン期間中に完成させることができました。

Procoreは、Databricksから離れることなく、バケーションレンタルプラットフォーム向けの分析エクスペリエンス全体を構築しました。Avinash、Abdullah、Amy、Jasonの各氏は、ai_extract()などの組み込みAI関数を使用してリスティングを自動的に分類・スコアリングし、KPI、前年比トレンド、予測のダッシュボードをリリースしました。さらに、ポートフォリオマネージャーの「満足度を向上させるためにどのアメニティを追加すべきか」という質問に数秒で回答するGenie Agentも併設しました。数週間ではなく数日間で構築された、洗練されたマルチパート製品です。

Fanatics Betting and Gamingは、マネージャーの要求に応じて、ROIに基づいて正当化された優先順位付きのアクションリストを提供する顧客体験ツールを、半日でエンドツーエンドで構築しました。さらに、私たちが非常に気に入った取り組みも行いました。彼らはGenieを使用して自社の解約（チャーン）モデルのストレステストを行い、履歴に基づく2つの特徴量がシグナルのほぼすべてを担っていることを発見し、よりシンプルなアプローチでも同様に機能するという結論を導き出しました。さらに、このワークフローを再利用可能なアナリストスキルとしてパッケージ化しました。これほど迅速に構築できれば、自らの成果を検証する余裕が生まれます。これこそが、優れたアナリストがツールを活用すべき方法です。

トラック3：Genieをエージェントに組み込む

データと対話し、データを使って構築することができます。最後のステップは、私たちが最も興奮している部分です。

対象者：バイブコーダー（直感的にコードを書く開発者）。ここは、すべてが結びつく最も深い領域です。課題は、Databricks Apps上で、Genieをツールの1つとして組み込んだ完全なエージェントを構築し、独自の要素を持ち寄ることでした。

この部分は、Genieの定義そのものを変えます。Genie Agentは最終目的地である必要はありません。Genie Conversation APIとDatabricksに組み込まれたマネージドMCPサーバーを介して、Genie Agentは、あらゆるエージェントが呼び出して自然言語でデータに関する質問をし、根拠のある回答を得ることができる、ガバナンスの適用されたツールになります。これにより、エンジニアはDatabricks Apps上でエージェントを構築し、他のMCPサーバー、Model Servingエンドポイント、カスタムロジックと並べてGenieを組み込み、そのすべてをMLflowでトレースし、OAuthとUnity Catalogですべての呼び出しを管理できます。Genieが「ウェアハウスとの対話」を処理し、残りの部分をあなたが構成します。

ShipBobは、誰もが記憶に残るプロジェクト「午後11時の運用ブリーフ（11 PM Ops Brief）」を構築しました。サプライチェーンチームは通常、すでに発生している混乱に対応するために目を覚まします。ShipBobのシステムは、彼らが目覚める前に夜間のブリーフを作成します。監視エージェントが複数の専門エージェントを調整し、Genieがウェアハウスへのクエリを担当する一方、他のエージェントが17のライブパブリックフィードを融合し、繰り返し発生するパターンを明らかにし、結果の下書きとファクトチェックを行います。出力されるのは、約19万2,000ドルのリスクにさらされている収益などの実際の数値を含む、自然言語によるブリーフです。さらに、人間の承認待ちのライトバックアクションがキューに入れられ、すべてのステップがMLflowでトレースされます。30分間のスタンドアップミーティングが、30秒の読書に変わります。これは、ソロプレイヤーではなくチームプレイヤーとしてのGenieの姿を最も明確に示しています。

Reach Mobileは、これと同じアイデアをDatabricks自体に適用した「DBX Lens」を構築しました。これは、組み込みのGenie Agentと独自のMCPサーバーを組み合わせることで、「過去30日間のSKUごとのDBUを表示して」と問いかけるだけで、Unity Catalogのシステムテーブル全体から、ユーザーの権限に応じたコストやガバナンスに関する回答を分かりやすい英語で得ることができます。さらに、Model Servingを使用して、自然言語のガバナンスルールをサニタイズされたSQLに変換する機能も備えています。チームの効率性を維持し、ベストプラクティスを常に把握できるように支援する、組み込みのFinOpsアナリストのようなものだと考えてください。

Kin Insuranceは、成長とマーケティングのためのエージェントを構築しました。このエージェントは、新しい市場を調査し、Genieを組み込んで分析を実行し、チームがすぐに実行に移せる推奨事項を返します。自律的なプランニングとGenie Agentを組み合わせることで、何段階にも及ぶ面倒な調査とレポート作成の作業を、たった1回の質問に凝縮します。質問の手間を減らし、より多くの実行を可能にします。

さらに2つの構築事例が、この同じ構成アイデアを異なる角度から示しています。

Rippleは、規制の厳しい金融業界向けにKYC（本人確認）ブリーフィングエージェントを構築しました。Genieが社内のCRMコンテキストを提供する一方で、エージェントが外部の制裁措置、法執行、ネガティブメディアのソースをスクリーニングします。これにより、会議前の3〜4時間に及ぶ手動の調査作業が、わずか1つのプロンプトと、1分未満で生成される完全に引用元の明記されたブリーフに凝縮されます。認定されたメトリックビューによって数値の正確性が維持され、すべての実行ログがUnity Catalogに記録されるため、明確な監査トレールが確保されます。

Fanatics Betting and Gamingは、スポーツブックの新規顧客向けオンボーディングガイドである「FirstBet Coach」を構築しました。これは、ガバナンスが適用された十数個のテーブルに対応するGenieと、チームが独自に構築したカスタムスポーツデータMCPサーバーを組み合わせ、さらに永続メモリとMLflowトレースを統合して、組み込みの監査トレールを実現しています。2つのMCPサーバー、1つの会話、そして責任あるギャンブルのためのガードレールが事前に設定されています。

全体像

これら3つのトラックを続けて読むと、Databricks Genieファミリーの実用的なツアーを体験できます。回収担当のリードはGenie Agentを使って質問します。アナリストはGenie Codeを使ってガバナンスプラットフォームをリリースします。エンジニアは、数あるツールの1つとしてGenieを自律型エージェントに渡します。話しかけ、構築し、組み合わせましょう。

これら3つすべてを実際のユーザーに安全に提供できる理由は、どの開発者も深く悩む必要のなかったレイヤー、すなわちUnity Catalogがあるからです。ビジネスユーザーがGenie Agentで閲覧できる内容を決定するのと同じガバナンスが、Genie Codeがアクセスできる範囲や、エージェントが返せる内容も制限します。データを一度適切に記述し、ガバナンスを適用すれば、Genieはビジネスユーザー、ビルダー、エンジニアのそれぞれの作業環境に完璧にフィットします。

実用的なものを構築した10のチームすべてに敬意を表します。Databricks Genieファミリーを使い始めるための推奨リソースをいくつかご紹介します。

• Data + AI Summitの対話型およびエージェント型アナリティクスのセッションをご覧ください。
• Genie Agentを初めてお使いですか？まずはGenieオンボーディングガイドと、エージェントをキュレートするためのベストプラクティスから始めましょう。
• 構築をご希望ですか？Genie Codeの詳細を確認し、エージェントの背後にGenie Agentを配置する方法をご覧ください。
• 試してみる準備はできましたか？無料トライアルを開始して、ご自身のデータにGenie Agentを適用してみましょう。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事