Genie Code のご紹介

Databricks Genie ファミリーに新たに追加されたGenie Codeを発表します。過去6か月で、エージェント型コーディングツールはソフトウェアエンジニアリングを根本的に変えました。Genie Code は、その同じ変革をデータチームにもたらします。Genie Code は、パイプラインの構築、障害のデバッグ、ダッシュボードの提供、本番運用システムといった複雑なタスクを自律的に実行できます。

コードの記述のみに焦点を当てるエージェントとは異なり、Genie Codeはプロアクティブな本番運用エージェントとしても機能します。バックグラウンドでLakeflowパイプラインとAIモデルを監視し、チームが気づく前に障害のトリアージ、定期的なDBRアップグレードの処理、異常の調査を行います。

Unity Catalogと緊密に連携することで、企業のデータ、セマンティクス、ガバナンスポリシーを理解し、これらすべてを実行します。Genie Codeは、実世界のデータサイエンス タスクにおいて、主要なコーディングエージェントを2倍以上も大幅に上回る性能を発揮します。

エージェント的なデータワークの台頭

エージェント型コーディングツールはソフトウェアエンジニアリングに変革をもたらし、開発者をオートコンプリートの先、エージェント駆動開発へと導いています。エンジニアは単一のプロンプトで、機能の雛形作成、コードのリファクタリング、プロトタイプのデプロイを数秒で行えるようになりました。この変化は、LLMの進歩と、現代のソフトウェアコードベースの複雑なコンテキストを解釈できるエージェントシステムによって推進されてきました。

市場に出回っているほとんどのエージェントは、最終製品としてコードに焦点を当てています。しかし、データチームにとって、コードは基盤となるデータを操作し、理解するための単なる手段にすぎません。まさにこれが、ソフトウェア中心のエージェントがデータワークに苦労することが多い理由です。データエコシステムでは、コンテキストはスクリプトだけでなく、使用パターン、リネージ、ビジネスセマンティクスにも存在します。

重大な局面では、このコンテキストへのアクセスが不可欠です。ダッシュボードはビジネス上の意思決定を促進し、パイプラインは本番運用システムを動かし、機械学習モデルは現実世界の結果に影響を与えます。データチームにとって、エージェントが提供するスピードとレバレッジは、絶対的な正確性、再現性、ガバナンスと両立させる必要があります。

Genie Codeは、データ専用に構築されたAIエージェントです。Unity Catalogを活用し、作業中に最も関連性の高いデータとコンテンツを自動的にキュレーションします。パーソナライズされた検索インデックス、カスタム指示、ナレッジストアを作成し、リネージから使用パターンを抽出します。何よりも、チームが使えば使うほど賢くなります。Unity Catalogへのこの深い統合は、外部からデータを読み取るだけのどのシステムよりもはるかに優れています。

Databricksでは、技術ユーザーと非技術ユーザーの両方にわたり、GenieとGenie Codeの影響を直接目の当たりにしてきました。当社の営業チームは、会議前に各顧客の全体像を把握するためにこれを使用し、主要な消費メトリクス、サポートチケット、最近のやり取りを数秒で要約します。製品マネージャーは、手書きのチャートやグラフのスケッチからダッシュボードを構築するためにGenie Codeを使用します。当社の財務チームは、予算実績分析や高度なROIモデリングを実行します。当社のリーダーシップチームは、戦略的な議論中にデータに関する質問にリアルタイムで回答し、フォローアップを減らし、複雑な意思決定を加速させています。会社全体で、これらのツールは私たちのデータとの関わり方を変えました。

Genie Code の機能:

• エキスパートの機械学習エンジニアとして機能：Genie CodeはMLワークフロー全体をエンドツーエンドで処理します。複雑な問題を推論してモデルの計画、作成、デプロイを行うと同時に、MLflowにエクスペリメントを記録し、パフォーマンスを最大化するためにサービングEndpointをファインチューニングします。
• 深いデータエンジニアリングの専門知識: 初心者のエンジニアはテストデータで動作するスクリプトを書くかもしれませんが、Genie Codeはシニアアーキテクトのように設計します。ステージング環境と本番運用環境の違いを考慮し、チェンジデータキャプチャのワークフローを構築して、データ品質の基準を適用します。
• プロアクティブなメンテナンスと最適化: Genie CodeはバックグラウンドでLakeflowパイプラインとAIモデルを監視し、障害のトリアージと異常の調査を行います。人間が介入する前に、エージェントのトレースを自律的に分析してハルシネーションを修正し、リソース割り当てを調整します。
• エンタープライズコンテキストの理解: Unity Catalogと統合されているため、Genie Codeは既存のガバナンスポリシーとアクセス制御を適用します。ビジネスセマンティクスと監査要件を理解し、外部プラットフォームのデータを含むエンタープライズデータを統合します。
• 時間とともに改善: Genie Codeは、より多くのチームが使用するほど賢くなります。永続的なメモリを通じて、過去のインタラクションやコーディングの好みに基づいて内部の指示を自動的に更新します。社内のデータサイエンスタスクにおいて、Genie Codeは品質面で主要なコーディングエージェントを77.1%対32.1%で上回ります。

Genie Codeを使用すると、データチームはコパイロットへのプロンプト入力から、パイプラインの構築、障害のデバッグ、ダッシュボードの提供、本番運用のメンテナンスといった実際の作業をエンドツーエンドで自律的に委任できるようになります。

SiriusXMでは、Genie Codeはノートブックや複雑なSQLの作成から、テーブル間の関係性の推論、パイプラインのデバッグまで、あらゆる作業をサポートします。ハンズオンの開発パートナーとして、データチームが高品質の業務をより短時間で遂行できるよう支援します。 — Bernie Graham、Sirius XM、データエンジニアリング担当バイスプレジデント

データとAI業務のための最高品質エージェント

Genie Codeは単一のモデルで動作しているわけではありません。これは、複数のモデルやツールにタスクをルーティングするエージェントシステムであり、最先端のLLM、オープンソースモデル、Databricksでホストされているカスタムモデルなど、各ジョブに最適なモデルを自動的に選択します。これにより、ユーザーは手動でモデルを切り替えたり、どのモデルが最良の結果を生み出すかを推測したりする必要がなくなります。

Genie CodeはDatabricks APIとも深く統合されており、適切なデータアセットを特定し、豊富なコンテキストを組み立て、より高品質なクエリーを生成することができます。Databricks Research は、プラットフォームで実行されているカスタムモデルと並行して、主要な AI ラボの最新モデルのベンチマークを行い、システムを継続的にチューニングしています。

社内ユーザーから収集した実世界のデータサイエンスおよびアナリティクス タスクに関する最近のパフォーマンスベンチマークにおいて、Genie CodeはDatabricks Model Context Protocol（MCP）サーバーを備えた主要なコーディングエージェントを大幅に上回るパフォーマンスを示しました。

• Genie Code：77.1%のタスクを解決
• 最先端のコーディングエージェント + Databricks MCP: 解決済みタスク 32.1%

Genie Codeはデータ作業のライフサイクル全体をサポートします

機械学習モデルのトレーニングと評価

Genie Code は、ワークフローに組み込まれた専任の機械学習エンジニアとして機能します。「@sales_tableの売上を予測する予測モデルをトレーニングして」のように依頼すると、パイプライン全体を推論します：

• 特徴量の特定とプロファイリング
• トレーニング、検証、テストのデータセットを正しく分割
• 複数のモデルタイプをトレーニングして比較し、ハイパーパラメータスイープを実行して、可能な限り最高のモデルをトレーニングします。
• AUC、F1、RMSE、R²などのメトリクスで結果を評価します
• 特徴量の重要度、混同行列、ROC曲線のプロットを生成
• MLflowでエクスペリメントを追跡
• モデルの診断結果に基づいて改善点を推奨

Databricks Model Servingにデプロイされると、Genie Codeは継続的に関与し、endpointのヘルスチェック、トレースの分析、最適化の推奨を行うことができます。これに関する詳細は、以下の「コードから本番運用へ：Genie Codeによるオブザーバビリティ」のセクションでご覧いただけます。

Genie Codeは、私たちのデータチームの働き方を変えます。ノートブック、パイプライン、モデルを手動でつなぎ合わせる代わりに、私たちのデータガバナンス、ビジネスコンテキスト、そしてRepsol Artificial Intelligence 製品のような社内ライブラリを理解するAIパートナーに、複雑なワークフローを任せることができます。厳密性や管理性を損なうことなく、時系列予測から本番運用へのデプロイまで、あらゆるものを加速させます。 — Emilio Martín Gallardo、プリンシパルデータサイエンティスト、データマネジメント&アナリティクス、Repsol

本番運用に対応したデータパイプラインを作成

Genie Code は、信頼性の高いデータパイプラインの設計と進化を支援する、エキスパートのデータエンジニアです。

• 自然言語からパイプラインを作成: 必要なものを記述すると、Genie Code が、取り込み、変換、データ品質の期待値が組み込まれた完全な Spark 宣言型パイプラインを生成します。
• 既存のパイプラインの拡張: データセットの追加、変換の変更、AutoCDC フローの作成、Auto Loader の設定、データ品質期待値の適用を、すべて現在のパイプラインのコンテキスト内で行います。
• パイプラインの動作を理解：出力の検査、ダウンストリームテーブルへのデータフローの追跡、行数やスキーマの予期せぬ変更の検出。

Genie Codeは、私たちをコーディング支援から真のエージェント的なデータエンジニアリングへと進化させました。Lakeflowパイプラインを分析し、差分付きで複数ファイルにわたる変更を提案し、セーフガードを適用してランを実行し、問題が解決されるまで繰り返します。オートコンプリートというよりは、ワークフローに組み込まれた協力者のようです。 — Nishit Gajjar、テックリード、グローバルインフラ技術プロバイダー

再利用可能なセマンティック定義でダッシュボードを作成

Genie Codeは、再利用可能なセマンティック定義を使用して、可視化の生成、フィルターの設定、複数ページのダッシュボード Layout の整理をすべて行います。それらの定義を、ダッシュボードの規模拡大に合わせて拡張可能なフィルター、計算、Layoutに接続することで、チームは一貫性を維持しながらより迅速に作業を進めることができます。

Genie Codeを使用することで、私たちのチームはAI主導の**アナリティクス**と自動化されたワークフローを、数ヶ月ではなく数週間で提供しています。ローコードエージェントは、ガバナンスを遵守しながら私たちの作業を加速させ、プロジェクトチームやエンジニアリングチームがデリバリーを遅らせることなく、複雑なデータから自然言語による知見を得られるようにします。 — Russell Singer、チーフデータアーキテクト、Bechtel Corporation

自律的なマルチステップの計画と実行

たとえば、次のような高レベルの目的を指定します。 「フライトの遅延リスクを特定し、モニタリングダッシュボードを構築する」。すると、Genie Codeは要件を推論し、複数ステップの計画を策定し、単一の会話スレッドですべてのDatabricks Notebooks、AI/BI Dashboards、Lakeflowにわたってそれを実行します。

Danfossで私たちが目の当たりにしているのは、Genie Codeがデータチーム内の役割を変え、デジタル化とAIへの当社の戦略的重点をサポートしているということです。データサイエンティストは引き続き指示やレビューを行いますが、エンジニア、アナリスト、ドメインエキスパートはアシスタントとともにノートブックで積極的に作業し、高度な分析ワークフローに貢献できるようになりました。これにより、データサイエンスははるかに協調的なチーム活動になります。 — Radu Dragusin氏（Danfoss、データ＆AI担当プリンシパルエンジニア）

ディープコンテクスチュアル検索による探索的データ分析

Genie Code は、人気、リネージ、コードサンプル、Unity Catalog のメタデータを使用して、あらゆる分析に最も関連性の高いデータセットを検索します。この詳細なコンテキスト検索により、データを探す手作業が不要になり、組織内で最も正確で頻繁に使用されるテーブルに基づいて作業を行えるようになります。

すっかり魅了されましたGenie Codeは、データワークがどのように行われるかの未来を垣間見せてくれるようです。 — Sameer Yasser、シニアデータエンジニア、Sundt Construction

カスタマイズと拡張性

Genie Codeは、お客様のチーム固有の標準や外部の技術スタックに合わせて調整できるように設計された、柔軟なプラットフォームです。その機能を拡張するには、主に 3 つの方法があります。

1. Model Context Protocol（MCP）による外部ツール連携
   Genie Codeは、外部ツール、API、ドキュメントと安全にやり取りできるオープンスタンダードであるModel Context Protocol（MCP）をサポートしています。これにより、Databricksワークスペースを超えた自律的なワークフローが可能になります。

例えば、新しい機械学習モデルをトレーニングするための Jira タスクが割り当てられると、Genie Code はそこから自動的にコンテキストを収集し、タスクを実行して、その結果でチケットを更新できます。

MCPを介してGenieを社内のConfluence、Google Drive、GitHub、またはNotionに接続すると、トラブルシューティングの際にチーム固有のランブックやデータ辞書を参照できます。

2. エージェントスキル：ドメイン固有の機能を定義して、Genie Codeに複雑なタスクを一貫して実行する方法を教えることができます。貴社特有のPIIマスキングの処理方法や、データ検証用のカスタムフレームワークであっても、スキルによってAIは常に組織のベストプラクティスに従うようになります。スキルは、オープンなAgent Skillsの形式に従います。
3. メモリ: Genie Codeは使えば使うほど賢くなります。永続的なメモリを通じて、エージェントは過去のやり取りに基づいて内部の指示を自動的に更新します。あなたのコーディングの好みを学習し、最も頻繁に使用するデータセットを記憶し、セッションをまたいでコンテキストを保持します。

コードから本番運用まで: Genie Codeによる可観測性

コードを書くことは、最初のステップにすぎません。それを維持することが本当の課題です。Genie Codeは可観測性エージェントとして機能し、データとAIのワークフローを健全に保ちます。何千もの顧客がDatabricksを使用して高度なAIアプリケーションを提供していますが、本番運用でのこれらのモデルのデバッグは、多くの場合、ライフサイクルの中で最も時間のかかる部分です。

Genie Codeは、Databricks Model ServingおよびMLflow 3.0と直接統合し、このプロセスを自動化できるようになりました。logsやトレースを手動で検索する代わりに、Genieを次の目的で使用できます。

• Endpoint のヘルスチェック: 1つのプロンプトで、コンピュート、リクエスト処理、サーバー logs の全体的なステータスレポートを取得できます。

• エージェント品質分析：ハルシネーション、不適切なツールコール、ユーザーの不満パターンなどの微妙な問題を、複雑なエージェントトレース全体からリアルタイムで表面化させます。

• 本番運用トラブルシューティング：インシデント発生時、Genie はサーバーlogsとメトリクスを相互参照して初期診断を自動化し、解決までの時間を短縮します。
• Endpointの最適化：Databricksのベストプラクティスに基づき、プロビジョニングされた同時実行性、ハードウェア構成、自動スケーリングに関する推奨事項を取得します。

ワークロードを健全に保つバックグラウンド エージェント

Genie Codeはバックグラウンドで動作するように設計されており、ノートPCを閉じた後でもデータを健全な状態に保ちます。複数のエージェントを並行してデプロイすることで、通常データエンジニアの1週間を費やすような運用作業を処理できます。これらのバックグラウンドエージェントは、ジョブの失敗への対応や定期的なアップグレードの管理といった反復的なタスクを処理することで、事後対応型のサポートからプロアクティブなメンテナンスへと移行します。パイプラインが破損した場合、エージェントは安全なサンドボックス環境で検証した後にのみ、根本原因を特定して修正案を提案します。 

たとえば、列が INT (150) から STRING (「150 USD」) に変更されるなど、スキーマの不一致が原因で本番運用パイプラインが失敗した場合、Genie Code は障害箇所を特定し、破損したパイプラインを自動的に修正します。

バックグラウンドエージェントは近日公開予定です。

Unity Catalogに基づく: 統合されたセキュリティとガバナンス

Genie Code は Unity Catalog 上で直接構築されています。この統合により、エージェントは Databricks プラットフォームの他の部分と同じセキュリティおよびガバナンスルールに従います。

Genie Codeがデータを検索する際、ユーザーがアクセスを許可されているアセットのみを表示します。パイプラインを構築する際、既存のリネージとアクセス制御を遵守します。

• ネイティブな変更履歴: すべての編集はDatabricksのバージョン管理システムを通じて追跡されます。ノートブック、クエリー、ファイル、Lakeflow pipelines全体にわたる変更を、安心してロールバックできます。
• 組み込みのガードレール：Genie Codeは、基になるテーブルを変更する可能性のあるコードを実行する前に、事前に確認を求めるように設計されています。
• アクセス制御の強制: Genie Codeは、ユーザーが表示を許可されていないデータ資産を公開することはありません。
• 包括的な監査ログ: あなたの組織は、既存の監査インフラストラクチャを通じて、Genie Codeがどのように使用されているかについて完全な可視性を維持します。

本日よりワークスペースでご利用いただけます。

Genie Codeは、現在お客様のDatabricksワークスペースで一般提供されています。Genie Codeパネルは、ノートブック、SQLエディタ、Lakeflow Pipelinesエディタで本日より利用可能です。複雑な設定は不要です。

詳細を表示

Genie Codeについてさらに詳しく知りたい場合は：

• Genie Codeの主な機能やユースケース、Databricksプラットフォーム全体での仕組みについては、こちらのウェブページをご覧ください
• Genie Codeが実際のデータワークフローをエンドツーエンドで計画・実行する様子は、こちらのデモでご覧いただけます
• 今すぐご自身のワークスペースでGenie Codeを起動するには、こちらのドキュメントをお読みください

皆さんがGenie Codeで何を構築し、自律型エージェントがDatabricksでのデータチームの働き方をどのように変革していくのか、楽しみにしています。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事