Databricks Assistant Data Science Agent 登場！

発表から2年間で、Databricks Assistantはデータ専門家にとって欠かせないパートナーとなり、SQLやPythonのコード生成、エラー解決、ワークフロー内での直接的なガイダンス提供を支援しています。その間に、AIの風景は急速に進化しました。フロンティアは、単純なコパイロットやチャットボットから、複雑で多段階のプロセスを理解、計画、自動的に実行できるエージェントへと移行しました。

このパラダイムをデータに拡張するには、コードの流暢さ以上のものが必要です。企業のデータエージェントは、あなたのデータの文脈を理解し、その作業を見直し、洗練することを可能にし、最高のガバナンス基準で運用する必要があります。Databricksは、このビジョンを実現するためにユニークな位置にあります。Unity Catalogが統一されたポリシー、系統、ビジネスセマンティクスを提供することで、プラットフォームはすでにデータインテリジェンスの信頼できる基盤となっています。その基盤を基に、エージェントは透明性、信頼性、厳密さを損なうことなく、問いから洞察までの時間を短縮することができます。それが私たちが現在Databricksアシスタントにもたらそうとしている未来です。

エージェントをDatabricksアシスタントに導入

誇りに思って紹介します、データサイエンスエージェント、これはDatabricksアシスタントを有用な共同作業者から真の自律的なデータサイエンスと分析のパートナーに昇格させる大きな進歩です。DatabricksノートブックとSQLエディターと完全に統合され、データサイエンスエージェントは、知識、適応性、実行を一つの体験にまとめます。これはアシスタントのエージェントモードで選択できる新世代のAIデータエージェントの最初の一つで、今後数日間で顧客に展開される予定です。

データサイエンスエージェントは、今日のDatabricksアシスタントで既に行っているすべての作業に基づいており、高次元のタスクを任せると作業が大幅に加速します。これがあなたの日常をどのように助けるか、いくつかの例を挙げてみましょう：

• データの探索：エージェントに「@tableで探索的データ分析を行い、興味深いパターンを特定する」ように依頼することができます。特定の領域に焦点を当てた探索を行いたい場合は、追加のガイダンスを提供することができます。「@」機能は既存のアシスタント機能であり、アシスタントに参照している特定のテーブルを簡単に示すことができます。

• MLモデルの訓練と評価：エージェントは、必要に応じてMLflowの機能を使用して機械学習のタスクを実行できます。例えば、エージェントに「@sales_tableでの売上を予測する予測モデルを訓練する」ように指示することができます。その後、特定のモデルタイプを使用するように指導したり、ハイパーパラメーターチューニングにどれだけ焦点を当てるかを指示することができます。
• エラーの修正：人々はAssistantの診断エラーボタンが大好きです。エージェントモードでは、診断エラー機能が追加の更新を行い、問題が解決するまで修正を試みるのを助けてくれます。
• 結果の要約と説明：エージェントに分析結果の説明と要約、またはさらなる分析の実施を依頼することができます。
• 関連するデータの検索：エージェントは、Unityカタログであなたがアクセスできるテーブルを検索して、あなたがタスクを完了するために必要なデータを見つけるのを助けることができます。あなたが探しているものを詳しく説明してみてください。例えば、列の名前やデータの種類などです。あなたのテーブルと列に説明的なコメントがあると、データサイエンスエージェントはこれにより有用になります。

正確で信頼性のある回答

データサイエンスエージェントの目標は、正確で関連性のある、そしてあなたの組織のデータに基づいた答えを提供する、信頼できるデータサイエンスと分析の経験を提供することです。これは難しい問題であり、フロンティアAIモデルでさえも、あなたのデータのセマンティクス、ビジネスロジック、チームの働き方を理解していません。データサイエンスエージェントは、AIモデルの推論力とDatabricksデータインテリジェンスプラットフォームを組み合わせることで、信頼性と文脈認識の両方を確保した結果を提供します。例えば、Unity Catalogを検索して適切なテーブルやノートブックを見つけ出し、結果を解釈して最善の次のステップを提案することができます。これには、分析の精度を上げる、モデルの訓練、またはステークホルダーに対する調査結果のまとめなどが含まれます。データサイエンスエージェントは、ガバナンスの文脈でエージェントのワークフローを基盤にすることで、生の自動化を信頼性のある加速に変えます。

まずはここから

ワークスペースの管理者は、Databricksプレビューポータルからアシスタントエージェントモードのベータ版を有効にすることができます。

管理者がエージェントモードを有効にすると、アシスタントの右下隅にトグルが表示されます。それをエージェントに切り替え、タスクを入力し、エージェントに最初から最後まで処理させます。複数のステップや複雑なリクエストについては、透明性とコントロールを強化するためにPlannerを試すことをお勧めします。

より複雑なワークフローに対してプランナーを使用する

エージェントのプランナー機能は、実行前に計画を立てることで複雑なワークフローを管理するのに役立ちます。アシスタントスレッドの開始時にそれをオンにし、エージェントは詳細なステップを提案し、必要に応じて明確化の質問を行い、あなたの入力に基づいて計画を洗練します。それが正しいと見えたら、クリックして続行、エージェントはそれをステップバイステップで実行し、途中であなたと結果を見直し、最後に結果をまとめます。

タスクが複数のステップにまたがる場合や、慎重なオーケストレーションが必要な場合、プランナーは特に価値があります。例えば、顧客離反の調査では、データセットの探索、コホート分析、可視化をエージェントに指導することが求められるかもしれません。また、MLパイプラインを構築する際には、プランナーはデータクリーニング、特徴エンジニアリング、モデルトレーニング、評価を一貫したフローに構造化するのに役立ちます。

ツールの確認

あなたが運転席に座ります。コードを実行する前に、エージェントはあなたの承認を求めます。あなたは次のことを選択することができます：

• 一度だけ許可する：一回の実行を承認する
• このスレッドについては常に許可する：現在のアシスタント会話内での作業を効率化します。これは、アシスタントパネルの右上隅の「+」を押すとリセットされます。
• 常に許可する：設定を変更するまで承認を与える

さらに、エージェントには、テーブルを誤って削除するなどの意図しない行動を減らすための組み込みのガードレールがあります。それでも、生成されたコードは特に、本番データ、重要なテーブル、または他の機密操作に関わる場合は、注意深くレビューすることをお勧めします。

今後の展望

今後、データサイエンスエージェントをさらに強力にするためのいくつかの改善に投資しています：

• 広範なコンテキスト：MCPの統合を通じて追加のコンテキストを導入します。これにより、アシスタントは今日持っていない新しい知識を得ることができます。
• よりスマートなメモリ：Assistantの指示はすでにData Science Agentによって使用されていますが、エージェントが指示の更新とキュレーションをさらに簡単にすることを望んでいます。
• データ探索の高速化：データサイエンスエージェントは、タスクに必要なアセットを見つけるのを助けることができます。今日ではテーブルやコードの検索能力を第一歩としていますが、この領域の改善に取り組んでいます。

データサイエンスエージェントは始まりに過ぎません。エージェントモードは、Databricks全体のワークロードを統合するように成長します。私たちは、信頼性とガバナンスを備えた同じ基盤によって、データエンジニアリングからさらに先のエージェントワークフローを構築しています。

今日からData Science Agentを試してみてください 🚀 

私たちの製品ページをご覧いただき、Databricks Assistantについて詳しく学んでください。また、すべての機能についての詳細情報は、ドキュメンテーションをご覧ください。

今日、管理者にDatabricks Assistant Agent Modeを有効にするように依頼し、何時間もの作業を数分に短縮しましょう。これにより、メカニクスに費やす時間が減り、洞察に費やす時間が増えます。