AI/BI Genie が一般提供開始

Last June, we announced Databricks AI/BI, our entry into the Business Intelligence category, built around AI that deeply understands your data, semantics and usage patterns, and architected from the ground up to leverage the Data Intelligence Platform.  AI/BI not only offers a conventional BI experience through Dashboards, it also features Genie, a conversational analytics experience that enables everyone to answer their own data questions through natural language.  Today, we’re thrilled to share that AI/BI Genie will now join AI/BI Dashboards as Generally Available on all clouds.

What is Genie?

At its core, AI/BI Genie allows users to ask questions in natural language and get instant insights from data. Business users can ask questions like “How is my sales pipeline?” and Genie will answer in a combination of text summaries, tabular data and visualizations.  With every response, Genie also provides an explanation of how it arrived at the answer to give users confidence in that output.

Our goal with Genie is to deliver a conversational analytics experience that actually performs as advertised in the real world—trustworthy responses that are accurate and relevant within your organization's unique context. This is a challenge even for the latest and greatest LLMs, as they don’t understand the unique context or semantics specific to each organization’s data and business.

AI/BI Genie solves this problem by enabling analysts to package data (such as tables and views) along with semantics (like metric definitions, sample queries, text instructions, and certified assets) into a Genie space focused on a specific topic—for example, the sales pipeline.

The Genie space acts as a local knowledge store, marrying semantics extracted from existing assets on the Data Intelligence Platform with curation and feedback provided by expert analysts.  In essence, this system enables data analysts to scale their impact by creating a knowledgeable agent that can answer data questions just as they would. It empowers business users to self-serve questions that aren’t covered by existing dashboards and reports, freeing analysts to focus on higher-value work.

Updates since announcement

Since we announced AI/BI Genie last June, we’ve been working hard to introduce more capabilities, trustworthy answer quality and refined user experiences based on the feedback from our preview customers.  Here are a few highlights:

• Best-in-class accuracy:   Response quality is the top priority for the Genie product team, and our focus has been on addressing real-world issues surfaced by thousands of active customers. For example, we added the concept of value dictionaries, which—as shown in the example below—allows Genie to semantically match a request for “first level group” to the literal value “1st line support group” based on what is in the underlying data. Genie is also now able to handle much larger datasets (zero column count restrictions), complex instructions, and has gone through multiple cycles of model updates. 

• Unity Catalog Metric Views: Genie is built natively on the Data Intelligence Platform, and we continue to expand on that foundation. For example, we’ve added support for Unity Catalog Metrics, allowing customers to use governed, trusted data models to ensure accuracy for critical use cases. With AI/BI Genie, Unity Catalog serves as the single source of truth for both data and semantics—eliminating the need for redundant modeling.
• Support for evaluation and benchmarks: Skilled engineers will tell you that any AI effort should start with an evaluation phase.  Failure to do so means failure in production. Conversational analytics experiences are no different - when you create a new Genie space, you are really creating a new AI system for a specific domain. This is why we’ve added features such as Benchmarks and Ask for Review. Genie Benchmarks are curated test questions with expected SQL answers that allow authors to systematically evaluate and improve the accuracy of Genie’s responses over time, while ‘Ask for Review’ enables end-users to flag specific responses for verification or correction by space admins, fostering trust and collaboration between business users and data teams.

• Ad-hoc analysis with Genie File Upload: One common analysis pattern that we discovered during the preview period was the need to blend a local spreadsheet (like a list of leads from a campaign) with a managed dataset in Unity Catalog (such as Salesforce accounts and contacts) to complete an ad-hoc task.  With Genie File Upload, you can simply drag and drop Excel or CSV files into Genie and complete any comprehensive analysis through natural language.

• Genie everywhere: Dashboards and Genie work better together—which is why every AI/BI Dashboard includes an integrated Genie space. Dashboards show what data is available for exploration, while Genie lets users go beyond the limits of predefined slices, filters, and combinations—all within the same experience. Additionally, with the new Genie Conversation APIs, developers can similarly embed Genie into collaboration tools like Slack, Microsoft Teams, or custom internal applications. This opens up new ways for business users to access conversational analytics in the flow of work — without switching contexts or logging into a separate interface.

We have also delivered a range of other enhancements—from improved visualizations to a redesigned user interface to guide end users through their analysis.  We plan to continue this high level of feature velocity post-GA; please check out the AI/BI release notes and stay tuned to for more blogs as we continue to add features over time.

Real-world success with Genie

We’ve been thrilled by the rapid adoption of Genie; over 4000 customers adopted AI/BI Genie during its preview to democratize data and to empower their non-technical users.  Here’s a sample of what some of our preview customers have shared with us about Genie:

Genie is changing how we empower teams at HP. With its intuitive natural language interface, we’re enabling users to instantly access critical data, no coding required, making data-driven insights faster and more efficiently. — Bruce Hillsberg, VP, Data Engineering & Insights, Technology & Innovation, HP Inc

Users were constantly pinging analysts to ask- Hey, what did sales look like for the southwest region compared with the previous year?- The idea of being able to just ask Genie, rather than hunt for the right analyst and hope they get the answer right, has been very exciting for the business. — Shahmeer Mirza, Senior Director of Data, AI/ML, and R&D, 7-Eleven

Executives and other LOB leaders in marketing and finance can use Genie to access the data they need just using plain English. Absolutely incredible. — Felix Baker, Head of Data Services, SEGA Europe

他にも、Premier Inc、Magic Orange、The AA、Casas Bahiaなど、Genieで大きな成果を上げているお客様がたくさんいらっしゃいます。Genieを一般提供することで、さらに多くの組織が仲間入りできるようになることを楽しみにしています。

次世代ナレッジストア

Genieの中核となるのは、GenieのAIシステムが質問に答えるたびに参照する、生きたセマンティックモデルであるナレッジストアです。この度、ナレッジストアの次世代版をリリースします。これにより、作成者はより少ない労力で、はるかに細かい粒度で知識をキュレーションできるようになります。作成者は、列レベルの同義語やサンプリングされた値、プライマリ/外部キーの結合や認定されたメトリクスなどのテーブルレベルのコンテキストを含むデータアセットに直接知識を追加できます。Genieの複合AIシステムは、各質問に対して適切な知識の断片を取得し、ユーザーの質問に正確に回答します。

これらの機能強化があっても、セマンティクスのキュレーションは依然として手間のかかる作業です。このプロセスを大幅に容易にするために、Genieはナレッジマイニングと抽出を実行するようになりました。

ナレッジマイニング（上記）により、GenieはUnity Catalogのリネージとクエリ履歴を分析し、Unity Catalogのガバナンス保証を維持しながら、新しい指示を提案したり、ナレッジストアに昇格させる価値のある繰り返しパターンをハイライトしたりすることができ、スペースオーナーの手作業によるキュレーションを大幅に削減します。

また、Genieを活用して、ナレッジストアをブートストラップするための事前の参照がない新規ユースケースに対応しているお客様も多数いらっしゃいます。これらのケースに対応するため、Genieのナレッジ抽出を強化し、通常の利用の一部としてキュレーションが行われるようにしました。各チャットセッション中に、Genieはセマンティック情報を抽出し、簡潔な知識スニペットを提案し、ユーザーが承認するとストアにコミットします。

組み込みのアクティビティ監視とフィードバックループと組み合わせることで、日常的な使用自体が継続的な学習パイプラインとなり、定期的なオーバーホールなしにGenieのセマンティックモデルを正確に保ちます。

Genie Deep Research

GenieのGAは重要なマイルストーンですが、AIファーストのアプローチでBIを再考する旅を止めるつもりはありません。AI/BIを再考する旅を止めるつもりはありません。GenieのプレビューであるGenie Deep Researchを発表できることを嬉しく思います。これは、より複雑で多段階の質問に対応するために設計されたGenieの新しいモードです。これまでは、Genieは「何が起こったか」という質問（例：「売上パイプラインは？」）に最適化されていました。「なぜ」や「どのように」という質問（例：「なぜ売上が減少しているのか？」や「売上パイプラインを増やすにはどうすればよいか？」）に答えるには、ユーザーが自分で仮説を立て、それぞれを個別にテストするようにGenieに依頼する必要がありました。Deep Researchでは、GenieはLLM研究の最新の進歩を活用して、リサーチプランを作成し、複数の仮説を並列で分析してから結果を要約することで、これらのタイプの質問に取り組みます。

Genieの他の部分と同様に、Deep ResearchはGenieのナレッジストアを基盤とし、拡張して、正確で信頼性の高い結果を提供します。Genieはまた、結論を導き出した引用を明示的に提供し、途中で行われた作業を精査するための簡単なワンクリックエクスペリエンスを提供します。Deep Researchは、この夏の後半にGenieのお客様に実験的な機能として提供される予定です。

AI/BI Genieをビジネスチームに提供

Genieを広く展開することについてお客様から寄せられた懸念の1つは、AI/BIへのアクセスがこれまでは技術的なDatabricksワークスペースをナビゲートする必要があり、非技術的なビジネスユーザーにとっては intimidating に感じられる可能性があるということです。Data and AI Summitの発表の一環として、Databricks Oneもご紹介します。これは、ビジネスチームにAI/BIダッシュボードやGenieスペース、Databricks Appsへのシンプルで安全なアクセスを提供する新しいエクスペリエンスです。AI/BIと同様に、Databricks OneはすべてのDatabricks SQLのお客様に無料で提供されます。

詳細はこちら

AI/BI Genieとダッシュボードは、追加のライセンスなしでDatabricks SQLのお客様にご利用いただけるようになりました。詳細については、AI/BI GenieのWebページをご確認いただき、以下のコンテンツをご覧ください。

1. ドキュメント：詳細については、ドキュメントをご覧ください。
2. デモ：デモビデオ、製品ツアー、ハンズオンチュートリアルをご覧ください。
3. トレーニング：Databricks Academyの無料製品トレーニングで始めましょう。
4. eBook：Business Intelligence Meets AI eBookをダウンロードしてください。

まだDatabricksのお客様でない場合は、無料トライアルにサインアップして、Genieやその他のDatabricks製品をお試しいただくこともできます。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事