Databricksテクニカルエバンジェリズムの責任者であるAri Kaplanとの会話：会話型分析、最新データベース、そしてリーダーと遅滞者のギャップが急速に縮まっている理由
によって キャサリン・ブラウン による投稿
現在、企業の重役会議やデータリーダーシップ会議で、「すでにBI（ビジネスインテリジェンス）やデータベースソリューションがあるのに、なぜ別のものが必要なのか？」という疑問が飛び交っています。
もっともな疑問です。そして、それはAri Kaplanが5大陸で受けてきた質問でもあります。DatabricksのグローバルヘッドオブエバンジェリズムであるAriは、データ、テクノロジー、ビジネス変革の交差点でキャリアを積んできました。その中には、22,000人以上のデータベースプロフェッショナルを代表する組織、Independent Oracle Users Groupの会長を務めた経験も含まれます。彼は、何がうまくいき、何が時代遅れになり、そして今後10年間で何が求められるのかを直接見てきました。
この対談では、会話型分析、GenieとLakebaseのアーキテクチャ、AI駆動のインサイトで経営陣の信頼を得るために実際に何が必要か、そして行動を起こせない企業が考えている以上に遅れをとる可能性について掘り下げます。
行動を伴わないインサイトは単なる雑学
Catherine Brown: Ariさん、経営陣はデータと対話するというアイデアを好みますが、会話型分析ではどこで問題が発生するのでしょうか？
Ari Kaplan: その通りです！要するに、企業は自社のビジネスの文脈で管理されたデータと対話したいのです。しかし、ここで問題が発生します。もし得られるのが事実、つまり雑学だけで、行動への道筋がなければ、何の意味があるのでしょうか？どんなインサイトの価値も、それによって何が起こるかと同じくらい現実的なのです。
それがDatabricksがもたらそうとしている違いです。単なる会話ではなく、それがどこかに繋がっています。Etihad Airlines、私たちの主要なGenieユーザーの一つと話していました。彼らの財務チームは、「もし来四半期に原油価格が上昇したら、利益を出しながらも顧客が引き続き飛行機を利用できるように、どのように価格設定を調整すればよいか？」といった質問をしていました。このような分析にはかつて数ヶ月かかっていましたが、Genieと予測分析を使えば、リアルタイムでシナリオを実行し、実際に価格やルートを変更する決定をほぼ即座に行っています。これは、ビジネス が単に情報に基づくだけでなく、データに基づいて運営されている素晴らしい例です。
Catherine: では、自然言語での回答は、ワークフロー、トランザクション、または実際の意思決定のような、より高度なものになる必要があるのはいつでしょうか？
Ari: それが重要であるためには、即座にそうなるべきです。そこに置かれて誰も行動しないレポートは、単なるノイズです。目標は、壊れやすいものを作成することなく、インサイトから行動へと移行することです。
AIの回答を鵜呑みにして盲目的に実行するようなシステムは望ましくありません。ループ内に人間が必要です。望ましいのは俊敏性です。データは常に更新され、インサイトは最新の状態に保たれ、組織内の人々はそれが実際のビジネス運営とどのように連携しているかを確認するための監督権限を持っています。人間は依然としてインターフェースです。それはなくなりません。
Catherine: ダッシュボードやBIコパイロットがまだ苦労していることに対して、Genieはビジネスユーザーのために何を解決してくれるのでしょうか？
Ari: OK、Genieは、ビジネスの文脈で自分のデータと対話するだけで、従来のビジネスインテリジェンスツールを超えています。ユーザーは、AI駆動のインサイトをセルフサービスで利用できます。
ダッシュボードが実際には何であるかを考えてみてください。それは、新しいデータが投入されるだけで、何度も繰り返される固定された質問です。企業はそれを約30年間行ってきました。うまくいっています。しかし、限界があります。そしてその限界は、質問が変わらないということです。
Genieはその限界を突破します。なぜなら、非技術者、経営者、営業リーダー、財務マネージャーが、 plain languageで知りたいことを尋ねるだけで、回答を得られるからです。BIチームへのチケット発行や、ほぼ正しいがまだ調整が必要なダッシュボードを1週間待つ必要はありません。BIチームがなくなるわけではないことに注意してください。彼らは、単発のレポートのリクエストに対応するのではなく、本当に複雑な作業に集中できるようになります。結局のところ、それは誰にとってもより良い状況です。
そして、「Genie Code」は、より技術的なユーザー、つまりデータサイエンティスト、データエンジニアなどが、仕事や達成すべきタスクにおいて、より効果的かつ効率的になることを可能にします。
Catherine: GenieとLakebaseはどのように連携するのでしょうか？外部から見ると、連携するかもしれないし、しないかもしれない2つの別々の製品のように聞こえることがあります。
Ari: GenieとLakebaseは、実際には同じアイデアの2つの半分です。Lakebaseは、トランザクションデータを保持できる主要な領域の1つです。これは、数十億、さらには数兆のレコードを処理するために構築された最新のデータベースです。Lakebaseは、Genieが接続する多くのソースの1つにすぎません。Lakehouse（DBSQL）もその1つであり、Unity Catalogを介してフェデレーションされたもの（Slack、SAP、Google Drive、Sharepointなど）も同様です。
Genieは、LakebaseからLakehouseのデータウェアハウス、さらにはそれ以上の 、すべてのデータと対話する方法です。つまり、1つはそれを保存し（Lakebase）、1つはそれを表面化します（Genie）。そして、すべてがUnity Catalogを通じて実行され、ガバナンスコントロールを管理および維持します。これにより、適切な人々だけが、見られるべきものだけを見ることができ、誰もが同じ定義から作業できるようになります。すべてのチーム、すべてのビジネスユーザー間で、定義は同じです。顧客は顧客を意味し、利益は利益を意味します。その共有言語は単純に聞こえますが、実際にはすべてを信頼できるものにしているのです。
Catherine: 面白い質問です。CIOが「すでにデータベースを持っている」と言った場合、それがもはや十分ではない理由を説明してください。
Ari: これが大好きです。なぜなら、私はその反対側にいたからです。従来のデータベースの基盤となるアーキテクチャは、数十年間、本質的に変わっていないことをお伝えできます。それらの基盤は、異なる時代のために構築されました。
何が変わったか。Lakebaseを使用すると、数日や数週間ではなく、新しいデータベースを即座にプロビジョニングできます。そして、今日作成されるほとんどのデータベースは、AIによってプロビジョニングされています。
2つ目はコストです。従来は、本番環境、テスト環境、QA環境が必要な場合、データの3つのコピーを作成していました。ストレージが3倍、コストが3倍になります。Lakebaseを使用すると、基盤となるデータを1つもコピーせずに、100の環境をフォークオフできます。ちょうどブラジルにいた とき、企業が移行後に総所有コストを40％削減したと教えてくれました。私が聞いた最高は98％です。誰もがそこに到達できるわけではありませんが、どこに行っても節約は現実的です。
そしてスケールです。Arctic Wolf、世界最大のネットワークオペレーションセンターは、Databricks上で毎日1兆件以上のレコードを管理しています。古い仮定はもはや通用しません。
Catherine: データに質問をすることと、データでビジネスを実行することの本当の違いは何ですか？
Ari: 最も簡単な言い方はこうです。一方は何が起こったかを教えてくれ、もう一方は次に何をすべきかを決めるのに役立ちます。
私が協力している国際的な航空会社には、80のベンダー（ケータリング、セキュリティ、電子機器など）がありました。彼らはGenieにこう尋ねました。「どのサプライヤーが私たちに過剰請求していますか？ランク付けしてください。」このようなことは、アナリストチームに数ヶ月かかったでしょう。Genieがそれに答えました。オレンジジュースのサプライヤーが最大の過剰請求であることが判明しました。今、彼らはどこで再交渉すべきかを正確に知っています。それがデータでビジネスを実行することです。
何億人もの月間プレイヤーを持つゲームを制作しているSupercellは、リアルタイムのマッチメイキング、不正行為の防止、ゲーム内購入の決定のためにLakebaseを使用しています。データイン フラストラクチャが追いつくことができるため、これらすべてが大規模にライブで発生しています。
そしてブラジルのiFoodは、同国の食品配達の90％以上を処理していますが、混雑した都市をリアルタイムでバイク便ライダーに配送ルートを指示するためにLakebaseを使用しています。これらは、いつかデータ活用を改善しようと考えている企業ではありません。彼らはすでにそれを実行しています。
Catherine: なぜセマンティクスとビジネス定義が、経営陣が会話型分析を信頼するために重要なのでしょうか？
Ari: ほとんどの人が予想する以上に、正直に言って重要です。簡単な例を挙げましょう。同じ会社の3人の経営者に利益の定義を尋ねてみてください。3つの異なる答えが得られるでしょう。顧客チャーンや顧客満足度も同様です。分析システムが、どの定義を使用すべきかを知らない場合、整合性ではなく議論を引き起こす回答が得られます。
Databricksは、ソフトウェア開発を必要とせずに、経営陣がそれらの用語を自分で定義できるようにします。経営者は、「私にとって、30日間の返品期間が終了するまで、セールはカウントされない」と言うことができます。その定義は、そのGenieスペースを使用するすべての人にとって、すでに組み込まれていま す。HRマニュアルやオペレーションマニュアルをアップロードすることもでき、Unity Catalogはそれを使用して、会社の言語をよりよく理解します。
FordDirect は、グローバルなディーラーネットワーク全体で同様のことを行いました。何千もの拠点で、車のセールス担当者といった、まったく技術に詳しくないユーザーが、Genie を通じて日々の運用レポートを受け取っていました。レポートには、来店予定の顧客、入荷予定の車両、リコールの対象となる車などが含まれていました。満足度調査を実施したところ、95% の承認率でした。その規模で技術に詳しくないオーディエンスにとって、その数字はほとんど前例のないものです。
Catherine: 会話型分析が、ガバナンスされた運用システムに接続されていない場合、何が問題になりますか？
Ari: ドリフトが発生し、信頼を失います。そして、一度信頼を失うと、取り戻すのは非常に困難です。私たちは 20,000 人以上の顧客を対象に調査を行いましたが、AI とデータの導入における最大の障壁は、信頼の欠如でした。コストや複雑さではなく、信頼です。そして、その不信感は、異なるチームが異なる定義をしており、回答が現実に乖離し始める、ガバナンスされていないシステムから生じます。幻覚（ハルシネーション）は、この状況の劇的なバージョンですが、より静かなバージョン、つまりわずかに古いデータやわずかに一貫性のない定義は、見つけにくいため、実際にはより危険です。
Catherine: 自然言語分析は、用語が常に変 化するためリスクが高すぎると言うリーダーは、前に進む前に何が必要だと考えていますか？
Ari: 彼らは間違っていません。リスクは現実です。ガードレールなしでは、汎用チャットボットは、先週のデータなのか、5年前のデータなのかを判断できないため、本当に危険です。そして、ビジネスコンテキストを理解していません。しかし、答えは待つことではありません。答えは、展開方法を意図的にすることです。
Fox Sports は、私が繰り返し言及する例です。彼らの評判は完全に正確さに依存しています。人々は、時には賭けやベットを伴う金銭的な決定を、彼らのコンテンツに基づいて行っています。彼らは Databricks を活用した公開チャットボットを導入しました。しかし、展開には注意を払いました。何が尋ねられて、何が尋ねられないかを事前に定義しました。回答の提示方法を人間が調整しました。そして、幻覚を防ぐための制御を組み込みました。今日、Fox Sports の全質問の 25% が、その環境を通じて処理されています。すべては、まず基盤を正しく構築したからです。
Catherine: Genie は単なるテキスト・トゥ・SQL に、より良いストーリーを付け加えたものだと考えているリーダーは、何を見落としていますか？
Ari: 正直に言って、たくさんです。彼らが見落としている根本的なことは、Genie が彼らのデータ、彼らの用語、そして彼らのビジネスルールによってガバナンスされているということです。一般的なチャットボットは、イン ターネット（テイラー・スウィフトの歌詞、歴史的なトリビアなど）でトレーニングされています。Genie は、あなたの会社が「顧客」という言葉を使うときに何を意味するのか、そしてあなたの会計年度を知っています。あなたの製品カタログを知っています。その詳細な具体性は重要です。そして、Genie は質問と回答をはるかに超えています。Genie はオープンエンドのリサーチを行います。予測を行います。Salesforce、Workday、SAP、Slack のような隣接システムに接続するため、ビジネス全体にまたがる質問をすることができます。私は、経営幹部が「今日、何をすべきか？」といった、本当にオープンな質問をするためにそれを使用しているのを見てきました。そして、その経営幹部は、これまで考えたこともなかった 2 つのアイデアを持って立ち去ります。それはテキスト・トゥ・SQL ではありません。それはまったく異なるものです。
Catherine: 最後の質問です。18 か月後、モダンなデータスタックを運用している企業と、まだデモを実行している企業を分けるものは何でしょうか？
Ari: 私は実際に映画「マネーボール」の背景の一部に関わっていました。この映画は、ある業界（メジャーリーグベースボール）がどのように変化しなければならなかったかに焦点を当てていました。適応しなかったチームは、劇的に、そして急速に取り残されました。その物語からのフレーズは「適応するか、滅びるか」でした。極端に聞こえますが、私はいつもそれに立ち返ります。
私はここ数か月だけで、ブラジル、オーストラリア、インド、ヨーロッパ、アジアを旅しました。どこへ行っても、企業は急速に進んでいます。今、真剣に取り組んでいる企業はリードしています。そして、そのギャップは小さく留まることはありません。それは複利で増えていきます。価値は本物です。企業はより良いインサイトを得ているだけでなく、かつてはチーム全体を費やしていた作業を自動化し、サプライチェーンを変革し、ソフトウェア開発を加速させています。それらすべてが今すぐ利用可能です。これを後で評価するものとして扱う経営者は、後者が予想よりも早く来たことに気づくでしょう。
データスタックは変化しました。問題は、あなたが変わったかどうかです。
Ari の議論のポイントは、製品に関するものではありません。それは、何が可能になったか、そしてそれがどれほど早くベースラインの期待になっているかという変化に関するものです。
Genie と Lakebase は、同じプラットフォーム上に存在する BI ツールとデータベースではありません。それらは、現在すべてのデータリーダーが尋ねられている質問に対する単一の答えです。それは、「ビジネスを実行している人々のために、どのようにデータを実際に機能させるか？」という質問です。一方は、レガシーシステムが設計されていなかった規模でデータを保存およびガバナンスします。もう一方は、それを最も必要としている人々の前に、プレーンな言語で、信頼できるものにするためのコンテキストとガードレールとともに配置します。
これを正しく行っている組織は、単により良いレポートを実行しているだけではありません。彼らはより迅速な意思決定を行い、問題を早期に発見し、競合他社がまだス プレッドシートを作成して見つけようとしている機会を発見しています。
あなたの組織のために Genie と Lakebase が何ができるかを探る。
(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事
ブログを購読して、最新の投稿を受信トレイにお届けします。