「ソフトウェアが世界を食べている（Software is eating the world）」という見方が、現代のハイテク産業を形成してきました。今日、ソフトウェアは、私たちが身につける時計から、家、車、工場、農場まで、私たちの生活のいたるところにあります。Databricksでは、まもなくAIがすべてのソフトウェアを食べるようになると考えています。つまり、過去数十年の間に構築されたソフトウェアがインテリジェントになり、データを活用することで、より賢くなるということです。
その影響は膨大かつ多様で、カスタマーサポートから医療、教育まであらゆる分野に影響を及ぼします。このブログでは、AIがデータ・プラットフォームをどのように変えるかについて、私たちの見解を述べます。データ・プラットフォームに対するAIのインパクトは漸進的なものではなく、データへのアクセスを大幅に民主化し、手作業による管理を自動化し、カスタム AI アプリケーションのターンキー（turn the key）作成を可能にするという根本的なものであると主張します。
これらすべてを可能に するのが、組織のデータを深く理解する統合プラットフォームの新潮流です。 私たちはこの新世代のシステムをデータ・インテリジェンス・プラットフォームと呼んでいます。
これまでのデータプラットフォームとその課題
データウェアハウスは、企業の構造化されたビジネスデータを整理するソリューションとして1980年代に登場しました。 しかし、2010年までには、組織はAIなどのより多様なユースケースをサポートするために、大量の非構造化データを蓄積し始めました。 これに対処するため、あらゆる種類のデータに対応するオープンでスケーラブルなシステムとしてデータレイクが導入された。 2015年までには、ほとんどの組織がデータウェアハウスとデータレイクの両方を運用するのが一般的になりました。 しかし、このデュアルプラットフォームアプローチは、ガバナンス、セキュリティ、信頼性、管理の面で大きな課題を抱えています。
5年前、データブリックはレイクハウスのコンセプトを開拓し、両者の長所を組み合わせ、一体化させることにしました。 レイクハウスは、すべてのデータをオープンな形式で保存・管理し、BIからAIまで幅広いワークロードをネイティブにサポートします。 レイクハウスによって、(1)組織内のすべてのデータソースをまとめて照会し、(2)データを使用するすべてのワークロード（BI、AIなど）を統一された方法で管理する統一システムを提供しています。 レイクハウスはデータプラットフォームという独自のカテゴリーとなり、現在では企業に広く採用され、ほとんどのベンダーのスタックに組み込まれています。
一方でこれらの進歩とは裏腹に、現在市場に出回っているすべてのデータ・プラットフォームは、まだいくつかの大きな課題に直面しています：
- 技術スキルの壁：データクエリにはSQL、Python、BIの専門スキルが必要なため、学習曲線が険しくなる。
- データの正確性とキュレーション：大規模な組織では、適切で正確なデータを見つけることは困難であり、大規模なキュレーションと計画が必要となる。
- 管理の複雑さ：データ・プラットフォームは、高度な技術者によって管理されなければ、コストが高騰し、パフォーマンスが低下する可能性がある。
- ガバナンスとプライバシー：世界中のガバナンス要件は急速に進化しており、AIの出現により、血統、セキュリティ、プライバシーに関する懸念が増幅している。
- 新たなAIアプリケーション：ドメイン固有の要求に答える生成的なAIアプリケーションを可能にするために、組織はデータとは別のプラットフォームでLLMを開発・調整し、手作業によるエンジニアリングでデータに接続しなければならない。
こうした問題の多くは、データ・プラットフォームが組織内のデータとその利用方法を根本的に理解していないために生じています。 幸いなことに、ジェネレーティブAIは、まさにこうした課題に対処するための強力な新ツールを提示してくれています。
データインテリジェンスプラットフォームの核となる考え方
データ・インテリジェンス・プラットフォームは、AIモデルを採用して企業データのセマンティクスを深く理解することで、データ管理に革命をもたらします。 レイクハウスの基盤（企業全体のすべてのデータを照会・管理する統一システム）をベースに、データ（コンテンツとメタデータ）とその使用方法（クエリー、レポート、リネージなど）の両方を自動的に分析し、新しい機能を追加します。
このようにデータを深く理解することで、データ・インテリジェンス・プラットフォームは可能になるのです：
- 自然言語によるアクセス：DIプラットフォームは、AIモデルを活用し、各組織の専門用語や略語に合わせた自然言語でデータを扱うことができる。 このプラットフォームは、既存のワークロードでデータがどのように使用されているかを観察して組織の用語を学習し、専門家でないユーザーからデータ・エンジニアまで、すべてのユーザーにカスタマイズされた自然言語インターフェースを提供する。
- セマンティック・カタログ化とディスカバリー：ジェネレーティブAIは、各組織のデータモデル、指標、KPIを理解し、比類のないディスカバリー機能を提供したり、データの使用方法の矛盾を自動的に特定したりすることができる。
- 管理と最適化の自動化：AIモデルは、データの使用状況に基づいてデータレイアウト、パーティショニング、インデックスを最適化できるため、手作業によるチューニングやノブ設定の必要性を低減する。
- ガバナンスとプライバシーの強化：DIプラットフォームは、センシティブなデータを自動的に検出、分類し、悪用を防止するとともに、自然言語による管理を簡素化する。
- AIワークロードのファーストクラスのサポート：DIプラットフォームは、関連するビジネスデータに接続し、DIプラットフォームが学習したセマンティクス（メトリクス、KPIなど）を活用して正確な結果を提供することで、あらゆるエンタープライズAIアプリケーションを強化することができる。 AIアプリケーションの開発者は、もろいプロンプト・エンジニアリングによってインテリジェンスを「ハック（hack）」する必要はもうない。
これはここ数年でBIツールが追加した自然言語Q&A機能とどう違うのかと思う人もいるかもしれません。 BIツールは、データワークロード全体の（重要ではあるが）狭い一断面を表しているに過ぎず、その結果、発生しているワークロードの大部分や、BIレイヤーに到達する前のデータの系譜や用途を可視化することはできません。 これらのワークロードを可視化しなければ、必要な深い意味的理解を深めることはできません。 その結果、こうした自然言語によるQ&A機能は、まだ広く採用されておりません。 データインテリジェンスプラットフォームを使えば、BIツールは基礎となるAIモデルを活用して、より豊かな機能を実現できるようになります。 したがって、このコア機能はデータ・プラットフォームに存在すると考えています。
