データ＋AI のトレンド 2023 年
私たちはいま、データと AI の黄金時代にいます。AI による発見、モデルの改善、新製品の市場投入がかつてないペースで進行し、データ・AI 戦略は世界中の組織で話題の中心となっています。次世代をリードしようとする企業と経営幹部にとって、AI を理解し、活用する術を知ることは、欠くことのできない条件となります。
本レポート「データ＋AI のトレンド 2023 年」は、9,000 社を超える世界中の Databricks のお客さまを対象に、データと AI の活用状況を調査した結果をまとめたものです。データと AI の技術トレンドの理解と、自社のデータ投資・戦略のベンチマークにお役立てください。
「データ＋AI のトレンド 2023 年」の調査では、幅広いデータエステートにより、下記のような問いに対する答えを導き出します。
- データサイエンスや機械学習（ML）を実環境でどのように活用しているか
- 現在、最も広く利用されているデータ・AI 製品は何か、どのような製品が急成長しているか
- AI の新時代において、データのウェアハウス化がどのように行われているか
今回の調査で明らかになった主なポイントを以下にご紹介します。
NLP と LLM
重要な発見：NLP（自然言語処理）と LLM（大規模言語モデル）の需要が高まっている
調査結果は、企業が機械学習の価値を理解し、最先端のツールへの投資が増大していることを示しています。この傾向は、最近の大規模言語モデル（LLM）の革新によって顕著になりました。OpenAI のようなモデルにアクセスするための SaaS LLM は、ChatGPT のローンチと並行して爆発的に成長することが見込まれます。SaaS LLM API（ChatGPT のようなサービスへのアクセスに使用される API）を利用する企業数は、2022 年 11 月末から 2023 年 5 月初めまでの間に 1310% 増加しています。
結果として、調査対象のデータは 2 つの顕著な傾向を示しています。第一に、組織において独自の LLM の構築が進んでおり、Dolly のような、アクセスが容易で安価なモデルが採用されていること。第二に、ChatGPTのようなプロプライエタリなモデルが使用されていることです。
データ＋AI スタックのモダナイズ
重要な発見：データ統合ツールの利用が拡大している
Databricks では、お客さまから、「他社ではどのようなデータ・AI 製品を使用しているのかを知りたい」というお問い合わせを数多くいただきます。
Databricks のエコシステム内の数百に及ぶパートナーにおけるデータ・AI 製品の導入と成長を分析しました。利用が急増している製品についての調査から、多くの企業がデータ統合ツールを採用し、データを活用する高度なユースケースの開発の迅速化を図っていることがわかります。一例として、最大の成長率を示す dbt の導入数は前年比で 206% 増加しています。
データと AI の融合
重要な発見：データ、分析、AI の融合的活用にレイクハウスが導入されている
データ量の爆発的な増大に伴い、半構造化・非構造化データの占める割合が高まっています。これまでは、構造化・非構造化・半構造化データをそれぞれ別のプラットフォームで管理しなければならず、複雑な作業と高コストという障壁が発生していました。レイクハウスは、あらゆるデータの種類とフォーマットに対応する統合プラットフォームであるため、この問題は、レイクハウスの導入によって解決できます。
レイクハウスの基盤である Delta Lake は、構造化・非構造化・半構造化データに対応しています。他のストレージフォーマット（テキスト、JSON、CSV など）が緩やかな増加、横ばい、または減少傾向を見せているのに対し、Delta Lake フォーマットでデータを管理する組織が増加していることが、今回の調査によって示されています（2022 年 6 月の時点で前年比 304% の成長）。