2023 데이터 및 인공지능 현황
우리는 데이터와 AI의 황금기에 살고 있습니다. 유례없는 속도로 진행되는 AI 발견, 모델 개선 및 신제품 출시로 인해 데이터와 AI는 전 세계 모든 조직에서 화제의 중심으로 떠올랐습니다. 이러한 미래에 대비하는 동시에 성공을 거두려는 기업과 경영진은 AI를 이해하고 활용할 수 있어야 합니다.
Databricks의 첫 번째 2023 데이터 및 AI 현황 보고서에서는 전 세계에 걸쳐 9,000명 이상의 Databricks 고객을 대상으로 데이터 및 AI 채택의 트렌드를 살펴봅니다. 이 보고서를 통해 데이터 리더와 경영진이 AI 환경을 이해하고, 자체 데이터 투자 및 전략을 벤치마킹하는 데 유용한 정보를 얻을 수 있기를 바랍니다.
2023 데이터 및 AI 현황에서는 다음과 같은 질문에 답하기 위해 광범위한 데이터 자산을 다룹니다.
- 많은 조직들이 실제 환경에서 데이터 사이언스 및 머신 러닝(ML)을 어떻게 적용하고 있나요?
- 어떤 데이터 및 AI 제품이 빠르게 정상에 오르고 있습니까?
- 이 새로운 AI 시대에 조직은 데이터 웨어하우징을 어떻게 실행하고 있나요?
다음은 발견 항목에 대한 스냅샷입니다.
NLP 및 LLM
주요 결과: 자연어 처리 및 대규모 언어 모델에 대한 수요 급증
데이터에 따르면 기업들은 ML의 가치를 이해하고 첨단 도구에 대한 투자를 늘리고 있으며 이러한 트렌드는 최근 대규모 언어 모델(LLM)의 혁신으로 입증되고 있습니다. OpenAI와 같은 모델에 액세스하는 데 사용되는 SaaS LLM이 ChatGPT 출시와 함께 빠르게 성장하고 있습니다. 실제로, 2022년 11월 말에서 2023년 5월 초 사이에 SaaS LLM API를 사용하는 기업의 수가 1310% 증가했습니다.
결과적으로 두 가지 트렌드가 가속 화되고 있습니다. 첫째, 많은 조직들이 자체 LLM을 구축하고 있는데, Dolly와 같은 모델은 비용과 접근성 문제를 해결할 수 있습니다. 둘째, ChatGPT와 같은 독점 모델을 사용하고 있습니다
최신 데이터 및 AI 스택
주요 결과: 데이터 통합 도구가 지배적임
고객들로부터 꾸준히 받고 있는 공통적인 질문은 다른 기업에서 활용하는 데이터 및 AI 제품에 관한 것입니다.
Databricks에서는 에코시스템 내 수백 개에 이르는 파트너의 도입률과 성장률을 분석했습니다. 많은 기업들이 데이터를 사용하여 보다 발전된 사용 사례를 개발하기 위해 신속하게 움직이기 위해 데이터 통합 도구를 추가하면서 Databricks 제품 채택이 급격히 증가하고 있습니다. dbt는 고객 수 기준으로 전년 대비 206% 증가하면서 높은 성장률을 기록했습니다.
데이터와 AI의 통합
주요 결과: 조직들이 레이크하우스에서 데이터, 분석 및 AI를 통합하고 있음
데이터의 양이 폭발적으로 증가함에 따라 비정형 데이터와 반정형 데이터의 양도 증가하고 있습니다. 이전에는 정형 데이터와 함께 비정형/반정형 데이터를 관리하기 위해 여러 플랫폼이 필요했습니다. 레이크하우스는 모든 데이터 유형 및 형식에 대한 통합 플랫폼을 제공하여 이 문제를 해결합니다.
Delta Lake는 레이크하우스의 기반입니다. 다른 스토리지 형식(예: 텍스트, JASON 및 CSV)의 사용은 큰 변동이 없거나 감소하는 반면, 데이터를 관리하기 위해 Delta Lake로 전환하는 조직의 수는 계속 늘어나고 있으며 전년 대비 304% 성장했음을 알 수 있습니다.