비즈니스 인텔리전스가 현명한 의사 결정을 이끄는 방법

비즈니스 인텔리전스란 무엇인가요?

조직이 점점 더 많은 데이터를 수집함에 따라 가공되지 않은 데이터를 의미 있는 전략과 운영으로 전환하는 프로세스가 필요합니다. 비즈니스 인텔리전스(BI) 는 조직이 전략적 의사 결정을 추진하는 데 도움이 되도록 활용하는 인프라, 도구, 애플리케이션 및 모범 사례의 집합을 의미합니다. 기존 BI는 더 나은 의사 결정을 지원하기 위해 과거 데이터를 수집, 통합, 분석하는 데 중점을 둔 반면, 최신 BI는 조직의 성장을 촉진하기 위해 예측 인사이트를 비롯한 고급 비즈니스 분석을 점점 더 많이 통합하고 있습니다.

“비즈니스 인텔리전스”라는 용어는 데이터 웨어하우징, 비즈니스 분석, 데이터 시각화 및 보고 도구의 조합을 포함할 수 있습니다. 하지만 BI 라이프사이클은 ETL (추출, 변환, 로드)을 통한 데이터 추출로 시작하여 데이터 웨어하우징으로 이어지고 대시보드, 예측 분석 및 리포팅 시스템으로 마무리됩니다. 견고한 BI 구현은 데이터 거버넌스, 마스터 데이터 관리(MDM), 강력한 액세스 제어 또한 포함해야 합니다.

이 블로그에서는 BI 도구의 작동 방식, 비즈니스 리더가 BI를 통해 얻을 수 있는 인사이트의 종류, 그리고 Databricks가 AI 기반 비즈니스 플랫폼으로 차세대 분석을 구축하는 방법을 살펴봅니다.

BI의 역사적 발전

BI의 기원은 1960년대 의사 결정 지원 시스템으로 거슬러 올라갑니다. 이는 의사 결정을 지원하기 위해 상호작용형 소프트웨어 기반 솔루션을 제공했습니다. 이후 10년 동안 조직들은 데이터를 통해 인사이트를 얻기 위해 컴퓨터를 사용했지만, 사일로화된 데이터 시스템과 전반적인 중앙 집중식 데이터의 부재로 인해 한계가 있었습니다.

1970년대까지 IBM과 다른 기업들은 1980년대 데이터 웨어하우스 의 기반을 마련한 차세대 관계형 데이터베이스를 도입했습니다. 이러한 데이터 웨어하우스는 정형 및 비정형 형식의 다양한 소스에서 대량의 데이터를 집계하는 동시에 사용자가 소스를 상호 참조하여 더 깊은 인사이트를 얻을 수 있도록 했습니다.

ETL, 온라인 분석 처리(OLAP)와 같은 새로운 도구는 물론 Microsoft Excel과 같은 스프레드시트가 사용자에게 더 빠르고 효율적인 방식으로 데이터세트를 query할 수 있는 기능을 제공하면서 1990년대에 걸쳐 데이터 웨어하우스 모델이 발전했습니다.

하지만 오늘날 조직에서 수집할 수 있는 데이터의 엄청난 양과 속도 때문에, 이러한 데이터 속도에 보조를 맞추고 특정 query에 대해 올바른 데이터와 인사이트를 다각도로 분석할 수 있는 비즈니스 인텔리전스 모델이 필요합니다.

최고의 비즈니스 인텔리전스 도구 및 기술

BI 도구 는 조직이 데이터를 읽기 쉽고 접근 가능하며 실행 가능한 인사이트로 데이터 변환하는 데 도움을 주는 소프트웨어 플랫폼입니다. 시장에서 선도적인 BI 도구는 다음과 같습니다.

• AI/BI(Databricks): Databricks AI/BI는 대시보드, Genie를 사용한 자연어 쿼리, AI 기반 분석 도구를 결합한 네이티브 비즈니스 인텔리전스 솔루션으로, 사용자가 Databricks Data Intelligence Platform 내에서 직접 데이터를 탐색, 설명하고 이에 대한 조치를 취할 수 있도록 지원합니다.
• Power BI(Microsoft): 이 도구는 Microsoft 365 및 Azure 서비스와 긴밀하게 통합되며 실시간 대시보드와 강력한 query 기능을 지원합니다.
• Tableau (Salesforce): 고성능 시각적 분석과 대화형 대시보드로 잘 알려져 있습니다. Tableau는 데이터 탐색과 스토리텔링을 원하는 사용자에게 최고의 선택으로 여겨집니다.
• Looker(Google Cloud): LookML로 구축되어 확장 가능한 데이터 모델링을 지원하며 BigQuery와 긴밀하게 통합됩니다.
• Qlik Sense: 사용자가 사전 정의된 query에 얽매이지 않고 자유롭게 데이터를 탐색할 수 있게 해주는 연관 엔진을 갖추고 있습니다.

오늘날 인공지능(AI)과 machine learning (ML)은 다음과 같은 기능을 도입하여 BI를 발전시키고 있습니다.

• 예측 분석: 지도 모델(예: 회귀, 의사결정 트리)로 과거 데이터를 활용하여 미래 트렌드를 예측합니다.
• 자연어 처리(NLP): 사용자는 자연어를 사용하여 BI 플랫폼에 query할 수 있습니다.
• 이상 탐지: 알고리즘은 수동 threshold 없이 데이터 Stream의 이상값을 표시합니다.
• 추천 시스템: ML 모델은 다음 행동을 제안하거나 추적할 가치가 있는 지표를 제안합니다.

Databricks는 AI/BI를 통해 차세대 비즈니스 인텔리전스를 구축하고 있습니다. 이 도구는 기존 BI 도구를 보완하며, 데이터 인텔리전스를 기반으로 하는 AI의 도움으로 시간이 지남에 따라 데이터를 학습하여 자연어 질문을 기반으로 사용자에게 맞춤형 인사이트를 제공합니다.

AI/BI는 Databricks에 기본적으로 제공되며 Unity Catalog와 통합되어 있습니다. 즉, 모든 데이터가 Databricks Platform에 기본적으로 통합되어 별도로 조달해야 할 라이선스나 관리해야 할 추가 데이터 웨어하우스가 없습니다.

비즈니스 인텔리전스의 작동 방식

조직이 비즈니스 인텔리전스 파이프라인을 구축하는 방법은 특정 KPI와 결과에 따라 달라집니다. 하지만 일반적으로 동일한 경로를 따르는 경향이 있습니다.

데이터 수집: 비즈니스 인텔리전스는 SQL 데이터베이스, ERP 시스템 또는 클라우드 스토리지의 플랫 파일과 같은 정형 소스나 텍스트 문서, 이메일, 웹 페이지와 같은 비정형 소스에서 데이터를 수집하는 것으로 시작됩니다. 점점 더 많은 데이터가 비정형 형식이므로 데이터 정제 및 변환 프로세스가 매우 중요합니다.

데이터 정리 및 변환: 이것은 가공되지 않은 데이터를 정제하는 중요한 단계입니다. 오류를 식별 및 수정하고, 결측값을 처리하며, 형식을 표준화하고, 데이터를 분석에 적합한 구조로 변환하는 작업이 포함됩니다.

데이터 저장소: 처리된 데이터는 일반적으로 데이터 웨어하우스 또는 데이터 레이크에 저장됩니다. 데이터 웨어하우스는 리포팅 및 데이터 분석을 위해 설계되었으며, 하나 이상의 서로 다른 소스에서 통합된 데이터를 중앙에서 관리하는 repository입니다. 반면 데이터 레이크는 형식화되지 않은 원시 데이터를 저장할 수 있으며, 다양한 분석 워크로드에 더 큰 유연성을 제공합니다.

이러한 스토리지 옵션은 수십 년 동안 비즈니스 인텔리전스를 지원해 왔지만, 각각 BI에 대한 몇 가지 실질적인 한계에 직면해 있습니다. Databricks Lakehouse 아키텍처 는 데이터 레이크와 데이터 웨어하우스의 장점을 통합 데이터 플랫폼으로 결합합니다. 이 아키텍처는 사일로를 제거하고 통합, 저장, 처리, 거버넌스, 공유, 분석 및 AI를 위한 단일 플랫폼을 제공함으로써 데이터 관리를 간소화합니다. BI에 대한 낮은 query 지연 시간과 높은 안정성은 물론, 최신 인사이트를 얻기 위한 고급 분석 기능도 제공합니다.

데이터 분석에서 인사이트 생성까지

데이터가 수집, 정리, 구성되면 BI 플랫폼은 실행 가능한 인사이트를 생성합니다. 여기에는 종종 다음과 같은 유형의 분석이 포함됩니다.

• 기술 분석: 이 보기는 과거 데이터를 요약하여 시간 경과에 따른 추세, 비교, 성과를 보여줍니다. 기술 분석은 총계, 평균 또는 전년 대비 비교와 같은 지표를 기반으로 과거 이벤트에 대한 보기를 제공합니다.
• 진단 분석: 진단 분석은 데이터의 원인과 기여 요인을 탐색합니다. 예를 들어, 어떤 조직에서 고객 전환율이 감소한 경우 진단 분석을 통해 해당 감소가 발생한 지역과 그 이유를 파악할 수 있습니다. 애널리스트는 BI 도구에서 SQL query, 통계적 방법 또는 기본 내장 드릴다운 기능을 사용하여 관찰된 결과를 설명하는 상관관계나 패턴을 분리할 수 있습니다.
• 예측 분석: 예측 분석 은 통계 모델과 machine learning을 사용하여 과거 패턴을 기반으로 미래 결과를 예측합니다. 이를 통해 기업은 문제나 기회가 본격적으로 구체화되기 전에 이를 예측할 수 있습니다.
• 처방적 분석: 이 인사이트는 데이터와 예측에 기반한 구체적인 조치를 제안합니다. 처방적 분석은 최적화 알고리즘, 시뮬레이션 모델 또는 강화 학습을 사용하여 다양한 시나리오를 테스트하고 최선의 조치를 추천합니다.

비즈니스 인텔리전스의 활용 사례 및 이점

BI는 조직이 수십억 개의 데이터 행을 세분화된 KPI, 고객 세분화 모델, 운영 알림으로 변환하도록 돕습니다. 실시간 또는 거의 실시간 데이터를 수집함으로써 조직은 매우 낮은 지연 시간으로 BI 파이프라인에 데이터를 stream하여 거의 즉각적인 인사이트를 제공할 수 있습니다.

Databricks AI/BI Dashboards 와 Genie는 고객이 더 빠른 데이터 query를 통해 조직의 미션과 비전을 실현할 수 있도록 지원합니다.

Premier Inc.는 모든 미국 의료 서비스 제공자의 3분의 2에게 서비스를 제공하는 기술 기반 의료 개선 기업입니다. Databricks Platform과 AI/BI Genie를 도입함으로써 Premier는 파편화된 데이터를 제거하고 자연어 query를 활성화할 수 있었으며, 이를 통해 10배 더 빠른 SQL 생성과 시스템 간 원활한 데이터 통합을 이룰 수 있었습니다.

Premier는 Genie를 배포하여 명확한 메타데이터와 거버넌스 규칙으로 데이터를 체계화할 수 있으며, Unity Catalog는 Genie가 정확하고 안전한 결과를 제공하도록 보장합니다.

전략적 의사 결정 강화

신규 시장 진출, 제품 라인 전환, 마케팅 예산 할당과 같은 조직의 전략적 의사결정은 점점 더 데이터 기반으로 이루어져야 합니다. 이를 위해서는 적시에 적절한 데이터를 제공할 수 있는 도구가 필요합니다. Premier의 경우, 이는 임상 운영을 넘어서는 새로운 사용 사례를 탐색하는 것을 의미합니다. Premier는 Genie의 유연성을 활용하여 자원 할당 및 공급망 최적화와 같은 운영상의 문제를 해결하도록 헬스케어 고객을 지원하고, 이를 통해 의료 서비스 제공을 개선하려는 사명을 더욱 공고히 하고자 합니다.

비즈니스 인텔리전스 구현을 위한 모범 사례

조직의 성공은 운영에 적합한 종류의 데이터를 식별, 수집, 변환하는 능력에 달려 있습니다. 실행 가능한 인사이트로 이어지는 비즈니스 인텔리전스를 구현하려면 조직이 몇 가지 모범 사례를 commit해야 합니다.

• 통합: 효과적인 BI 구현은 일상적인 비즈니스 운영에 통합되어야 합니다. 사용자는 Salesforce나 SAP 같은 주요 시스템 또는 내부 도구에 분석을 직접 내장하여 상황에 맞는 의사 결정을 지원할 수 있습니다. 이벤트 기반 자동화, 즉 KPI가 threshold 아래로 떨어질 때 이메일 알림과 같은 데이터 기반 Trigger는 사용자와 시스템이 실시간으로 대응하는 데 도움이 될 수 있습니다.
• 반복: BI 관행을 채택하는 것은 반복적인 프로세스입니다. 조직은 작게 start 답변할 제한된 질문 집합을 만들어야 합니다. 짧은 스프린트에서 KPI와 리포팅 로직을 제한함으로써 사용자는 피드백을 제공하고 변경 사항을 통합하여 사용자 요구 사항을 더 정확하게 평가할 수 있습니다. 거기서부터 조직은 추가적인 질문과 query를 구축하여 솔루션 확장을 시작할 수 있습니다.
• 데이터 기반 문화 구축: 조직 전체에 데이터 리터러시 교육을 제공하면 데이터 기반 의사 결정의 중요성을 강조할 수 있습니다. 비전문 사용자는 시각화와 지표를 자신 있게 해석할 기회를 가져야 하며, 셀프 서비스 BI 기능은 비즈니스 사용자가 지속적인 엔지니어링 지원 없이 데이터를 탐색하는 데 도움을 줄 수 있습니다.
• 결과 측정: 마지막으로, 보고서가 얼마나 자주, 누구에 의해 사용되는지 추적하고 모든 BI 목표가 매출 성장, 비용 절감, 제품 개발 타임라인과 같은 측정 가능한 비즈니스 성과와 일치하는지 확인해야 합니다.

BI는 오늘날의 데이터 기반 환경에서 조직이 경쟁하는 데 필수적입니다. BI를 성공적으로 구현하려면 분석을 일상적인 워크플로에 통합하고, 지속적인 피드백을 통해 반복하며, 데이터 리터러시와 셀프 서비스 기능이 널리 보급된 문화를 조성해야 합니다. Databricks AI/BI와 같은 비즈니스 인텔리전스 플랫폼 및 솔루션 을 통해 사용자는 더 빠르고, 더 스마트하며, 더 확신에 찬 결정을 내릴 수 있습니다.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)