작성자: Bryan Saftler
데이터, 분석 및 AI 거버넌스는 데이터와 AI 민주화 노력에서 가장 중요하면서도 어려운 측면일 것입니다. 데이터, 분석 및 AI 요구 사항을 위해 비즈니스 인텔리전스를 위한 데이터 웨어하우스와 AI를 위한 데이터 레이크라는 두 가지 다른 시스템을 배포했을 것입니다. 그리고 이제 두 시스템 간의 데이터 이동으로 데이터 사일로를 만들었고, 각 시스템은 다른 거버넌스 모델을 가지고 있습니다.
하지만 데이터는 파일이나 테이블에만 국한되지 않습니다. 대시보드, ML 모델, 노트북과 같은 자산도 있으며, 각각 고유한 권한 모델을 가지고 있어 이러한 모든 자산에 대한 액세스 권한을 일관되게 관리하기 어렵습니다. 데이터 자산이 서로 다른 액세스 관리 솔루션을 갖춘 여러 클라우드에 걸쳐 존재할 때 문제는 더욱 커집니다. 좋은 소식은 데이터 거버넌스를 통합할 방법이 있다는 것입니다. 하지만 왜 신경 써야 할까요?
강력한 데이터 거버넌스가 없으면 팀과 기업은 잠재고객을 완전히 이해하거나, 운영 및 소비자 라이프사이클 전반에 걸쳐 더 나은 비즈니스 성과를 창출하거나, 알고리즘 및 데이터 중심 편향을 제어할 수 없습니다. AI 모델이 더욱 복잡해짐에 따라 이러한 모델이 어떻게 관리되고 내부 및 외부 데이터 자산과 어떻게 상호 작용하는지 이해하는 것이 중요합니다.
CIO는 이를 이해합니다. 실제로 MIT Technology Report에서 Databricks가 공동 개발한 내용에 따르면 CIO의 98%가 거버넌스에 대한 통합적이고 일관된 접근 방식으로의 전환이 중요하다고 말합니다. 산업 전반의 획기적인 데이터 인텔리전스 도입.
빠르게 변화하는 커뮤니케이션, 미디어 및 엔터테인먼트 세계에서 잠재고객은 고유한 선호도에 맞는 개인화된 경험을 요구합니다. 이를 위해서는 콘텐츠 소비 습관, 클릭스트림 참여 이해부터 인구 통계, 과거 구매 및 거래 정보에 이르기까지 사용자 데이터에 대한 깊은 이해가 필요합니다. 그러나 이 데이터는 종종 다양한 시스템과 플랫폼에 분산되어 있어 고객에 대한 통합된 보기를 얻기 어렵습니다. 효과적인 데이터 거버넌스는 이러한 분산된 데이터를 통합하고 조화시키는 데 필수적이며, 미디어 회사가 잠재고객의 360도 프로필을 구축할 수 있도록 합니다. 이 360도 프로필을 통해 팀은 잠재고객의 참여를 유지하고 다시 방문하게 만드는 초개인화된 경험, 콘텐츠 추천 등을 중심으로 AI 모델과 시스템을 더 잘 구축할 수 있습니다.
AI 모델이 복잡해짐에 따라 이를 구동하는 데이터와 상호 작용하는 방식을 이해하는 것이 중요합니다. 강력한 데이터 거버넌스 관행은 AI 기반 인사이트의 투명성과 설명 가능성을 보장합니다. 이는 AI 모델 학습에 사용된 데이터의 출처와 변환을 추적할 수 있도록 상세한 데이터 계보, 출처 및 품질 메트릭을 유지함으로써 달성됩니다.
이는 강력한 데이터 거버넌스가 더 이상 선택 사항이 아니라 필수적임을 의미합니다. McKinsey & Company에 따르면 효과적인 데이터 거버넌스가 부족한 기업은 데이터 품질이 좋지 않아 비생산적인 작업에 직원 시간의 최대 29%를 낭비합니다. 그러나 데이터 품질을 향상시키고 의사 결정을 내리는 데 중요한 역할을 함에도 불구하고 데이터 거버넌스는 종종 수익을 직접적으로 증대시키지 못하여 일부 기업은 이를 전략적 우선순위로 취급하기보다는 IT 부서에 맡기게 됩니다.
데이터 거버넌스가 조직을 변화시키려면 최고 경영진이 주도해야 합니다. 정부 규제가 증가함에 따라 최고 AI 책임자 및 최고 데이터 책임자(CDO)와 같은 직책이 이제 이니셔티브를 주도하고 있습니다. 이는 비즈니스 컨텍스트와 기본 데이터에 의존하는 AI에 특히 중요합니다. 데이터 거버넌스 프로그램을 시작할 때 CDO의 첫 번째 단계는 비즈니스 지원을 확보하는 것입니다. 여기에는 정책을 수립하기 위한 데이터 관리실(DMO)과 우선순위를 설정하고 규정 준수를 보장하기 위한 비즈니스 리더 데이터 위원회라는 두 가지 핵심 기관을 설립하는 것이 포함됩니다. 중요한 전략은 고객 또는 제품 데이터와 같은 특정 데이터 영역에 집중하여 이니셔티브를 관리 가능하고 전략적 목표와 일치하도록 만드는 것입니다. 이 표적 접근 방식은 데이터 거버넌스의 방대한 범위가 프로그램을 탈선시키는 것을 방지하는 데 도움이 됩니다. 데이터 거버넌스의 실질적인 비즈니스 이점을 입증하는 것은 자금 지원 및 경영진 지원을 유지하는 데 중요합니다. DMO는 성공 사례를 문서화하고 지속적인 투자의 가치를 전달하여 즉각적인 문제가 해결된 후에도 데이터 거버넌스가 우선순위로 유지되도록 하는 데 중요한 역할을 합니다.
데이터 거버넌스 표준을 정의할 때 DMO는 전체 엔터프라이즈에서 데이터가 생성되고 액세스되는 방식을 면밀히 검토해야 합니다. 운영 목적을 위해 어느 정도의 데이터 중복은 종종 피할 수 없지만, 분석 기능의 발전으로 이제 조직은 분석 인프라를 통합할 수 있습니다. 조직은 독립적인 데이터 웨어하우스, 데이터 마트, 데이터 레이크 및 전문 데이터 과학 플랫폼의 파편화된 환경을 유지하는 대신 이러한 분산된 환경을 통합된 엔터프라이즈 전체 데이터 플랫폼으로 통합하는 것을 고려해야 합니다. 이 중앙 집중식 접근 방식은 비즈니스 전반에 걸쳐 발견되는 분석 요구 사항의 전체 범위를 더 잘 지원할 수 있습니다.
Databricks Data Intelligence Platform은 처음부터 데이터 및 분석에 대한 통합 접근 방식이라는 비전을 염두에 두고 구축되었습니다. 내부 및 외부에서 발생하는 구조화 및 비구조화 데이터를 성능과 비용 효율성으로 처리할 수 있는 Delta Lake의 데이터 관리 계층을 기반으로 하는 Databricks는 조직이 모든 분석 관련 정보 자산을 단일 통합 플랫폼 내에 통합할 수 있도록 합니다.
실시간 및 배치 처리 모두를 지원하는 Databricks 플랫폼을 통해 데이터 엔지니어는 원하는 비즈니스 결과 지원에 중요한 속도로 비즈니스에 대한 인사이트를 처리하고 제공할 수 있습니다. 오늘날 시장에 있는 모든 최신 비즈니스 인텔리전스 및 데이터 검색 플랫폼과의 통합 및 생성 AI를 포함한 머신러닝 및 AI 워크로드에 대한 강력한 지원을 통해 Databricks는 조직의 분석 요구 사항을 최대한 충족할 수 있습니다.
Databricks Data Intelligence Platform은 혁신적인 데이터 관리의 업계 표준으로 빠르게 자리 잡고 있습니다. 이것이 바로 Unity Catalog가 등장하는 이유입니다. Unity Catalog는 모든 클라우드 또는 플랫폼에서 구조화 및 비구조화 데이터, 머신러닝 모델 및 다양한 기타 디지털 자산을 관리하기 위한 원활하고 통합된 계층을 제공하여 데이터 거버넌스에 혁명을 일으키고 있습니다. 결과적으로 Unity Catalog는 데이터 전문가가 신뢰할 수 있는 데이터에 안전하게 액세스하고 협업할 수 있도록 하여 인공 지능을 활용하여 생산성을 향상시키고 레이크하우스 아키텍처의 기능을 최대한 활용할 수 있도록 합니다. 이는 데이터 계보가 "잊혀질 권리"를 처리할 때 중요한 고려 사항인 GDPR 및 CCPA와 같은 데이터 개인 정보 보호 규정으로 인해 특히 중요합니다. 이러한 규정은 조직이 개인 데이터의 출처와 흐름을 식별할 수 있도록 하여 요청 시 이를 찾아 삭제할 수 있도록 요구합니다.
미디어 및 엔터테인먼트 조직은 종종 멀티 클라우드 환경에서 운영되며 데이터와 애플리케이션이 다양한 클라우드 플랫폼에 분산되어 있습니다. Databricks Unity Catalog는 모든 클라우드 또는 플랫폼에서 구조화 및 비구조화 데이터, 머신러닝 모델 및 기타 디지털 자산을 관리하기 위한 단일 통합 계층을 제공함으로써 데이터 자산의 위치에 관계없이 권한 모델과 거버넌스를 단순화합니다.
Unity Catalog를 통해 사용할 수 있는 주요 지원 기능은 다음과 같습니다.
거버넌스에 대한 이러한 통합 접근 방식은 데이터 및 AI 이니셔티브를 가속화하는 동시에 규정 준수를 단순화합니다. 점점 더 많은 조직에서 Databricks 플랫폼의 핵심 구성 요소인 Unity Catalog는 엔터프라이즈 데이터 거버넌스 전략의 초석이 되었습니다.
미디어 및 엔터테인먼트 산업이 계속해서 생성형 AI의 힘을 수용함에 따라 데이터 거버넌스는 잠재력을 최대한 발휘하는 열쇠가 될 것입니다. 이러한 AI 모델에 데이터를 공급하는 데이터의 품질, 보안 및 액세스 가능성을 보장함으로써 조직은 혁신을 주도하고 더 매력적인 콘텐츠를 만들고 잠재고객에게 탁월한 경험을 제공할 수 있습니다.
데이터 거버넌스는 단순한 규정 준수 요구 사항이 아니라 전략적 필수 사항입니다. 데이터 중심의 비즈니스 주도 거버넌스 접근 방식을 채택함으로써 조직은 데이터 및 AI 이니셔티브의 잠재력을 최대한 발휘하여 개인화된 경험을 제공하고 혁신을 주도하며 끊임없이 변화하는 미디어 환경에서 장기적인 성공을 보장할 수 있습니다.
(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)
블로그를 구독하고 최신 게시물 을 이메일로 받아보세요.