Constellation이 Databricks에서 거버넌스가 적용된 데이터 기반을 구축하는 방법

Constellation은 미국에서 가장 큰 원자력 발전 설비를 운영하는 기업입니다. 이들에게 AI 준비 과정에서 가장 어려웠던 부분은 모델 선택이 아니라 데이터의 의미에 대한 합의를 도출하는 것이었습니다. Constellation 팀은 비즈니스 전반에서 데이터를 일관성 있고 유용하게 사용할 수 있도록 Databricks 위에 거버넌스가 적용된 Enterprise Data Platform (EDP)을 구축하고 있으며, 이러한 접근 방식은 다른 기업들에게도 실용적인 로드맵을 제시합니다.

Constellation 소개

Constellation은 미국 최대의 청정 신뢰 에너지 생산 기업으로, 2,700만 가구에 공급할 수 있는 발전 용량과 약 250만 개의 소매 고객 계정을 보유하고 있습니다. 이러한 방대한 운영 규모와 고객 관계야말로 데이터 작업에서 공통된 정의와 거버넌스가 중요한 이유입니다.

Constellation은 자산 관리, 공급망, 상업 및 거래 시스템, 그리고 전사 운영 전반에서 데이터를 수집합니다. 이 데이터는 실시간에 가까운 시장 모델부터 원자력 텔레메트리까지 모든 분야에 활용됩니다. 안전과 신뢰성이 최우선인 비즈니스에서 올바른 정의와 거버넌스를 확립하는 것은 매우 중요합니다. 이러한 위험 프로필이 이후의 모든 아키텍처 선택을 좌우합니다.

문제점: 고품질 데이터, 그러나 공유된 시맨틱스의 부재

Constellation 전반의 팀들은 각자의 업무를 위해 강력한 데이터 역량을 구축했습니다. 그러나 여러 팀에 걸쳐 있는 질문의 경우, 정보를 연결하고 정의의 차이를 조율하기 위해 여전히 추가적인 노력이 필요했습니다. 데이터는 수십 곳에 분산되어 있었고 도메인 간의 의미를 정의하는 공통된 시맨틱 레이어가 부재했습니다.

Constellation은 많은 조직이 여전히 겪고 있는 문제에 직면했습니다. “고객이 몇 명입니까?”와 같이 단 하나의 답이 없는 단순한 질문입니다. 소매 부문은 청구서 계량기를 기준으로 하고, 도매 부문은 거래 상대방을 기준으로 하며, CRM은 계정이나 사용자를 기준으로 합니다. 각각 다른 의미를 가진 세 가지 정답이 존재합니다. 2026년에 합병된 Calpine(22개 주에 걸쳐 79개의 발전소와 27 GW의 용량을 보유)을 포함하여 인수를 통해 Constellation이 성장함에 따라 이 문제는 더욱 복잡해졌습니다. 자체적인 정의, 웨어하우스, 모델링 관점을 가진 완전히 별개의 스택이었습니다. EDP는 갑자기 Constellation 자체와 맞먹는 규모의 조직을 흡수해야 했습니다. 데이터에 의미를 부여하고 거버넌스를 확립하는 것은 Constellation이 Databricks 기반의 EDP를 개발하면서 추진하고 있는 전환점입니다.

기반: Databricks 기반의 엔터프라이즈 데이터 플랫폼

Constellation의 해답은 Databricks 기반의 거버넌스가 적용된 EDP입니다. EDP는 이전에 고립되어 있던 시스템을 연결하고 비즈니스에 데이터에 대한 단일하고 공유된 이해를 제공하는 공통 기반입니다. 이는 연결이 끊어져 있던 잘 만들어진 여러 시스템에서, 데이터가 전사적으로 공통된 의미를 지니는 거버넌스가 적용된 기반으로의 의도적인 전환입니다.

플랫폼 결정 자체에는 몇 주밖에 걸리지 않았습니다. Constellation이 Databricks를 선택한 이유는 기존 시스템을 갈아엎도록 강제하는 대신, 진행하면서 실험하고 성장하며 성숙해질 수 있는 여유를 주었으며 기존 아키텍처와 상호 운용될 수 있었기 때문입니다. 세 가지 아키텍처 필러가 돋보였습니다.

• 일치하는 시맨틱스로서의 공통된 의미. 각 도메인에 단일한 정의를 강제하는 대신, Constellation의 EDP 팀은 비즈니스 리더들과 협력하여 거버넌스가 적용되고 일치하는 엔티티를 정의합니다. 소매, 도매, 가스, CRM 전반에서 "고객"의 의미에 동의하고 해당 정의를 전사적으로 복제합니다. 그 위에 Constellation은 고객, 계약, 자산 및 도메인 간의 연결 방식과 같은 비즈니스 관계를 매핑하는 시맨틱 지식 레이어를 구축했습니다.
  팀은 모델링 방법으로 Data Vault를 사용하며, 이는 시스템 변경에 따라 유연하게 대응해야 하는 중요하고 재사용 가능한 엔티티에 선별적으로 적용됩니다. 모든 데이터셋이 Data Vault에 저장되는 것은 아닙니다. 모델링 선택은 의도적이며 엔티티의 재사용, 감사, 시간에 따른 진화 여부에 따라 달라집니다.
• 거버넌스는 단순한 접근 제어를 넘어선 소유권 모델입니다. Constellation이 주요 결정 요인으로 꼽은 것은 전통적인 접근 제어를 넘어 이해관계자에게 시맨틱 의미를 전달할 수 있는 서비스를 선택하는 것이었습니다. 해당 기준에 따라 Unity Catalog는 당연한 선택이었습니다. Unity Catalog는 리니지, 세밀한 접근 제어, 단일 권한 모델을 제공합니다. Constellation은 기술 레이어를 넘어 다른 플랫폼들이 어려움을 겪는 질문, 즉 "의미를 누가 소유하는가?"에 대한 답을 제시했습니다. Unity Catalog metric views를 사용하면 더욱 간편해집니다. 데이터 도메인마다 요구되는 접근 및 거버넌스 제어가 다릅니다. Constellation 팀은 새로운 유스케이스를 기반에 도입하면서 이러한 요구사항을 지원할 수 있도록 플랫폼을 설계했습니다. 내부 승인 및 거버넌스 확립은 신뢰의 닻이 되었습니다.
• 단일 거버넌스 기반 위의 멀티 워크스페이스. 동일한 거버넌스 데이터셋이 별도의 워크스페이스에 걸쳐 노출되며, 비즈니스 시맨틱스는 한 번 정의되어 여러 번 소비됩니다.

Constellation에게 Databricks는 데이터 엔지니어링과 거버넌스를 모두 지원하여 팀이 제어된 환경에서 AI를 구축할 수 있도록 합니다.

동일한 기반 위에 구축된 세 가지 유스케이스 예시:

동일한 거버넌스 기반 위에서, 초기 세 가지 유스케이스는 비즈니스의 매우 다른 영역에서 무엇이 가능한지 보여주고 있습니다.

1. 원자력 엔지니어링 어시스턴트

Constellation은 엔지니어링 팀이 승인된 기술 정보를 더 쉽게 찾고 사용하여 복잡한 질문에 답하는 데 드는 노력을 줄일 수 있도록 Databricks Genie로 구축되고 Unity Catalog를 통해 거버넌스가 적용되는 어시스턴트를 개발하고 있습니다.

2. 가동 중지 계획: 계획된 원자력 유지보수 관리

계획된 가동 중지(Outage)는 Constellation이 운영하는 가장 복잡한 작업 중 하나입니다. 이는 연료 교체, 주요 유지보수, 규제 검사 및 장비 작업을 위해 발생합니다. 각각의 작업에는 촉박한 일정 속에서 대규모 인력과 많은 작업 지시서가 한 현장에 모입니다. 이를 조율한다는 것은 서로 다른 시스템의 일정 관리, 작업 실행, 자산 상태 데이터를 활용하는 것을 의미합니다. 팀은 플래너들이 일정을 분석하고 작업을 조율할 수 있도록 이 데이터를 Databricks에 통합하고 있으며, 의사결정은 가동 중지 팀에서 담당합니다.

3. 영업 인텔리전스: 기회 우선순위 지정 및 다음 최적의 행동

영업 부문에서는 관련 고객 및 상업 정보를 통합하여 팀이 대화를 준비하고 성장 기회를 식별할 수 있도록 지원합니다. 팀은 이 정보를 더 일관되고 접근하기 쉽고 실행 가능하게 만들기 위해 Databricks에서 AI 역량을 개발하고 있으며, 고가치 기회의 우선순위 지정 및 다음 최적의 행동 추천과 같은 결과를 지원합니다. 이 모든 것은 적절한 데이터 가드레일과 함께 Databricks의 동일한 거버넌스 데이터 기반 위에 구축됩니다.

주요 시사점

Constellation의 경험은 엔터프라이즈 데이터 플랫폼이 기술만큼이나 의미와 거버넌스에 관한 것임을 강조합니다. 팀은 비즈니스 전반에서 유용한 분석과 AI를 지원하는 데 필요한 정의, 제어, 재사용 가능한 데이터 기반을 구축하고 있습니다. Unity Catalog가 적용된 Databricks는 비즈니스 사용자가 데이터를 신뢰하고 검색할 수 있도록 만듭니다.

또한 이 거버넌스 기반을 통해 데이터 과학자는 Genie One 및 Genie Agents를 포함하여 Databricks로 머신러닝 및 에이전틱 AI 솔루션을 구축할 수 있습니다. 팀은 영업, 유지보수 계획, 엔지니어링 지원 분야에서 유스케이스를 개발하면서 이러한 역량을 활용하고 있습니다.

향후 계획

Constellation은 비즈니스 컨텍스트를 추가하는 자기 학습 지식 그래프인 Genie Ontology와 Unity Catalog에서 비즈니스 정의를 중앙에서 관리하는 Unity Catalog Pages를 탐색하고 있습니다. 이러한 기능들은 데이터를 더 의미 있고 일관성 있으며 사용하기 쉽게 만듦으로써 시맨틱 레이어를 확장합니다.

Constellation의 리더인 SVP 겸 CIO Jay Cavalcanto와 IT 비즈니스 관리 오피스 VP Vineeth Vijaykumar가 작성한 이 블로그 게시물에서 이들의 스토리에 대해 자세히 알아보세요.

Constellation의 Databricks Data + AI Summit 발표 시청하기 (56분 23초)

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)