더 나은 감지도 중요하지만, 감지만으로는 충분하지 않습니다. 에너지 팀이 Data and AI Platform에서 ML 인사이트를 거버넌스가 확보된 비즈니스 운영으로 실현하는 방법을 소개합니다.
작성자: Daniel Zoccali , Jack Yallop
에너지 도난은 일반적으로 계량기나 공급 장치를 조작하여 소비량이 기록되지 않도록 함으로써 가스나 전기를 대가 없이 고의로 사용하는 것을 말합니다. 요금 청구 오류나 미납 고지서와 달리, 이는 연결 상태를 물리적으로 변경하는 것이므로 감지하기 어렵고 잠재적으로 위험할 수 있습니다.
수익 보호 팀에게 도난은 재정적 문제이자 안전 문제입니다. 조작된 계량기와 배선은 화재와 가스 누출을 유발할 수 있습니다. 에너지 도난으로 인해 영국에서만 에너지 소비자들이 매년 14억 파운드 이상의 비용을 치르고 있으며, 대상 사건 중 단 40%만 감지되고 있습니다.
대부분의 기업이 이미 의심스러운 계정을 표시할 수 있는 ML 모델을 보유하고 있기 때문에, 이제 과제는 단순히 더 많은 도난을 감지하는 것이 아닙니다. 팀은 표시된 계량기에서 수익 회수, 더 안전한 가정에 이르는 루프를 가속화하는 단일의 거버넌스가 적용된 워크플로를 중심으로 수익 보호 운영을 통합해야 합니다. 팀은 신호를 해석하고, 조사의 우선순위를 정하고, 현장 팀을 준비시키고, 손실을 회수하고, 리더에게 신뢰할 수 있는 지표를 적시에 제공할 수 있 어야 합니다.
대부분의 조직은 이탈 확률, 사기 점수, 고장 예측 또는 도난 위험 점수와 같이 유용한 예측을 생성하는 모델을 학습시킬 수 있습니다. 하지만 점수 자체가 결과는 아닙니다. 가치는 비즈니스가 그 다음에 무엇을 하느냐에서 창출되며, 바로 이 지점에서 많은 ML 프로그램이 정체됩니다. 인사이트는 대시보드에 도달하지만, 누군가는 여전히 이를 행동으로 옮겨야 합니다.
에너지 도난은 대표적인 예입니다. 인사이트를 조치하지 않고 방치하면 비용과 안전 모두에 손실이 발생합니다. 표시된 계정은 스스로 해결되지 않습니다. 누군가는 조사가 필요한지 평가하고, 현장 방문을 안전하게 파견하고, 손실을 회수하고, 결과를 기록하고, 그 결과를 다시 모델에 피드백해야 합니다. 이러한 단계들이 수동 인수인계로 연결되면 속도가 중요한 시점에서 프로세스가 느려집니다. 실제 사건이 해결되지 않고 대기하는 하루하루는 더 많은 에너지 도난과 장기적인 안전 위험을 의미합니다.
따라서 진짜 과제는 감지가 아니라 운영화(operationalization)입니다. 즉, 감지, 조사, 회수, 보고를 단일의 거버넌스가 적용된 루프로 연결하는 것입니다. Databricks에서는 이 루프가 Databricks App에서 실행되며, 실시간 케이스 상태는 Lakebase에 보관되고 비즈니스 로직은 기본 데이터와 동일한 lakehouse에서 실행되며, Unity Catalog에 의해 엔드투엔드로 제어됩니다. 인사이트는 플랫폼을 벗어나지 않고도 조치로 이어집니다.
Databricks의 에너지 솔루션 아키텍트인 Daniel Zoccali가 Databricks를 사용하여 에너지 도난 조사를 감지하고 운영화하는 방법을 시연하는 모습을 시청해 보세요.
인사이트를 운영화하는 것은 해석에서 시작됩니다. 표시된 계정을 분류하는 분석가는 데이터 과학자가 아니며, 정확한 종합 위험 점수라 할지라도 다음에 무엇을 해야 하는지 설명하지 못할 수 있습니다. 단순한 숫자만으로는 현장 인력을 오탐(false positive)으로 안내하여 부족한 현장 역량을 소모하게 만들 수 있습니다. 그렇기 때문에 워크플로는 점수를 Databricks Model Serving을 통해 제공되고 Unity Gateway에 의해 제어되는 AI 생성 케이스 요약과 결합하여, 계정이 표시된 이유를 쉬운 언어로 설명합니다. 길고 지루한 수동 검토가 신속하고 일관된 평가로 바뀝니다.
그런 다음 분석가는 해석에서 실행 단계로 넘어갈 수 있습니다. 증거를 수집하고 규정 준수 세부 정보를 준비하는 데 며칠을 허비하는 대신, 레이크하우스 지식을 기반으로 즉시 파견 가능한 보고서를 생성합니다. 여기에는 권장되는 다음 단계, 증거 체크리스트, 안전 유의 사항이 포함되어 엔지니어가 준비된 상태로 현장에 도착할 수 있도록 합니다. 워크플로가 Databricks App으로 실행되기 때문에 문서를 넘어 팀이 이미 사용 중인 엔터프라이즈 시스템으 로 케이스를 전달합니다.
Lakebase는 프로세스가 실시간으로 반응하도록 유지합니다. 플랫폼의 Postgres 트랜잭션 레이어로서 점수가 매겨진 출력과 실시간 케이스 상태를 저장하므로, 앱이 낮은 지연 시간으로 업데이트를 읽고 쓸 수 있습니다. 회수가 확인되면 누계가 즉시 업데이트됩니다. 또한 모델이 Unity Gateway를 통해 실행되므로 팀은 워크플로를 재설계할 필요 없이 구성을 통해 기본 모델을 선택하거나 변경할 수 있습니다.
운영 속도만큼 경영진의 가시성도 중요합니다. 수익 보호 리더는 보고서를 기다리지 않고도 목표 대비 회수 현황을 추적하고 CFO의 질문에 답변할 수 있어야 합니다.
Genie One을 사용하면 리더가 쉬운 영어로 질문하고 Unity Catalog의 지표 정의를 기반으로 한 답변을 받을 수 있습니다. 즉, "회수된 수익" 및 "정밀도"와 같은 측정 지표가 일관된 의미를 가지며, 팀은 각 숫자가 어떻게 산출되었는지 검사할 수 있습니다. 동일한 거버넌스가 적용된 시맨틱을 통해 Agent Bricks 멀티 에이전트 감독자(Multi-Agent Supervisor)는 Genie 쿼리를 오케스트레이션하고 추적 가능한 이사회 보고용 출력을 반환함으로써 월말 이사회 패키지 작성을 자동화할 수 있습니다. 분석가는 슬라이드를 제작하는 대신 모델을 개선하는 데 시간을 보낼 수 있습니다.
에너지 도난을 조사할 때 거버넌스는 선택 사항이 아닙니다. 영국의 경우, Ofgem의 데이터 액세스 및 개인정보 보호 프레임워크(Data Access and Privacy Framework)와 ELEXON의 균형 및 정산 규정(Balancing and Settlement Code)이 에너지 데이터의 액세스 및 사용 방식을 규정합니다. Ofgem이 공급업체의 규정 준수 여부를 적극적으로 조사하고 있는 상황에서 거버넌스는 이론적인 문제가 아니라 운영 및 규제상의 요구 사항입니다.
모델, 서빙 엔드포인트 및 데이터 세트가 PII로 레이블이 지정된 필드와 함께 Unity Catalog에 등록되면, 팀은 데이터를 소비하는 모델까지 데이터 계보(lineage)를 추적하고, 사용을 감사하며, 모델 수준의 가드레일 및 액세스 제어를 적용할 수 있습니다. Unity Gateway를 통해 호출을 라우팅하면 데이터, PII 및 프롬프트를 조직의 보안 경계 내에 유지하는 동시에 각 조사에 대한 AI 비용의 가시성을 확보할 수 있습니다. 신뢰할 수 있고 설명 가능하며 액세스가 제어되는 답변이야말로 규제가 엄격한 운영 환경에서 AI 도입을 가능하게 만드는 요소입니다.
이 패턴은 에너지 도난 분야에만 국한되지 않습니다. 내부적으로는 모델 출력을 조치로 전환하는 반복 가능한 방법입니다. Lakeflow는 원시 데이터를 피처로 변환하고, 모델은 플랫폼에서 학습 및 서빙되며, 출력은 운영 앱을 위해 Lakebase에 기록됩니다. Genie One 및 Databricks SQL은 리더십의 질문에 답변하고, 에이전트는 보고를 자동화합니다. 이 모든 과정이 서버리스 컴퓨팅에서 실행되는 거버넌스가 적용된 Databricks App 내에서 이루어집니다.
모델과 신호를 변경하면 동일한 폐쇄 루프(closed loop)를 통해 보험 청구 사기, 예지 보전, 결제 사기 또는 이탈 방지 조치를 지원할 수 있습니다. 기회는 단순히 더 나은 점수를 얻는 데 그치지 않고, 감지, 조사, 분석, 보고가 서로를 보완하는 하나의 거버넌스가 적용된 워크플로 내에서 해당 점수에 따라 더 빠르게 조치를 취하는 데 있습니다. AI의 가치는 모델 자체뿐만 아니라 이를 둘러싸고 구축된 비즈니스 프로세스에 있습니다.
더 자세히 알아볼 준비가 되셨나요? 에너지 가상 산업 포럼: 통합 데이터, 실시간 인사이트, 대규모 AI를 통한 에너지 전환 촉진에서 전체 데모와 전문가의 심층 분석을 시청해 보세요.
에너지 도난은 종종 계량기 조작이나 불법 연결을 통해 가스나 전기를 대가 없이 고의로 사용하는 것을 말합니다. 이는 요금 청구 오류나 미납 고지서와는 다르며 심각한 안전 위험을 초래할 수 있습니다.
Databricks는 조사 및 회수를 위해 ML 점수 산출을 거버넌스가 적용된 Databricks App에 연결합니다. 이 워크플로는 케이스 요약을 생성하고, 조사의 우선순위를 정하고, 즉시 파견 가능한 보고서를 준비하고, 회수 현황을 추적하고, 경영진 분석을 제공할 수 있습니다. 레이크하우스는 데이터 기반을 제공하며, Lakebase는 반응 형 운영 애플리케이션을 위해 실시간 케이스 상태를 저장합니다.
AI는 표시된 계정을 설명하고, 증거를 제시하고, 다음 단계를 권장하고, 현장 보고서를 작성할 수 있습니다. 분석가와 엔지니어는 안전, 규정 준수 및 실행에 대한 책임을 계속 유지합니다.
예, 그렇습니다. Genie One은 회수된 수익, 조사 규모, 회수율, 정밀도 등의 지표를 포함하여 거버넌스가 적용된 데이터와 공유된 정의를 기반으로 한 답변을 제공합니다.
아닙니다. AI는 분류 및 보고를 가속화하는 반면, 사람은 판단, 규제 해석, 고객 응대 및 현장 실행이 필요한 의사 결정을 내립니다.
(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)
블로그를 구독하고 최신 게시물을 이메일로 받아보세요.