Indra가 Databricks에서 EV 충전 데이터를 통합한 방법

데이터가 주변 시스템보다 빠르게 증가하면 복잡성이 기본값이 됩니다. 상업용 및 가정용 스마트 충전기를 설계, 엔지니어링, 제조하는 영국에서 가장 빠르게 성장하는 전기차(EV) 충전 기업 중 하나인 Indra Renewable Technologies가 직면한 과제가 바로 이것이었습니다. 데이터 자산이 확장됨에 따라 이와 관련된 도구, 파이프라인, 비용도 함께 늘어났습니다.

그 결과는 익숙한 모습이었습니다. 시스템은 파편화되고 로직은 중복되었으며, 데이터를 활용해 비즈니스를 발전시키는 대신 인프라를 유지 관리하는 데 많은 시간을 허비하게 되었습니다.

Indra의 대응은 또 다른 포인트 솔루션을 추가하는 것이 아니었습니다. 대신 Databricks로 통합하여 비즈니스 전반에서 분석, 리포팅, 셀프 서비스 액세스를 지원하는 단일 거버넌스 플랫폼을 구축하는 것이었습니다.

Indra의 CTO인 Matthew Noonan과 데이터 엔지니어인 Meghana Ganatra가 Databricks와 함께한 여정을 공유하는 영상을 시청해 보세요.

Indra의 Databricks 여정은 Synapse로부터의 병렬 프로토타입 마이그레이션으로 시작되었습니다. 결과가 기대치에 부합하자, 팀은 월별 Delta 테이블로 확장하고, 플릿 파이프라인을 통합했으며, Cosmos DB에서 Databricks로 더 많은 운영 부하를 이전했습니다. 다음 단계는 거버넌스가 적용된 데이터를 엔지니어링 부서 외부에서도 유용하게 활용할 수 있도록 하는 데 집중되었으며, 자동화된 AI/BI 대시보드와 Genie 에이전트를 통해 비즈니스 팀이 원하는 답변에 직접 액세스할 수 있도록 했습니다.

시작점: 너무 많은 도구, 과도한 오버헤드

Indra의 데이터는 Cosmos DB, Synapse, Azure Data Lake Storage, Azure Functions, Power BI 및 기타 Azure 서비스에 분산되어 있었습니다. 각 사용 사례는 저마다의 방식으로 발전해 왔습니다.

이로 인해 몇 가지 문제가 발생했습니다.

• 여러 도구에 걸쳐 비용이 자연스럽게 증가함
• 표준화가 거의 이루어지지 않은 채 파이프라인이 개별적으로 구축됨
• 데이터가 파편화됨
• 단일 카탈로그나 데이터 계보 뷰가 없어 거버넌스가 제한됨
• 비즈니스 팀이 일상적인 수치를 확인하기 위해 여전히 데이터 팀에 의존함

아키텍처는 작동했지만 비용이 많이 들고 깔끔하게 확장하기 어려웠습니다.

단일 플랫폼이 중요했던 이유

Databricks는 Indra가 이러한 요소들을 하나로 통합할 수 있는 방법을 제시했습니다.

팀은 여러 개의 개별 서비스를 유지 관리하는 대신, Unity Catalog를 통해 거버넌스가 적용된 데이터 세트, 표준화된 워크플로, 중앙 집중식 가시성을 제공하는 단일 플랫폼으로 마이그레이션했습니다. 이러한 변화는 기술 스택 못지않게 운영 모델도 변화시켰습니다.

팀은 더 이상 모든 사용 사례를 별도의 빌드로 처리할 필요가 없었습니다. 거버넌스가 적용된 데이터 위에서 한 번 빌드하면 여러 팀과 워크로드에서 플랫폼을 재사용할 수 있게 되었습니다.

실제로 이는 서로 단절된 도구들을 나란히 두고 사용하는 대신, 하나의 중앙 집중식 데이터 플랫폼이 여러 사용 사례를 지원함을 의미했습니다.

엔지니어링, 비즈니스 사용자 및 고객에게 일어난 변화

혜택은 데이터 팀에만 국한되지 않았습니다.

• 엔지니어링 부서의 경우, Databricks는 분산된 소스가 아닌 거버넌스가 적용된 데이터 세트를 기반으로 빌드할 수 있는 토대가 되었습니다.
• 비즈니스 사용자의 경우, 데이터 팀에 수치를 요청해야 하는 필요성이 줄어들었습니다.
• 외부 고객의 경우, 단일 플랫폼에서 제공되는 단일 진실 공급원(single source of truth)이 마련되었습니다.
• 그리고 데이터 팀의 경우, 시스템 지원이 더 쉬워지고 확장성이 향상되었으며 확장이 간소화되었습니다.

파편화에서 표준화로의 전환은 플랫폼 통합에서 얻을 수 있는 가장 큰 이점 중 하나입니다. 그 가치는 비용 절감뿐만 아니라 업무 인수인계의 감소와 운영 마찰의 완화에도 있습니다.

취약한 파이프라인을 메달리온 아키텍처로 대체

Indra의 가장 명확한 사례 중 하나는 플릿 데이터 파이프라인이었습니다.

이전에는 시스템이 스택을 통해 데이터를 이동하기 위해 여러 Azure Functions와 개별 단계에 의존했습니다. 파이프라인은 텔레메트리와 트랜잭션을 수집하고, 일련의 서비스를 통해 이를 처리한 다음, 결과를 리포팅 도구나 고객 인도 레이어로 전송했습니다.

새로운 아키텍처는 이 경로를 단순화했습니다. Indra는 메달리온 디자인을 사용하여 플릿 데이터를 원시 단일 진실 공급원으로서 브론즈 레이어로 가져오고, PySpark를 사용하여 실버 레이어에서 변환한 다음, 리포팅 및 고객 인도를 위한 비즈니스 지원 골드 테이블을 게시했습니다.

이러한 통합을 통해 기존의 Azure Functions 3개가 필요 없어졌으며, 하나의 파이프라인으로 매일 3개의 고객사를 지원할 수 있게 되었습니다.

그 영향은 즉각적이었습니다.

• 중복된 로직 대신 단일 코드베이스 사용
• 유지 관리해야 할 가동 부품 감소
• 기존 함수 대비 60%~70%의 성능 향상

리포팅을 셀프 서비스로 전환

Indra는 수동 리포팅이라는 흔한 페인 포인트도 해결했습니다. 월별 KPI는 Excel로 추적되었고, 일부 리포팅은 라이선스 제약이 있는 Power BI에서 이루어졌습니다. 이로 인해 의사 결정이 지연되었고 비즈니스 사용자는 데이터 팀에 계속 의존해야 했습니다.

새로운 프로덕션 패턴은 메달리온 아키텍처의 거버넌스가 적용된 골드 테이블에서 실행되고, Unity Catalog를 통해 카탈로그화되며, 서버리스 SQL 웨어하우스를 통해 제공됩니다. AI/BI 대시보드는 일정에 따라 자동으로 새로 고침되며, 마케팅, 운영 및 기타 팀에서 이전에 수동으로 관리하던 Excel 트래커를 대체했습니다. 대시보드 캔버스에 Genie One이 직접 내장되어 있어, 사용자는 페이지를 벗어나지 않고도 고정된 시각 자료에서 기본 데이터와의 자연어 대화로 전환할 수 있습니다.

대시보드는 실질적인 운영 의사 결정을 지원합니다. Device Voltage Report는 현장에 설치된 충전기 전반의 규정 준수 여부를 모니터링하며, Charger Uptime Analysis 대시보드는 팀이 플릿 상태를 파악하는 데 도움을 줍니다. 예를 들어, 선택한 기간 동안 평균 가동 시간 90.25%를 기록한 14,975개의 디바이스를 보여줍니다. Worcester 지역의 Grid Voltage 대시보드는 지리적 맥락을 추가하여 팀이 과전압 및 저전압 핫스팟을 식별하고 현지 조건이 충전기 설계에 미칠 수 있는 영향을 이해하도록 돕습니다.

Genie 에이전트는 동일하게 거버넌스가 적용된 데이터를 대화형 분석으로 확장합니다. Indra는 텔레메트리, 디바이스 펌웨어, 사용자, 디바이스, 차량을 위한 에이전트를 보유하고 있습니다. 마케팅 또는 운영 사용자는 특정 월에 얼마나 많은 디바이스가 EV에 전력을 공급했는지 질문할 수 있고, 엔지니어링 부서는 모델 또는 펌웨어 버전별 디바이스 수를 확인할 수 있으며, 제품 팀은 플랫폼에 표시되는 차량 제조사를 탐색할 수 있습니다. Genie는 SQL을 생성하고 결과를 반환하며, 데이터 팀에 새로 요청할 필요 없이 후속 질문을 지원합니다.

이러한 기능들이 결합되어 리포팅을 자동화하고, 수동 새로 고침 없이 대시보드를 최신 상태로 유지하며, 사용자가 쉬운 영어로 질문할 수 있게 하고, 임시 지원을 기다릴 필요 없이 팀에 답변을 제공합니다. 이를 통해 일상적인 질문 해결 시간을 며칠에서 몇 분으로 단축하는 동시에 데이터에 대한 공유되고 거버넌스가 적용된 뷰를 생성합니다.

변화의 이면에 있는 수치와 이를 통해 가능해진 것들

Indra의 아키텍처 단순화는 측정 가능한 결과를 가져왔습니다.

• Synapse에서 Databricks로의 마이그레이션을 통해 80~90%의 비즈니스 비용 절감 및 90%의 스토리지 비용 절감 달성
• 활성 사용자당 비용이 1월 1.30파운드에서 5월 45펜스로 감소
• 쿼리 지연 시간(latency)이 24.4초에서 3.5초로 개선됨

이러한 이점은 Indra가 데이터를 처리하는 방식의 광범위한 변화에서 비롯되었습니다. 즉, 시스템 수는 줄이고 재사용성은 높였으며, 현재의 리포팅, 운영 모니터링 및 향후 AI 작업을 지원하는 거버넌스가 적용된 데이터 플랫폼을 구축한 덕분입니다. 데이터의 가치는 더 많은 사람이 사용할 수 있을 때 증가합니다. 거버넌스가 적용된 플랫폼은 단순한 제어 레이어가 아니라 셀프 서비스를 실용적으로 만드는 원동력입니다.

플랫폼 통합에서 데이터 기반 운영으로

EV 충전은 데이터 집약적인 환경입니다. 충전기는 지속적으로 텔레메트리를 생성하고, 현지 그리드 조건은 다양하며, 운영 성능은 빠르게 변할 수 있습니다. 따라서 안정적이면서도 유연한 시스템을 갖추는 것이 중요합니다.

Indra의 대시보드와 Genie 공간은 모든 질문을 데이터 팀을 거치게 하지 않고도 팀이 해당 환경을 모니터링할 수 있도록 지원합니다. 또한 이 아키텍처는 스트리밍, Delta 테이블, Lakeflow 파이프라인 및 향후 AI 기반 사용 사례와 같은 다음 단계를 위한 여유 공간을 제공합니다.

팀의 조언은 실용적입니다. 호기심을 유지하고, 문서를 읽고, 일찍 질문하고, Databricks 전문가와 협업하며, 새로운 기능을 계속 탐색하는 것입니다. 이러한 마인드셋이 중요한 이유는 플랫폼의 가치가 시간이 지남에 따라 복리로 증가하기 때문입니다. 첫 번째 성과는 비용 절감일 수 있지만, 더 큰 성과는 동일한 플랫폼이 비즈니스 전반에서 새로운 작업 방식을 열어주기 시작할 때입니다.

Indra의 여정은 파편화된 데이터 자산이 재사용을 위해 구축된 거버넌스 기반 플랫폼으로 대체될 때 어떤 일이 일어나는지 보여줍니다. 이 회사는 비용을 절감하고, 운영을 단순화하며, 성능을 향상시키고, 비즈니스 사용자에게 필요한 수치에 더 빠르게 액세스할 수 있도록 지원했습니다. 그만큼 중요한 것은, 플랫폼의 무분별한 확장을 방지하면서 스트리밍과 AI를 위한 기반을 마련했다는 점입니다.

도구 파편화, 비용 상승, 수동 보고서 작성이라는 동일한 복합적 문제에 직면한 팀에게 주는 교훈은 간단합니다. 먼저 플랫폼을 표준화한 다음, 이를 기반으로 유스케이스를 확장하는 것입니다.

더 자세히 알아볼 준비가 되셨나요? 당사의 에너지 가상 산업 포럼: 통합 데이터, 실시간 인사이트 및 대규모 AI를 통한 에너지 전환 촉진에서 전체 데모와 전문가의 심층 분석을 시청해 보세요.

FAQ

EV 충전 기업은 어떤 데이터 과제에 직면해 있나요?

데이터는 종종 데이터베이스, 클라우드 스토리지, BI 도구 및 개별 파이프라인에 분산되어 있어 중복된 로직, 파편화된 텔레메트리, 제한된 거버넌스, 비용 상승을 초래합니다. 통합 플랫폼은 일관되고 거버넌스가 적용된 메트릭을 제공합니다.

Databricks는 어떻게 셀프 서비스 EV 분석을 지원하나요?

Genie One을 통해 사용자는 거버넌스가 적용된 텔레메트리, 디바이스, 펌웨어 및 차량 데이터를 자연어로 쿼리할 수 있으며, 대시보드는 일관된 메트릭과 운영 컨텍스트를 제공합니다.

EV 충전 기업은 스트리밍과 AI를 어떻게 준비할 수 있나요?

거버넌스가 적용된 Databricks 기반은 현재의 보고 업무를 지원하는 동시에, 플랫폼 확장을 유발하지 않으면서 스트리밍, Delta 테이블, Lakeflow 파이프라인 및 AI로 나아가는 경로를 제공합니다.

Databricks는 에너지 기업에 어떤 이점을 제공하나요?

Databricks는 데이터 엔지니어링, SQL 분석, 머신러닝 및 AI를 결합하여 스마트 미터 분석, 그리드 모니터링, EV 충전, 수요 예측, 전력 도난 감지 및 규제 보고를 지원합니다.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)