Equiniti: 제로에서 AI까지

소개

Equiniti (EQ)는 주주, 연금 및 구제 서비스 분야의 글로벌 리더로서, Databricks를 활용하여 데이터 기반 접근 방식을 혁신하고 136개국에서 고객 경험을 향상시켰습니다. 6,000개 이상의 기업에 서비스를 제공하는 EQ는 고급 분석과 생성형 AI의 힘을 활용하여 점점 더 복잡해지고 규제가 강화되는 환경에 적응해야 할 필요성을 인식했습니다.

정보에 대한 적시 액세스가 Equiniti 고객의 성공에 매우 중요하다는 점을 고려하여, 이들은 데이터(및 데이터 기반 인사이트)를 운영 및 전략적 접근 방식의 기반으로 삼고자 했습니다. Equiniti는 더 많은 정보에 기반한 효율적이고 효과적인 비즈니스 관행을 구현하고, 고객 경험을 향상시키고 내부 혁신을 주도할 고급 분석 및 GenAI의 새로운 발전을 활용하는 것을 목표로 했습니다.

이러한 목표를 달성하기 위해 Equiniti는 기존 또는 새로운 모든 데이터 및 AI 애플리케이션을 지원할 수 있으며, 미래 경쟁력을 갖추고 안전하며 성능이 뛰어난 데이터 플랫폼을 구축해야 했습니다. 이 블로그에서는 이들이 인프라를 지원하기 위해 Databricks Data Intelligence Platform을 선택한 이유와 방법을 설명하고, GenAI 기반 챗봇인 PensionGuru, 개발과 같이 Databricks 플랫폼 및 Databricks 도구를 활용하여 이미 탐색한 고급 사용 사례에 대해 자세히 설명합니다.

1단계: 가치 식별 및 탄탄한 데이터 기반 구축

'AI를 어디에 사용할 수 있을까?'라는 질문으로 시작하는 대신, Equiniti는 '신뢰할 수 있는 고품질 데이터와 현대적인 도구 및 기술을 사용하여 고객에게 어떻게 새로운 가치를 제공할 수 있을까?'라고 질문했습니다.

몇 가지 공통된 주제가 도출되었습니다. 대규모로 신뢰할 수 있는 데이터에 액세스하는 것, 비용 효율적이면서도 신속하게 실험하고 움직일 수 있는 민첩성을 갖추는 것, 도메인 분야 전문가(SME) 및 기존 리소스의 역량 강화를 촉진하는 것, 고객의 요구를 충족하기 위해 제공 서비스를 신속하게 현대화하는 것 등입니다.

이러한 초기 작업을 통해 Equiniti는 데이터의 가치를 가장 잘 활용할 수 있도록 지원하는 미래의 클라우드 데이터 및 AI 플랫폼에 대한 핵심 요구 사항을 식별했습니다.

● 통합 데이터 및 AI 거버넌스: 거버넌스와 통제가 없다면 가치도 존재할 수 없습니다. Equiniti는 플랫폼 전반에서 데이터의 흐름과 변환을 추적하여 규제 요구 사항 준수를 유지하고, 내부 및 외부 이해관계자 및 고객과의 신뢰를 구축하는 데 도움이 되는 강력한 보안 기능, 액세스 제어, 자동 리니지 및 감사가 필요했습니다.

● 통합된 개방형 플랫폼: 또 다른 요구 사항은 데이터 엔지니어링, 데이터 과학, 고급 분석 및 GenAI를 지원할 수 있는 단순한 아키텍처였습니다. Equiniti는 사일로와 불필요한 데이터 중복을 제거하고 독점 솔루션에 종속되는 것을 피하고자 했습니다. 이들은 개방형 표준 및 프로토콜을 기반으로 구축된 플랫폼을 원했습니다. 또한 GenAI 워크로드를 위해 어떤 형식이든 배치 및 스트리밍 데이터 소스를 모두 지원해야 했습니다. 데이터와 시스템의 분산된 특성을 고려할 때, 분석의 단일 진실 공급원(source of truth)이 될 수 있는 단일 플랫폼은 큰 도약이 될 것입니다.

● 비용 최적화: 마지막으로, Equiniti는 데이터 처리를 향상시키고 실제 사용량 기반 모델을 통해 TCO를 낮추는 확장 가능하고 최적화된 컴퓨팅이 필요했습니다. 적은 초기 투자로 시작하여 필요에 따라 확장할 수 있는 기능이 필수적이었습니다.

이러한 요구 사항을 염두에 두고 Equiniti는 현대적인 클라우드 데이터 및 AI 플랫폼의 중추로 Databricks Data Intelligence Platform을 선택했습니다.

2단계: 신속한 이동 및 통합 도구 세트 활용

전통적으로 데이터 플랫폼을 구성하는 개별 구성 요소와 고유한 서비스를 평가하려면 여러 팀의 의견이 필요하며, 이를 구현하기 위해 상충되는 우선순위와 리소스를 조율해야 합니다. 하지만 Equiniti는 Databricks 플랫폼을 빠르고 쉽게 배포하고 모든 통합 기능을 탐색할 수 있었습니다. 비용 효율적이면서도 신속하게 실험하고 확장할 수 있는 옵션 덕분에 Equiniti는 시간이나 비용에 대한 막대한 사전 투자 없이도 연결성, 데이터 처리 및 분석 기능의 프로토타입을 제작하는 데 자신 있게 결정을 내릴 수 있었습니다. Equiniti는 초기 AI 구현을 위한 주요 사용 사례를 확립한 후, Databricks 팀과 협력하여 아래 그림 1과 같이 초기 아키텍처를 설계했습니다. 일련의 워크숍을 통해 Databricks 솔루션 아키텍트들은 플랫폼의 내장 기능을 가장 잘 활용하는 방법을 보여주었으며, Equiniti는 포괄적인 자기 주도형 학습 리소스를 활용하여 역량을 강화했습니다.

Databricks 플랫폼의 가장 가치 있는 기능 중 하나는 데이터 및 AI를 위한 통합된 개방형 거버넌스 솔루션인 Unity Catalog입니다. 수집된 데이터의 자동으로 캡처된 리니지와 이 데이터가 모델에서 어떻게 변환되고 사용되었는지 추적하는 기능은 Equiniti의 InfoSec 및 Risk 팀의 신뢰, 이해 및 승인을 얻는 데 핵심적인 역할을 했습니다. Equiniti는 별도의 데이터 카탈로그를 관리하는 데 드는 추가 비용, 구현 오버헤드 및 시간 없이 어떤 데이터가 어디서 사용되고 있는지 입증할 수 있었습니다. 또한 Delta Sharing 및 Databricks Marketplace는 Equiniti가 최초로 파트너와 데이터를 외부로 공유할 수 있도록 지원함으로써 혁신적인 변화를 가져왔습니다. 이전에는 액세스할 수 없었거나 사일로화되어 있던 여러 소스의 데이터를 시각화하고, 페타바이트 규모의 데이터 세트를 저장 및 유지 관리할 필요 없이 외부 제공업체의 데이터를 활용할 수 있게 되면서 Equiniti는 이전에는 얻을 수 없었던 인사이트를 쉽고 빠르게 개발할 수 있게 되었습니다. 비즈니스 팀이 신뢰할 수 있는 중앙 소스에서 동일한 도구와 데이터 자산을 쉽게 검색하고 사용할 수 있는 기능은 데이터 플랫폼의 품질과 가치를 지속적으로 향상시킬 것입니다.

Equiniti의 소규모 엔지니어링 팀에게 Databricks 플랫폼의 가장 큰 시간 절약 기능 중 하나는 Lakeflow Connect였습니다. Databricks Lakeflow 는 엔터프라이즈 애플리케이션 및 데이터베이스에서 데이터를 수집하기 위한 내장 커넥터를 제공합니다. Workday, Salesforce, SQL Server와 같은 핵심 플랫폼에 대한 노코드 통합을 원활하게 생성할 수 있는 기능 덕분에 모델이 사용할 데이터를 Databricks에서 사용할 수 있도록 만드는 데 걸리는 시간이 대폭 단축되었습니다. 이를 통해 스토리지 및 컴퓨팅 비용을 크게 절감했으며, 데이터를 저장하고 관리하기 위해 API 통합 및 ETL 프로세스를 구축하는 기존 방식에 비해 몇 달간의 개발 작업을 단축할 수 있었습니다. 그 결과 Equiniti 팀은 비즈니스에 가치를 제공할 Gen AI 애플리케이션 제작과 같이 가치를 배가시킬 수 있는 영역에 집중할 수 있었습니다.

마지막으로, 이러한 새로운 GenAI 애플리케이션을 개발하려면 새로운 유형의 "지식 개발자"가 필요합니다. 이들은 비즈니스(Equiniti의 경우 연금 시장)를 깊이 이해하고 있는 도메인 SME입니다. 이러한 전문가들은 중요한 피드백을 제공하고 GenAI 애플리케이션이 정확하고 고품질의 결과를 제공하는지 확인하기 위해 도구와 플랫폼에 원활하게 액세스할 수 있어야 합니다. Databricks 플랫폼의 사용 편의성과 접근성 덕분에 SME는 GenAI 애플리케이션을 구축하는 과정에서 개발 및 엔지니어링 팀과 효과적으로 협업할 수 있었습니다. 이들의 전문성과 깊은 비즈니스 인사이트를 활용하여 Equiniti는 그라운드 트루스를 수립하고 귀중한 피드백을 받을 수 있었으며, 이를 통해 답변을 미세 조정하고 조직 전체에서 사용할 콘텐츠를 생성하는 데 도움을 받았습니다.

3단계: 가치 입증, 결과 도출 및 지속적인 혁신

Equiniti의 첫 번째 GenAI 사용 사례 중 하나는 GenAI 기반 챗봇인 PensionGuru의 개발이었습니다. 수많은 연금 계획을 관리하는 Equiniti의 역할을 고려할 때, 직원들은 정책, 신탁 증서, 지침을 포함한 방대한 양의 문서를 탐색하고 해석해야 하는 경우가 많습니다. PensionGuru는 즉각적이고 정확한 답변을 제공하여 복잡한 정보에 대한 액세스를 간소화하고 생산성을 향상시킴으로써 이러한 과제를 해결합니다.

이 앱은 문서 분석을 자동화하고 중요한 세부 정보를 추출하는 데 필요한 시간을 최소화하여 관리 오버헤드를 줄임으로써 비즈니스 효율성을 크게 높여줍니다. 과거에는 수 시간이 걸리던 작업이 이제 몇 분 만에 완료됩니다. PensionGuru는 직원들이 정보를 빠르고 정확하게 검색할 수 있도록 지원하여 서비스 제공 및 의사 결정 프로세스를 개선합니다. 고급 자연어 처리 기술을 활용하는 이 앱은 사용자 질의를 지능적으로 이해하고 처리하여 방대한 데이터 세트에서 문맥상 관련성이 높은 정보를 제공합니다. 이러한 혁신은 시간을 절약할 뿐만 아니라 데이터 기반 인사이트를 향상시켜 연금 제도 관리에 대한 보다 전략적인 접근을 가능하게 합니다.

PensionGuru를 제작하기 위해 Equiniti는 위의 그림 2와 같이 원래 PDF 파일로 저장되어 있던 수천 개의 연금 문서를 Databricks Volume에 로드하는 작업부터 시작했습니다. 그런 다음 Equiniti는 수집 시점부터 Unity Catalog를 통해 이러한 비정형 파일을 효율적으로 관리했습니다. 다음 단계는 문서에서 텍스트를 추출하고, 이를 관리하기 쉬운 청크(chunk)로 분할하여 Delta 테이블에 저장하는 것이었습니다. 서버리스 설정의 Databricks AI Search를 사용하여 Equiniti는 검색 및 검색(retrieval) 기능을 지원하는 벡터 데이터베이스를 쉽게 구축했습니다.

애플리케이션을 구동하기 위해 Equiniti는 Databricks Model Serving을 활용하여 강력하고 비용 효율적인 오픈 소스 Meta Llama 3.1 70B 모델을 기반으로 하는 LLM 엔드포인트를 구축했습니다. 마지막으로 Equiniti는 Databricks Data Intelligence Platform 상에서 거버넌스가 내장된 프로덕션 준비 완료된 앱을 제작할 수 있는 새로운 간편한 서버리스 솔루션인 Databricks Apps를 통해 사용자에게 챗봇을 원활하고 안전하게 배포할 수 있었습니다. 통합된 Apps 기능은 Equiniti의 데이터 팀이 애플리케이션을 지원하기 위한 기본 인프라를 배포, 관리 및 유지 관리할 필요를 없애 주었기 때문에 엄청난 시간을 절약하고 판도를 바꾸는 획기적인 계기가 되었습니다. 덕분에 팀은 고립된 서비스 통합 및 IT 인프라 관리와 같은 일상적인 작업에 시간을 허비하는 대신 비즈니스 가치를 창출하는 데 집중할 수 있었습니다.

초기 PensionGuru 결과와 피드백은 매우 고무적이었으며, Equiniti는 지속적인 실험과 모델 학습을 통해 애플리케이션의 성능을 계속해서 개선하고 향상시키고 있습니다. 또한 이들은 PensionGuru의 기능을 더욱 맞춤화하고 확장하여 연금 제도 관리의 특정 요구 사항에 훨씬 더 잘 대응하고 맞춤화할 수 있도록 지원하는 AI 에이전트 프레임워크 도입을 검토하고 있습니다. 이러한 접근 방식을 통해 Equiniti는 중요한 연금 정보를 처리하고 검색하는 데 있어 훨씬 더 높은 정확성과 효율성을 제공하는 것을 목표로 합니다.

결론

Databricks Data Intelligence Platform을 선택함으로써 Equiniti는 모듈식이고 확장 가능하며 현재 및 미래의 모든 데이터와 AI 요구 사항을 충족할 수 있는 솔루션을 제공했습니다. 데이터 엔지니어링, 데이터 과학, 머신러닝 및 GenAI를 단일 솔루션으로 통합하는 Databricks의 기능을 통해 Equiniti는 높은 수준의 효율성과 확장성을 달성할 수 있었습니다. 이러한 포괄적인 접근 방식은 조직 전반에서 데이터 접근성을 촉진하는 Unity Catalog를 통한 기본 데이터 거버넌스를 중심으로 구축되었습니다.

또한 AI 모델 개발 및 배포를 위한 Databricks 플랫폼의 고급 도구와 환경은 데이터 통합, 보안 및 거버넌스를 타협하지 않으면서도 혁신과 운영 효율성을 모두 촉진하는 새로운 기회를 열어주었습니다.

"생성형 AI 여정의 초기 단계에 있지만, Databricks Data Intelligence Platform을 통해 의미 있는 비즈니스 가치를 창출할 수 있다고 확신합니다."—James West, Equiniti 데이터 부문 전략 디렉터

Equiniti는 현재 모든 데이터 소스를 Databricks 환경으로 마이그레이션, 통합 및 가져오는 과정에 있으며, 신규 사용자를 교육하고 온보딩하고 있습니다. 또한 가까운 시일 내에 제공할 수 있도록 파이프라인에 다수의 고급 분석 및 AI 사용 사례를 보유하고 있습니다.

이 블로그 게시물은 James West(Equiniti) 및 Tomasz Kurzydym(Databricks)이 공동으로 작성했습니다.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)