레거시에서 레이크하우스로: Mazda는 기술 서비스 운영을 위해 GenAI를 어떻게 가속화했는가

자동차 서비스 조직은 압박감을 받고 있습니다. 전화 문의량은 계속 증가하고, 전기차는 새로운 진단 복잡성을 야기하며, 커넥티드 카는 서비스 핫라인 상담원이 현실적으로 처리할 수 있는 것보다 더 많은 데이터를 생성합니다. 매년 수백 개의 서비스 정보(SI) 문서가 출시되며, 각 문서에는 고유한 절차와 조건이 있습니다. 무언가가 변경되면 서비스 핫라인 상담원은 익숙하지 않은 문제에 대해 기술자를 자신 있게 안내하기 전에 이를 숙지할 시간이 필요합니다. 고객이 기다리는 상황에서는 이러한 지연이 중요합니다.

Mazda는 이미 이 문제를 해결할 수 있는 원재료를 보유하고 있었습니다. 바로 보증, 리콜, 진단 코드, 서비스 및 차량 이력에 대한 증가하는 레이크하우스와 지속적으로 업데이트되는 서비스 문서 라이브러리입니다. 과제는 상담원이 정확하고 일관되며 자신감 있게 업무를 수행할 수 있도록 이러한 자산을 통합하는 것이었습니다.

Databricks가 바로 이 지점에서 도움이 되었습니다. Mazda 데이터 과학 팀은 빠르게 움직이며 실행하면서 배웠고, 약 8주 만에 시작부터 작동하는 개념을 구현했습니다. 긴 계획 단계는 없었습니다. 팀은 구축하고, 테스트하고, 문제를 해결하고, 조정하면서 진행했으며, Mazda에 실질적인 영향과 가치를 제공하는 파일럿을 출시했습니다.

시작점: 큰 야망을 가진 소규모 팀

이 프로젝트는 Mazda의 새로운 클라우드 데이터 플랫폼을 기반으로 전적으로 구축된 최초의 엔드투엔드 GenAI 이니셔티브 중 하나였습니다. 팀은 두 명의 데이터 과학자로 구성되어 빠르게 반복했으며, 도구는 초기 단계였습니다. 데이터 파이프라인을 구축해야 했습니다. 문서를 추출하여 벡터 검색 인덱스로 변환해야 했습니다. 실험은 격리된 노트북에서 이루어졌으며, 성공은 추적성보다는 기억에 더 의존했습니다.

이처럼 소규모 팀에게는 인프라 오버헤드를 최소화해야 했습니다. 이는 Databricks를 선택한 주요 요인이었습니다. 이 플랫폼은 민첩성을 가능하게 했습니다. 벡터 데이터베이스 관리, 분산 컴퓨팅 프레임워크 구성, 맞춤형 오케스트레이션, 통합을 위한 글루 서비스가 필요 없었습니다. 인프라가 아닌 가치 구축에 집중할 수 있었습니다.

파일럿 구축

파일럿 초기에는 팀이 검색 증강 생성(RAG) 설계에 집중했으며, 주요 초점은 LLM을 사용자 정의 코퍼스와 연결하는 것이었습니다. 곧 Mazda는 테스터들이 종종 상담원이 차량에 대한 전체적인 그림을 먼저 보기를 원한다는 것을 알게 되었습니다. 즉, 서비스 이력, 진행 중인 리콜, 과거 핫라인 에스컬레이션, 보증 상태 등입니다.

이러한 관찰은 신중한 아키텍처 선택으로 이어졌습니다. 즉, 프런트엔드와 상담원이 코드와 도구를 공유하는 것입니다. 차량 데이터 액세스, 변환 및 프롬프팅 로직은 한 번만 구현되어 Streamlit 인터페이스와 배포된 상담원 엔드포인트 모두에서 동일하게 사용됩니다.

서비스 상담원이 세션 시작 시 VIN을 입력하면, 프런트엔드에서 완전한 차량 컨텍스트(수리 이력, 핫라인 에스컬레이션, 보증 데이터, 리콜 상태)를 미리 로드하여 첫 번째 메시지가 전송되기 전에 시스템 프롬프트에 주입합니다. 이렇게 하면 도구 호출이 제거되고 즉각적인 상호 작용이 가능해집니다.

반면에 AI 상담원이 사전 로드된 컨텍스트 없이 호출되는 경우, 사용자가 상호 작용하는 것과 동일한 도구 상자를 사용합니다. 어느 경우든 출력은 구조적으로 동일하며, 시스템 프롬프트는 두 경로를 모두 명시적으로 처리합니다. 즉, 컨텍스트가 제공되면 해당 컨텍스트를 사용하고, 그렇지 않으면 도구를 호출합니다. 하나의 프롬프트, 두 가지 실행 모드, 표면 간 동작 드리프트 없음.

Unity Catalog

이 솔루션은 Databricks Lakehouse에 의해 구동됩니다. Unity Catalog는 서비스 상담원이 매일 사용하는 데이터에 대한 거버넌스된 액세스를 제공하며, 임베딩, 벡터 검색, SQL 도구 호출 및 모델 서빙이 모두 동일한 환경에서 실행되어 개발을 단순화하고 통합 마찰을 제거합니다. Mazda는 파운데이션 모델 API(토큰당 지불)를 통한 LLM과 관리형 벡터 검색 엔드포인트를 통한 임베딩 모델을 사용했습니다.

SI 문서, 차량 이력 및 진단 코드가 포함된 Delta 테이블, 벡터 검색 인덱스, 데이터 변환 및 모델 등 모든 것이 Unity Catalog 내에 있습니다. 통합된 거버넌스는 특정 데이터 하위 집합에 대한 액세스를 격리하고, 즉석에서 변경하고, 즉시 영향을 관찰할 수 있는 능력을 의미합니다. 그런 다음 Databricks Apps는 서비스 팀이 새로운 교육이나 도구 없이 사용할 수 있는 Streamlit 프런트엔드로 이를 통합합니다.

Unity Catalog 함수로 지원되는 정확한 코퍼스 필터링

전체 코퍼스에 대한 단순한 벡터 검색은 의미론적으로 타당하지만 기술자 앞에 있는 차량에 반드시 적용 가능한 결과는 반환하지 않습니다. 검색을 올바르게 수행하려면 관련성 문제를 해결하기 전에 범위 문제를 해결해야 했습니다.

팀은 Unity Catalog 사용자 정의 함수를 통해 필터링을 구현했습니다. 벡터 검색이 실행되기 전에 시스템은 VIN(또는 진단 문제 코드)을 해당 차량에 적용 가능한 문서 하위 집합에 매핑하는 UC 함수를 호출하여 의미론적 일치를 적용되는 문서로만 제한합니다.

이 로직을 애플리케이션 코드 대신 Unity Catalog 함수로 호스팅하면 적용 가능성 규칙이 관리하는 데이터와 함께 상주하고, 상담원 및 기타 다운스트림 애플리케이션에서 액세스할 수 있으며, 상담원 배포 주기와 독립적으로 업데이트할 수 있습니다.

임시 테스트에서 테스트 주도 개발로

Mazda는 10명의 서비스 상담원 테스터와 함께 애플리케이션을 파일럿 테스트했습니다. 파일럿 초기에는 반복이 피드백 기반으로 이루어졌습니다. 테스터가 문제를 보고하면 팀이 프롬프트나 검색 구성을 조정하고 결과를 비공식적으로 평가했습니다. 이는 초기 개발에는 효과적이었지만 시스템이 더 복잡해지면서 확장되지 않았습니다.

MLflow 3의 네이티브 GenAI 평가 프레임워크는 팀의 워크플로우를 변경했습니다. MLFlow 3은 평가 데이터셋을 생성하고 다양한 LLM 및 결정론적 스코어를 제공하는 포괄적인 방법을 제공합니다. 빠른 테스트를 위해 초안 평가 데이터셋은 YAML로 정의된 후 표준 평가 데이터셋으로 승격됩니다. 테스터가 간극을 발견하면 팀은 이를 평가 데이터셋에 추가하고 해당 사례 통과를 모든 수정에 대한 수락 기준으로 취급했습니다. 새로운 기능과 데이터 소스가 추가될 때, 통합이 수락되기 전에 새로운 평가 사례가 작성되었습니다.

그 결과 "더 나아진 것 같다"에서 "더 나아졌고, 여기 증거가 있다"로 전환되었습니다. 실험 추적은 프롬프트, 검색 전략, 토큰 수 및 응답 품질 메트릭을 캡처하여 변경 사항을 기억이 아닌 객관적으로 비교할 수 있었습니다.

다국어 기능

초기 성공은 동일한 아키텍처가 다른 지역에도 적용될 수 있는지에 대한 질문을 불러일으켰습니다. 다국어 임베딩 모델을 실험한 후, 팀은 LLM이 핵심 아키텍처 및 도구를 수정하지 않고도 사용자 프롬프트와 최종 응답을 번역할 수 있다는 것을 깨달았습니다. 이는 Mazda의 더 넓은 시장 확장 계획에 영향을 미칩니다.

거버넌스

Apps, 클러스터, 웨어하우스, 엔드포인트 및 상담원 전반에 걸쳐 권한을 조정하는 데 학습 곡선이 있었지만, 일단 표준화되면 향후 GenAI 애플리케이션에 적용할 수 있는 재사용 가능한 보안 거버넌스 패턴을 만들었습니다. 효과적인 패턴은 다음과 같습니다. 모든 액세스를 서비스 엔드포인트의 서비스 주체를 통해 라우팅하고, 카탈로그 및 스키마 수준에서 역할 기반 액세스 제어 그룹에 대한 권한을 정의합니다. 일단 확립되면 재사용 가능해졌습니다. 새로운 모델이나 데이터 소스를 온보딩하는 것은 권한 구조를 재협상하는 것이 아니라 동일한 스키마에 대해 동일한 서비스 주체에 대한 액세스 권한을 부여하는 것을 의미했습니다. 개인 연결을 AI 트래픽에 사용하면 Mazda는 애플리케이션과 거버넌스된 데이터 간에 제어되고 안전한 경로를 확보할 수 있습니다.

Databricks 현장 엔지니어링 팀과의 파트너십을 통해 Mazda는 모범 사례에 따라 더 빠르게 움직이고 장애물을 미리 방지할 수 있었습니다.

영향 및 다음 단계

Mazda는 이제 레이크하우스 내에서 구조화된 데이터와 비구조화된 데이터를 결합하는 GenAI 애플리케이션을 위한 반복 가능한 기반을 갖추었습니다. 여기에는 벡터 검색 인덱스, 모델 서빙, 평가, 관찰 가능성, 카탈로그 수준 거버넌스 및 웹 앱을 통한 프런트엔드 제공이 포함됩니다. 이러한 기능을 단일 플랫폼에서 사용할 수 있게 되면서 여러 서비스를 연결할 필요가 없어 개발 속도가 크게 향상되었습니다.

사일로화된 노트북으로 시작했던 두 명의 데이터 과학자는 이제 Databricks에서 완전한 추적성을 갖춘 AI 애플리케이션과 실험을 실행하고 있습니다. 팀은 이 접근 방식을 추가 진단 워크플로우로 확장하고 있으며, 생성 에이전트가 기술자, 현장 엔지니어 및 고객 지원을 어떻게 지원할 수 있는지 탐색하고 있습니다.

이러한 전환은 기술적인 것만이 아닙니다. Mazda를 기술적인 보고에서 거버넌스된 엔터프라이즈 데이터에 직접 구축된 지능형 생성 애플리케이션으로 전환합니다.

핵심 요약

대규모 팀이나 성숙한 MLOps 환경이 없어도 의미 있는 GenAI 애플리케이션을 구축할 수 있습니다. Mazda는 두 명의 데이터 과학자, 촉박한 일정, 그리고 배워야 할 것이 많았습니다. Databricks 플랫폼은 예상보다 더 많은 무거운 작업을 대신 처리해 주었고, Databricks는 우리가 실제로 사용할 수 있는 것을 빠르게 출시하는 데 도움을 주었습니다.

핵심적으로 이 프로젝트는 omotenashi, 즉 Mazda의 전심으로 환대하는 핵심 원칙을 표현한 것입니다. Mazda 기술 서비스 담당자들에게 더 나은 도구를 제공하면 고객을 더 잘 돌볼 수 있습니다. 그리고 이제 이 기반을 마련했으므로 팀은 이제 막 시작 단계입니다.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)