R&D 데이터가 레이크하우스에 있어야 하는 이유와 에이전트에게 그곳의 데이터가 필요한 이유

구축 배경

Daimler Truck와 Volvo Group의 합작 투자 회사인 cellcentric에서는 대형 애플리케이션용 수소 연료 전지 시스템을 개발하고 구축합니다. 저희 업무는 R&D, 엔지니어링, 데이터의 비중이 매우 높습니다. 저희 팀이 제기하는 질문은 단 하나의 소스 시스템 내에서 해결되는 경우가 거의 없습니다. 제품 계층 구조, 제조 이력, 재작업, 실험실 증거, 테스트 텔레메트리, 도메인 지식 등 여러 영역을 넘나듭니다.

이것이 바로 R&D 분야의 산업용 AI가 직면한 핵심 과제입니다. 에이전트는 엔지니어가 답변을 신뢰하는 데 필요한 동일한 거버넌스 컨텍스트(데이터의 출처, 의미, 완전성, 중요한 주의 사항, 사용자의 조회 권한 여부 등)를 바탕으로 추론할 수 있을 때만 유용합니다. 이를 AI가 바로 사용할 수 있는 컨텍스트로 전환하는 작업은 모델 선택 이전에 데이터 엔지니어링부터 시작됩니다.

이것이 바로 저희가 지난 4년 동안 Azure와 Databricks를 기반으로 데이터 기반을 구축하는 데 공을 들인 이유입니다. Unity Catalog는 처음부터 아키텍처의 일부였습니다. Lakehouse Federation은 온프레미스 SQL 소스를 레이크하우스 패턴으로 가져왔습니다. Delta Sharing은 경계를 넘어 데이터를 교환하는 데 도움이 되었습니다. Databricks Asset Bundles는 파이프라인과 데이터 제품을 위한 프로덕션 경로를 제공했습니다. 그 결과물이 바로 Data Hub입니다. 이는 직원들을 위한 사용자 인터페이스와 에이전트를 위한 MCP 서버를 갖춘, 데이터 및 AI를 위한 거버넌스가 적용된 컨텍스트 레이어입니다.

Data Hub는 데이터 제품 플랫폼으로 시작되었습니다. 돌이켜보면, 바로 그 기반 덕분에 현재 AI 플랫폼으로서 훌륭하게 작동하고 있습니다.

Fuel Cell Passport

이 기반은 Fuel Cell Passport라는 하나의 데이터 제품을 통해 가장 쉽게 설명할 수 있습니다. 이 제품은 SAP S/4HANA, 제조 및 재작업을 위한 두 개의 MES 시스템, 실험실 데이터베이스, IoT 텔레메트리 플랫폼을 포함한 5개의 엔터프라이즈 소스 시스템을 통합합니다. 시스템부터 원자재 배치에 이르는 7단계의 계층 구조를 모델링하고, 매일 업데이트되며, 상태 기반 시계열 모델을 사용하여 팀이 특정 시점의 구성 관련 질문과 전체 재작업 이력 질문에 모두 답할 수 있도록 합니다. 매일 진행되는 데이터 품질 검사를 통해 엔지니어링, 품질, 제조 조사를 지원할 만큼 제품 데이터가 완전한지 모니터링합니다. 이 이름은 제품 패스포트의 추적성 및 라이프사이클 개념을 반영하지만, Fuel Cell Passport는 내부 엔지니어링 데이터 제품입니다. EU의 DPP(Digital Product Passport)와 같은 규제 준수 산출물은 아니지만, 동일한 추적성 기반을 통해 이를 지원할 수 있습니다.

이는 소스 통합, 도메인 모델링, 액세스 제어, 데이터 재사용성 확보 등 전통적인 레이크하우스 성공 사례처럼 들립니다. AI의 관점에서 구조적으로 중요한 점은 연결된 컨텍스트, 즉 모델링된 데이터를 둘러싼 거버넌스가 적용된 제품이라는 점입니다.

품질 메트릭으로서의 컨텍스트

Unity Catalog는 테이블, 열, 소유권, 계보(lineage), 분류, 권한 등 거버넌스가 적용된 구조를 제공합니다. Data Hub는 그 주변에 제품 레이어를 추가합니다. 데이터 제품은 소유권, 라이프사이클 상태, 도메인 할당, 연결된 거버넌스 자산, 그리고 제품의 용도와 사용 방법을 설명하는 컨텍스트 항목을 결합합니다.

이러한 차별점은 AI에 있어 매우 중요합니다. 에이전트에게는 스키마 메타데이터나 단순한 문서 이상의 것이 필요합니다. 데이터 제품이 어떤 비즈니스 질문을 지원하는지, 중요한 테이블들이 어떻게 연관되어 있는지, 어떤 주의 사항이 중요한지, 그리고 어떤 관련 자산을 함께 사용해야 하는지 이해해야 합니다. 저희는 프로젝트 컨텍스트가 아직 생생한 개발 과정 중에 작성된 광범위한 마크다운 카탈로그 항목을 포함하여, 이 풍부한 컨텍스트를 데이터 제품 레이어에 영구 저장합니다.

이로 인해 데이터 품질에 대한 저희의 생각 방식이 바뀌었습니다. 완전성과 최신성도 여전히 중요하지만, 이제 그것만으로는 충분하지 않습니다. AI가 바로 사용할 수 있는 데이터의 경우, 컨텍스트 커버리지가 핵심 품질 메트릭이 되었습니다.

저희 마켓플레이스에서 모든 데이터 제품에는 컨텍스트 커버리지 배지가 표시됩니다. 이 배지는 테이블 설명이 존재하는지, 그리고 제품에 연결된 테이블 전반에 걸쳐 열 수준의 문서화가 얼마나 되어 있는지를 보여줍니다. 배지 덕분에 이 메트릭을 시각화하고 조치를 취할 수 있게 되었습니다. 엔지니어가 데이터가 소비되는 제품 화면에서 직접 격차를 확인할 수 있었기 때문에 커버리지가 향상되었습니다.

이 메트릭이 모든 의미적 모호성이 해결되었음을 의미하는 것은 아닙니다. 이는 누락된 컨텍스트를 조기에 발견하여 수정할 수 있도록 돕는 실용적인 대리 지표(proxy)입니다. 역사적으로 컨텍스트 커버리지가 개선된 이유는 배지 덕분에 문서화 작업이 사후 정리 작업에서 엔지니어가 인도 과정의 일부로 직접 보고, 측정하고, 개선할 수 있는 작업으로 전환되었기 때문입니다.

현재 저희는 풍부한 마크다운 문서가 포함된 27개의 데이터 제품을 게시했습니다. 게시된 제품의 열 주석 커버리지는 평균 90%에 달하며, 대부분의 열 주석은 데이터 엔지니어링 작업 중 AI의 지원을 받아 작성되고 병합(merge) 전에 엔지니어의 검토를 거칩니다. 카탈로그 항목은 개발 워크플로, 도메인 결정 사항, 테이블 관계, 주의 사항, 제품 사용 목적 등을 상세히 요약한 마크다운 형태로 또 다른 컨텍스트 레이어를 추가합니다.

중요한 변화는 문서화가 엔지니어링 워크플로의 일부가 되고, 이후 데이터를 추론해야 하는 다음 사람이나 에이전트가 사용할 수 있는 구조화된 제품 컨텍스트로 제공된다는 점입니다.

사람을 위한 하나의 UI, 에이전트를 위한 하나의 MCP

Data Hub는 이러한 기반을 소비할 수 있도록 만드는 레이어입니다. 사람 사용자의 경우, 이는 마켓플레이스이자 워크벤치입니다. 직원들은 데이터 제품을 검색하고, 소유자 및 라이프사이클 상태를 확인하고, 연결된 대시보드와 앱을 열고, Unity Catalog로 거버넌스가 적용된 데이터를 쿼리하고, 자연어 탐색을 위한 채팅 인터페이스를 사용할 수 있습니다. AI 클라이언트의 경우, 동일한 컨텍스트가 MCP를 통해 노출됩니다. MCP를 지원하는 모든 코딩 에이전트나 어시스턴트는 Data Hub가 사용하는 것과 동일한 Unity Catalog 메타데이터 및 데이터 제품 컨텍스트에 액세스할 수 있습니다.

거버넌스 모델

이 아키텍처는 의도적으로 하나의 운영 모델을 중심으로 구축되었습니다. 신원 정보가 전달됩니다. 데이터 액세스는 거버넌스 하에 유지됩니다. 모델 및 도구 호출을 관찰할 수 있습니다. 추적(trace)과 평가는 개선으로 이어집니다.

이는 처음부터 플랫폼에 거버넌스가 설계되었기 때문에 가능합니다. 프로덕션 소유권, 배포, 소비는 별개의 관심사입니다. 엔지니어는 검토된 코드와 거버넌스가 적용된 배포 경로를 통해 파이프라인과 제품 정의를 변경합니다. 에이전트를 포함한 소비자는 프로덕션 쓰기 권한(identity)을 부여받지 않습니다. 이들은 인증된 사용자의 ID를 사용하여 Data Hub, 대시보드, Genie, SQL 도구 또는 MCP를 통해 데이터에 액세스하며, 최종 권한 부여 결정은 Unity Catalog가 내립니다.

이러한 구분이 바로 에이전트 액세스에 거버넌스를 적용할 수 있게 만드는 핵심입니다. 에이전트는 사용자가 보는 것과 동일한 제품 컨텍스트를 기반으로 추론하고 사용자를 대신해 도구를 호출할 수 있지만, 프로덕션 작성자가 되거나 공유 백엔드 자격 증명을 사용하여 Unity Catalog를 우회할 수는 없습니다. 사용자가 테이블, 마스킹된 열 또는 거버넌스가 적용된 뷰에 대한 액세스 권한이 없는 경우, 에이전트에게도 동일한 제한이 적용됩니다. 이러한 운영 모델 덕분에 플랫폼 주변에 더 느슨한 두 번째 경로를 만들지 않고도 에이전트가 데이터에 액세스할 수 있도록 허용할 수 있습니다.

신원 정보는 Azure AD에서 시작하여 OAuth 2.0 토큰 교환(Databricks가 에이전트 거버넌스 아키텍처에서 설명하는 '대행(on-behalf-of) 토큰 전달 패턴')을 사용하여 Data Hub를 거쳐 Databricks로 전달됩니다. UI를 통해 테이블을 쿼리하는 사용자, SQL 도구를 호출하는 에이전트, 거버넌스가 적용된 도구 호출로 호출되는 Genie 워크스페이스 모두 동일한 권한 경계 내에서 작동합니다. 사용자가 기본 데이터에 액세스할 수 없으면 해당 사용자를 대신해 작동하는 에이전트도 액세스할 수 없습니다. 이것이 바로 Data Hub가 병렬 거버넌스 시스템이 되지 않으면서도 유용하게 작동할 수 있도록 하는 액세스 모델입니다.

AI 측면에서는 Databricks Model Serving에서 맞춤형 에이전트를 실행하고, Foundation Model API를 통해 Claude를 사용하며, 적절한 경우 Genie 워크스페이스를 거버넌스가 적용된 도구로 호출합니다. MCP 아키텍처는 설계상 하이브리드 방식입니다. Databricks가 관리하는 MCP는 Genie 도구 호출과 같은 Databricks 기능에 대한 거버넌스가 적용된 액세스를 제공하고, 자체 MCP는 Unity Catalog 메타데이터, 데이터 제품 객체, 카탈로그 마크다운을 포함한 더 풍부한 컨텍스트 레이어와 에이전트가 그 위에서 호출하는 비즈니스 특정 도구를 제공합니다. 에이전트에게는 이 두 가지가 모두 필요합니다.

관찰 가능성 및 평가

관측 가능성은 아키텍처가 실제로 작동하는 영역입니다. 이제 Unity AI Gateway가 우리 환경 내의 파운데이션 모델 트래픽을 라우팅합니다. 모델 클라이언트를 약간만 변경하면, 사용량 추적 및 추론 테이블이 활성화된 단일 거버넌스 및 관측 가능성 레이어를 통해 Data Hub 모델 호출이 흐르게 됩니다. 요청과 응답이 Unity Catalog Delta 테이블에 저장되므로, 비즈니스 데이터에 이미 사용 중인 것과 동일한 SQL 패턴으로 분석할 수 있습니다.

MLflow 추적(tracing)은 한 단계 더 높은 가시성을 제공합니다. 에이전트 어댑터 전반에서 추적을 표준화하여 모델 호출, 도구 호출, 중간 단계, 최종 답변 등 각 상호작용을 구조화된 실행 경로로 검사할 수 있습니다. 이러한 추적을 기반으로 결정론적 정확도 및 SQL-grounding 스코어러, 캐시 인식 비용 스코어러, 도메인 전문가 정렬을 갖춘 LLM 평가자(LLM-judge) 스코어러를 포함한 지속적인 평가 프레임워크를 실행합니다. 이는 단순히 에이전트 변경 사항을 테스트하는 것 이상의 목적을 가집니다. 컨텍스트 레이어 자체에 대한 평가가 필요합니다. 마크다운이 파이프라인 및 테이블 정의와 달라질 수 있고, 시스템 프롬프트가 진화하며, 도구 계약이 변경되고, 도메인 가정이 노후화될 수 있기 때문입니다. 추적과 평가(evals)를 통해 에이전트, 도구, 그리고 에이전트가 의존하는 컨텍스트를 프로덕션 동작에 반영하기 전에 모두 함께 테스트할 수 있습니다.

최초로 기업은 직원들이 어떤 데이터 제품이 존재하는지 검색하고, 기본 데이터와 동일한 액세스 제어를 적용받으면서 자연어로 상호작용할 수 있는 단일화되고 거버넌스가 적용된 진입점을 갖게 되었습니다.

개발 루프 내부의 동일한 패턴

이 동일한 패턴은 우리가 빌드하는 방식도 바꾸어 놓았습니다.

이제 우리의 엔지니어링 워크플로우에는 개발 루프 내의 에이전트가 포함됩니다. 구체적인 코딩 도구보다는 패턴이 더 중요합니다. 엔지니어는 Databricks 기능 및 자체 컨텍스트 레이어 MCP에 연결된 AI 지원 개발 환경에서 작업합니다. 엔지니어가 데이터 제품을 작업할 때, 에이전트는 관련 Unity Catalog 메타데이터를 검사하고, 기존 제품 문서를 읽고, 주변 프로젝트 컨텍스트를 이해하며, 파이프라인, 테스트, 테이블 설명 및 마크다운 카탈로그 항목의 스캐폴딩을 도울 수 있습니다. 검토와 병합(merge)의 책임은 여전히 엔지니어에게 있지만, 컨텍스트가 가장 풍부한 시점에 에이전트가 함께 참여하게 됩니다.

이 타이밍이 중요합니다. 사후에 작성된 문서는 프로젝트 컨텍스트가 이미 다음 단계로 넘어갔기 때문에 불완전한 경우가 많습니다. 개발 중에 작성된 문서는 나중에 데이터를 유용하게 만드는 논리, 정의, 주의 사항을 담아내며, 검토 및 커밋(commit)이 완료되면 다음 워크플로우를 위한 컨텍스트가 됩니다.

많은 R&D 및 프로세스 개발 워크플로우의 경우, 이전에는 시스템 간 데이터 통합, KPI 정의, 파이프라인 스캐폴딩에 몇 주가 걸리던 작업을 이제는 며칠 만에 배포할 수 있습니다. 이러한 개선은 단순한 자동화 수치보다는 조사 요청부터 사용 가능한 데이터 제품이 나오기까지의 시간 단축으로 나타납니다. 즉, 도메인 전문가와 데이터 엔지니어 간의 수동 인수인계가 줄어들고, 소스 시스템 통합의 반복이 감소하며, KPI 정의에 대한 합의가 빨라지고, 컨텍스트가 아직 최신 상태일 때 주의 사항을 더 일찍 검토할 수 있게 됩니다. 신중한 도메인 검토가 필요한 복잡한 다중 소스 조사와 같은 일부 카테고리는 여전히 상당한 작업이 필요하지만, 진행 속도는 훨씬 더 빨라졌습니다. 지속적인 이점은 누적된다는 점입니다. 각 제품이 검토된 비즈니스 컨텍스트를 플랫폼에 추가하므로, 다음 조사는 도메인의 더 많은 부분이 이미 설명된 상태에서 시작할 수 있습니다.

Databricks는 현재 이 패턴의 일부를 제품화하고 있습니다. Unity AI Gateway Coding CLI인 ucode는 AI Gateway를 통해 코딩 도구를 라우팅하고 MCP 서버를 개발자 워크플로우에 연결합니다. Genie Code는 에이전트 기반 코딩 및 데이터 작업을 Databricks 인터페이스로 직접 가져옵니다.

향후 전망

우리에게 다음 단계는 에이전트가 테이블 자체뿐만 아니라 데이터 주변의 운영 컨텍스트까지 인식하도록 만드는 것입니다. 품질 또는 제조 조사에서 에이전트는 트렌드를 검색하고, 제품에 첨부된 데이터 품질 검사를 검사하며, 동일한 시간대의 관련 장비 알람 로그를 가져올 수 있어야 합니다. 그러면 답변에 엔지니어가 예상할 만한 주의 사항을 포함할 수 있습니다. 예를 들어, '트렌드는 이 방향을 가리키고 있지만, 완료 여부에 플래그가 지정되었고 운영 컨텍스트가 비정상적이었으므로 이 구간은 주의가 필요합니다'와 같은 내용입니다.

동일한 개념이 반복 작업에도 적용됩니다. 오늘날 프로세스 지식은 런북, 위키 페이지, 로컬 프롬프트, 스크립트, 팀 컨벤션 및 문서화되지 않은 습관에 분산되어 있습니다. Skills Marketplace는 이러한 지식에 데이터 제품과 동일한 플랫폼 처리(소유권, 검토, 버전 관리, 수명 주기 상태, 에이전트가 승인된 작업 방식을 찾는 중앙 집중식 공간)를 제공합니다. 이러한 맥락에서 스킬(skill)은 우리 환경에서 반복적인 작업을 수행하는 방법을 에이전트에게 알려주는 지침, 승인된 도구, 템플릿, 가드레일 및 평가 검사를 패키징합니다. 구체적으로, 이는 관련 데이터 제품과 함께 마켓플레이스에 존재하며, 코드처럼 버전 관리 및 검토를 거치고, 이름으로 호출되어 에이전트가 매번 동일한 승인된 경로를 따르도록 합니다. 스킬은 원격 리포지토리에서 도메인별 Databricks Asset Bundle을 스캐폴딩하거나, 엔지니어가 IoT 장치를 등록하고 복잡한 장비 로그를 브론즈(bronze) 파이프라인으로 변환하도록 안내할 수 있습니다.

이것이 Data Hub가 나아갈 더 넓은 방향입니다. 레이크하우스 기반에서 얻은 동일한 교훈을 바탕으로 컨텍스트를 먼저 거버닝하고, 이를 에이전트가 쿼리하는 데이터와 에이전트가 수행을 돕는 작업 모두에 적용하는 것입니다.

핵심 요약

이것이 바로 R&D 데이터가 레이크하우스에 속해야 하는 이유입니다. 산업용 AI에는 거버넌스가 적용된 컨텍스트, 즉 데이터, 의미, 권한, 추적, 피드백 루프가 하나의 아키텍처에 통합되어 있어야 합니다.

cellcentric의 경우, 산업용 AI를 실용화한다는 것은 검증된 레이크하우스 기반 위에서 에이전트에게 이러한 컨텍스트를 제공하는 것을 의미합니다. Unity Catalog, 데이터 제품, ID, 관측 가능성 및 에이전트 워크플로우가 함께 작동하여 인간과 에이전트가 R&D 데이터를 안전하게 추론할 수 있도록 지원합니다. 이는 우리에게 단순한 모범 사례 그 이상입니다. 이것이 바로 우리가 차세대 데이터 기반 엔지니어링을 형성해 나가는 방식입니다.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)