AI를 활용한 데이터 문서화 자동화: 7-Eleven이 메타데이터 갭을 어떻게 연결하였는가

7-Eleven의 데이터 문서화 딜레마

7-Eleven의 데이터 생태계는 광대하고 복잡하며, 수천 개의 테이블과 수백 개의 컬럼을 Databricks 환경에 걸쳐 보유하고 있습니다. 이런 데이터는 우리의 운영, 분석, 그리고 의사결정 프로세스의 기반이 됩니다. 전통적으로, 7-Eleven의 데이터 사전과 문서화는 Confluence 페이지에 저장되어 있었으며, 우리 데이터 팀원들이 테이블과 칼럼 정의를 수동으로 문서화하여 세심하게 관리하였습니다.

우리는 Databricks 데이터 인텔리전스 플랫폼에서 AI 기반 기능들을 탐색하기 위해 시작할 때, 결정적인 장애물에 직면하였습니다. 이는 AI/BI 지니, 지능형 대시보드, 그리고 다른 응용 프로그램을 포함합니다. 이런 고급 도구들은 테이블 메타데이터와 Databricks 안에 직접 임베딩된 코멘트에 크게 의존하여 인사이트를 생성하고, 데이터 관련 질문에 대답하고, 자동 시각화를 구축합니다. Databricks 안에 적절한 테이블과 칼럼 코멘트가 없다면, 사실상 우리는 강력한 AI 능력을 활용하지 못하는 상황이었습니다. 예를 들어, 지니가 칼럼 정의를 부족하게 가지고 있다면, 그것은 맞춤형 칼럼의 의미를 오해할 수 있으며, 최종 사용자가 명확히 하도록 요구하게 됩니다. 우리가 메타데이터를 풍부하게 한 후에, Genie의 맥락 이해는 놀라운 정도로 향상되었습니다 - 정확하게 열의 목적을 식별하고, 자연어 질문에 대한 반응으로 올바른 테이블을 표면화시키며, 훨씬 더 관련성 있고 실행 가능한 인사이트를 생성합니다. 간단히 말해, 지니는 모든 AI 에이전트와 같이, 더 나은 메타데이터를 활용할 때 더 심도있게, 더 도움이 됩니다.

우리의 잘 문서화된 Confluence 페이지와 Databricks 환경 사이의 “메타데이터 라이트“ 간의 갭은, 우리의 데이터 플랫폼 투자의 전체 가능성을 깨달음을 방해하였습니다.

수동 이전의 불가능한 규모

우리가 처음으로 문서화를 Confluence에서 Databricks로 이전하기를 고려하였을 때, 도전의 규모가 즉시 분명해졌습니다. 수천 개의 테이블이 각각 수백 개의 칼럼을 포함하고 있으므로, 수동 이전은 요구되는 자원들에 대한 다음과 같은 경향이 있습니다:

• 시간 집약적인 노동: 문서를 복사하고 붙여넣기 위해 수백 시간의 노동력
• 수동 메타데이터 업데이트: 메타데이터를 업데이트하거나 각 테이블 UI로 가기 위해 수천 개의 개별 SQL 문을 작성
• 프로젝트 감독: 모든 테이블이 제대로 업데이트되었는지 확인하기 위한 추적 시스템을 구현
• 품질 보증: 배역한 인간의 오류를 잡아내는 검증 과정을 만드는 것
• 지속적인 유지관리: 두 시스템을 동기화 상태로 유지하기 위한 지속적인 관리 프로토콜 설정

우리가 이 작업에 상당한 자원을 투자하더라도 인간의 오류는 피할 수 없는 문제였을 것입니다. 일부 테이블은 빠지고, 주석이 잘못 형식화되며, 문서가 개발됨에 따라 과정을 반복해야 할 가능성이 높습니다. 더욱이, 이런 일은 재미없는 성격 때문에 문서화의 품질이 불일치할 가능성이 크다는 것입니다.

가장 우려되는 점은 기회비용이었습니다. 데이터 팀이 이 이전에 집중하고 있는 동안, 그들은 더 높은 가치를 가진 이니셔티브에 신경을 쓸 수 없었습니다. 매일, Databricks 메타데이터를 강화하느라 지연되면서, 이미 우리 손안의 AI/BI 기능에 미타입 경우가 된다.

지능형 문서 처리 파이프라인

이 문제를 해결하기 위해, 7-Eleven은 Llama 4 Maverick에 의해 구동되는 세련된 에이전트 AI 워크플로우를 개발하고, Mosaic AI Model Serving을 통해 배포하여, 지능적인 다단계 파이프라인을 통한 전체 문서 이전 과정을 자동화하였습니다.

1. 발견 단계: 에이전트는 Databricks API를 사용하여 모든 테이블, 테이블 이름 및 컬럼 구조를 가져옵니다.
2. 문서 검색: 에이전트가 모든 관련 데이터 사전 문서를 Confluence에서 추출하여, 잠재적인 문서화 소스의 말뭉치를 생성합니다.
3. 재정렬 및 필터링: 고급 재정렬 알고리즘을 구현하여, 시스템은 각 테이블에 대한 가장 관련성 있는 문서화를 우선 순위하여 노이즈와 관련 없는 내용을 필터링합니다. 이 중요한 단계는 명명 규칙이 완벽하게 일치하지 않아도 적절한 문서화가 테이블과 매치되게 보장합니다.
4. 지능적 매칭: Databricks 테이블마다 AI 에이전트가 잠재적 문서화 매치를 분석하고, 이름이 정확히 일치하지 않아도 올바른 Confluence 페이지를 결정하기 위해 맥락적 이해를 사용합니다.
5. 대상 추출: 올바른 문서화가 확인되면, 에이전트는 테이블과 그것들의 칼럼에 대한 관련 설명을 지능적으로 추출하여, 원래의 의미를 보존하면서 Databricks 메타데이터에 알맞게 형식화합니다.
6. SQL 생성: 시스템은 특수 문자 및 형식 요구 사항을 처리하여 Databricks 테이블 및 컬럼 주석을 업데이트하기 위해 정확하게 포맷된 SQL 문을 자동으로 생성합니다.
7. 실행 및 검증: 에이전트가 SQL 업데이트를 실행하고, MLflow 추적 및 평가를 통해 메타데이터가 올바르게 적용되었는지 확인하고, 결과를 기록하며, 문제가 발생할 경우 인간의 검토회로 알립니다.
8. 모니터링 및 인사이트: 팀은 AI/BI Genie 대시보드를 사용하여 프로젝트 지표를 실시간으로 추적하여 투명성, 품질 제어, 지속적인 개선을 보장합니다.

이러한 지능형 파이프라인은 달에 수십 고되고 오류가 빈번한 작업을 자동화된 과정으로 변환하여, 초기 이전을 몇 일 만에 완료하였습니다. 시스템의 맥락을 이해하고, 이름이나 구조가 다른 리소스 간에 지능적인 매칭을 하는 능력은 높은 정확도를 달성하는 데 중요하였습니다.

이 솔루션을 도입한 이후, 우리는 테이블의 90% 이상에 대한 문서화를 이전할 계획이며, Databricks의 AI/BI 기능의 모든 잠재력을 이끌어내려고 합니다. 가벼이 사용되던 AI 보조 기능은 이제 데이터 작업의 일상 도구로 진화했습니다. 우리가 주입한 열 수준 메타데이터로 인해 Genie의 맥락 이해는 이제 인간이 데이터를 해석하는 방식을 반영합니다. 이제 데이터 과학자와 분석가는 AI/BI Genie를 통해 자연어 쿼리를 사용하여 데이터를 탐색하고, 대시보드는 풍부한 메타데이터를 활용하여 더 의미있는 시각화와 통찰력을 제공 할 수 있습니다.

이 솔루션은 지속적으로 동기화 도구로서의 가치를 제공하며, 우리의 문서화가 Confluence에서 변화하면, 그 변화들이 Databricks 환경에서 반영되어야 합니다. 이 프로젝트는, AI 에이전트들이 기업 규모에서 복잡한 데이터 거버넌스 도전 사항을 해결할 수 있음을 보여주었으며, 극복할 수 없게 보였던 문서화 작업을 세련된 자동화된 솔루션으로 바꾸었습니다.

AI/BI에 대해 더 자세히 알아보고, 어떻게 데이터에서 가치를 창출할 수 있을지 알아보고 싶으신가요? 여기에서 더 알아보기

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)