Databricks에서 시맨틱 메타데이터 델타 공유를 통해 SAP 비즈니스 컨텍스트 활용

SAP 데이터는 강력하지만 서로 상관시키기 어려울 수 있습니다

SAP 데이터로 작업해 본 사람이라면 누구나 이 문제를 알고 있을 것입니다. VBAK 및 KUNNR과 같은 테이블 및 열 이름은 기술적으로 정확하지만 서로 상관시키기 어려울 수 있습니다. 데이터 엔지니어는 이러한 식별자를 비즈니스 의미에 매핑하는 데 몇 시간을 소비하며, 이 작업은 종종 스프레드시트, 내부 문서 또는 팀 지식에 저장되어 데이터 자체와는 거리가 멉니다.

Databricks와 SAP 파트너십을 통해 우리는 이를 바꾸기로 결정했습니다.

시맨틱 메타데이터 자동 동기화

SAP Business Data Cloud와 Databricks Unity Catalog 간의 시맨틱 메타데이터 동기화의 일반 공급을 발표하게 되어 기쁩니다. 마운트된 모든 SAP BDC 델타 공유에 대해 테이블에 액세스할 때 시맨틱 메타데이터가 Unity Catalog로 자동으로 공유되어 SAP 데이터를 더 이해하기 쉽고 검색 가능하게 만듭니다. SAP BDC에서 이루어진 모든 변경 사항은 Unity Catalog에 반영됩니다. 즉, 데이터 실무자나 AI 에이전트가 Databricks에서 SAP 테이블을 접하는 순간 원시 SAP 식별자가 아닌 비즈니스 친화적인 표시 이름, 설명 및 컨텍스트를 보게 됩니다. 수동 데이터 사전이 필요 없습니다. SAP 관리자와의 반복 작업도 필요 없습니다.

이 새로운 기능은 SAP Business Data Cloud Connect to Databricks (BDC Connect)를 기반으로 하며, SAP 팀이 델타 공유를 통해 거버넌스된 SAP 데이터 제품을 Databricks 플랫폼에 게시할 수 있도록 합니다. 이러한 데이터 제품과 거버넌스 태그를 Unity Catalog로 동기화함으로써 Databricks 사용자는 별도의 시스템에서 비즈니스 컨텍스트 또는 거버넌스를 다시 만들 필요 없이 분석 및 AI를 위해 SAP 데이터 제품을 다른 엔터프라이즈 소스와 더 쉽게 검색, 결합 및 운영화할 수 있습니다.

AI에 중요한 이유

이 가치는 인간의 가독성을 넘어섭니다. 조직이 SAP 데이터를 기반으로 AI 에이전트 및 분석 애플리케이션을 구축함에 따라 풍부한 시맨틱 컨텍스트는 유용한 에이전트와 혼란스러운 에이전트를 구분하는 요소입니다. SAP의 내장된 도메인 로직 없이는 AI 출력이 중요한 비즈니스 컨텍스트가 부족하여 정확성과 관련성이 떨어집니다. 시맨틱 메타데이터는 SAP가 수십 년간의 엔터프라이즈 운영을 통해 인코딩한 비즈니스 의미에 AI를 기반으로 하여 정확히 이 문제를 해결합니다.

이 메타데이터 동기화의 가장 중요한 이점 중 하나는 AI 지원 데이터 엔지니어링에 미치는 영향입니다. 열 설명 및 기본 키 및 외래 키와 같은 테이블 관계를 가져옴으로써 Databricks AI Assistant 및 AI/BI Genie가 성공하는 데 필요한 컨텍스트를 제공합니다.

AI 모델이 VBAK와 같은 테이블이 VBAP와 어떻게 관련되는지 추측하는 대신, Unity Catalog는 명시적인 시맨틱 맵을 제공합니다. 이를 통해 사용자는 "SalesOrder와 SalesOrderItem 테이블 간의 관계는 무엇인가요?"와 같은 자연어 질문을 하고 AI가 마침내 SAP 데이터의 "언어"를 말하기 때문에 즉시 정확하고 조인 준비가 된 쿼리를 받을 수 있습니다.

거버넌스 태그 포함

SAP BDC는 PersonalData 네임스페이스의 거버넌스 태그를 Unity Catalog의 테이블에 시스템 거버넌스 태그로 동기화하여 규정 준수, 액세스 제어 및 책임 있는 AI에 필요한 데이터 분류 신호를 자동으로 적용합니다. 수동 태그 지정이 필요 없습니다.

더 알아보기

SAP용 델타 공유 커넥터:
https://learn.microsoft.com/en-us/azure/databricks/delta-sharing/sap-bdc/semantic-metadata
https://docs.databricks.com/aws/en/delta-sharing/sap-bdc/semantic-metadata
https://docs.databricks.com/gcp/en/delta-sharing/sap-bdc/semantic-metadata

SAP Databricks:
https://docs.databricks.com/sap/en/share-data#sap-bdc-semantic-metadata

워크플로우를 간소화할 준비가 되셨나요? 지금 Databricks 환경에서 SAP 시맨틱 메타데이터를 사용해 보세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)