Unity Catalog가 이제 Snowflake, Dremio, Starburst, EMR 등과 함께 작동하여 데이터와 AI를 통합하는 데 도움을 드립니다.
작성자: Aniruth Narayanan, Randy Pitcher, 수잔 피어스 , Ryan Johnson
Snowflake에서 Unity Catalog의 Iceberg REST API에 연결하여 단일 소스 데이터 파일을 Iceberg로 읽는 방법을 알아보세요.
업데이트: 이 블로그는 Snowflake가 카탈로그에서 발급한 자격 증명을 지원하도록 업데이트되었습니다.
Databricks는 개방형 데이터 레이크하우스 아키텍처를 개척했으며 형식 상호 운용성 분야를 선도해 왔습니다. 더 많은 플랫폼이 레이크하우스 아키텍처를 채택하고 상호 운용 가능한 형식 및 표준을 수용하기 시작하는 것을 보게 되어 기쁩니다. 상호 운용성을 통해 고객은 분석 및 AI 도구를 선택하여 워크로드를 처리할 때 단일 데이터 복사본을 사용하여 값비싼 데이터 중복을 줄일 수 있습니다. 특히, 저희 고객의 일반적인 패턴은 Databricks의 최고 수준의 ETL 가격/성능을 사용하여 업스트림 데이터를 처리하고 Snowflake와 같은 BI 및 분석 도구에서 액세스하는 것입니다.
Unity Catalog는 데이터 및 AI 에셋을 위한 통합되고 개방형 거버넌스 솔루션입니다. Unity Catalog의 핵심 기능은 Iceberg REST Catalog API를 구현한 것입니다. 이를 통해 메타데이터 위치를 수동으로 새로 고치지 않고도 Iceberg 호환 리더를 쉽게 사용할 수 있습니다.
이 블로그 게시물에서는 Iceberg REST Catalog가 유용한 이유를 살펴보고 Unity Catalog 테이블을 Snowflake에서 읽는 방법에 대한 예제를 살펴보겠습니다.
참고: 이 기능은 클라우드 공급자 전반에 걸쳐 사용할 수 있습니다. 다음 지침은 AWS S3에 특화되어 있지만 Azure Data Lake Storage(ADLS) 또는 Google Cloud Storage(GCS)와 같은 다른 객체 스토리지 플랫폼을 사용할 수도 있습니다.
