Delta Live Table(DLT)을 사용하면 Delta Lake에서 고품질 데이터를 제공하는 안정적인 데이터 파이프라인을 손쉽게 구축하고 관리할 수 있습니다. DLT를 이용하면 데이터 엔지니어링 팀에서 선언적 파이프라인 개발, 자동 테스트 및 모니터링과 복구를 위한 심층적인 가시성을 얻어 ETL 개발과 관리를 간소화할 수 있습니다.
데이터 파이프라인을 보다 쉽게 구축하고 관리
Delta Live Tables를 사용하면 사일로화된 데이터 처리 작업을 직접 연결할 필요 없이 데이터 소스, 변환 로직, 데이터의 대상 상태를 지정하여 전체적 데이터 파이프라인을 간편하게 정의할 수 있습니다. 파이프라인에 있는 모든 데이터를 자동으로 관리하며, 환경과 독립적인 데이터 관리로 ETL 파이프라인을 재사용할 수 있습니다. 배티 또는 스트리밍으로 실행하고, 각 테이블에 증분, 전체적 연산을 지정할 수 있습니다.
자동 테스트
Delta Live Tables는 다운스트림 사용자에게 고품질의 데이터를 제공하여 정확하고 유용한 BI, 데이터 사이언스 및 머신 러닝을 제공하도록 지원합니다. 검증 및 무결성 검사를 통해 잘못된 데이터가 테이블로 흘러들어가지 못하게 예방하고, 사전 정의된 오류 정책(데이터 장애, 누락, 알림, 격리)으로 데이터 품질 오류가 발생하지 않도록 합니다. 또한 시간의 흐름에 따른 데이터 품질 동향을 모니터링하여 데이터의 발전 양상에 관한 인사이트를 얻고 변화가 필요한 지점이 어디인지 파악할 수도 있습니다.
모니터링을 위한 심층적 가시성과 손쉬운 복구
운영 통계와 데이터 이미지를 시각적으로 추적하는 도구를 사용하여 파이프라인 운영에 대한 심층적인 정보를 확보하세요. 자동 오류 처리와 간편한 재생 기능으로 가동 중단 시간을 줄여 보세요. 배포와 업그레이드를 클릭 한 번으로 처리하고 유지관리 속도를 높여 보세요.
사용 사례
규제 요건 준수
이벤트 로그로 분석 및 감사에 사용할 목적의 모든 테이블 관련 정보를 자동으로 캡처합니다. 조직 내에서 데이터 흐름의 양상을 이해하고 규정 요건을 준수하세요.
데이터 파이프라인 배포 및 테스트 단순화
하나의 코드 베이스에 여러 개의 데이터 사본이 서로 분리되어 있고 업데이트될 때는 데이터 계통 정보를 캡처하여 어디서나 데이터를 최신으로 유지하는 데 사용할 수 있습니다. 그러면 개발, 준비 및 프로덕션 단계에서 동일한 쿼리 정의 세트의 실행이 가능합니다.
통합 배치 및 스트리밍으로 운영 복잡성 완화
제어가 가능한 자동 새로 고침 설정으로 한 곳에서 배치 및 스트리밍 파이프라인을 구축하여 실행하면, 시간을 절약하고 운영 복잡성을 낮출 수 있습니다.
“Shell에서는 모든 센서 데이터를 통합 데이터 스토어로 취합하고 있습니다. 우리 팀은 Delta Live Tables 덕분에 [수조 건 단위의 기록] 규모로 데이터를 관리하는 시간과 노력을 절약하고 AI 엔지니어링 기능을 지속적으로 향상할 수 있었습니다. Databricks는 이와 같은 기능으로 기존 레이크하우스 아키텍처를 강화하며, 우리 회사와 같은 곳에서 중시하는 ETL 및 데이터 웨어하우스 시장에 혁신적 변화를 일으키고 있습니다. Databricks를 혁신 파트너로 삼아 지속적으로 함께 일할 수 있어 기쁩니다.”
– Dan Jeavons, 데이터 사이언스 총괄, Shell
리소스
All the resources you need. All in one place.
시작할 준비가
되셨나요?
