Delta Lake 설명: 클라우드 스토리지의 데이터 신뢰성 향상

Delta Lake란
무엇인가요? 

오늘날 데이터에 의존하는 조직들은 다양한 AI 워크로드를 처리할 수 있을 만큼 유연하면서도 미션 크리티컬 애플리케이션을 지원할 만큼 안정적인 데이터 인프라를 구축해야 하는 중대한 과제에 직면해 있습니다. 기존의 데이터 레이크 는 유연성을 보장하지만, 종종 품질 문제, 일관성 없는 읽기/쓰기, 신뢰할 수 없는 파이프라인으로 가득한 데이터 스웜프가 되곤 합니다.

Databricks에서 개발한 Delta Lake 는 데이터 스토리지 및 관리에 근본적인 변화를 가져와 데이터 레이크에 안정성, 성능 및 ACID 트랜잭션 을 제공합니다. 이제 오픈소스로 전환되어 매일 수천 개의 조직에서 사용되는 Delta Lake의 lakehouse 아키텍처는 데이터 레이크의 유연성과 데이터 웨어하우스의 안정성을 결합합니다. Delta Lake는 유연성이나 비용 효율성을 저해하지 않으면서 데이터 레이크를 프로덕션급 시스템으로 전환합니다. 

기존 데이터 레이크가 부족한 이유

데이터 레이크는 모든 데이터를 저렴한 클라우드 스토리지에 저장하고 필요할 때 query하는 혁신적인 접근 방식을 약속했습니다. 하지만 조직들은 거버넌스의 부재가 데이터 품질 저하, 중복, 일관성 없는 스키마와 같은 문제를 지닌 '데이터 스웜프'를 초래할 수 있다는 것을 발견했습니다.

기존 데이터 레이크는 저렴한 스토리지와 유연성을 제공하지만 중요한 안정성 기능이 부족합니다. 결과적으로 조직은 다음과 같은 일반적인 문제에 직면합니다.

• 트랜잭션 보장 없음: 쓰기 운영이 실패하면 변경 사항을 롤백할 수 없어 데이터가 손상될 수 있습니다.
• 스키마 적용: 유효성 검사 메커니즘이 없으면 잘못된 데이터가 기록되어 다운스트림 프로세스에 장애를 일으킵니다. 데이터 사이언티스트와 엔지니어는 모델을 구축하거나 인사이트를 생성하는 것보다 데이터 품질 문제를 디버깅하는 데 더 많은 시간을 보내는 경우가 많습니다.
• 느린 쿼리 성능: 지능형 인덱싱이 없으면 query가 전체 데이터세트를 스캔해야 하므로 시간과 compute 리소스가 낭비됩니다.
• 버전 관리: 버전 관리 및 감사 추적 기능이 없으면 규정 준수 및 디버깅에 필수적인 변경 사항 추적이나 데이터 수정 감사를 할 방법이 없습니다.

이러한 한계로 인해 많은 조직은 데이터 레이크와 함께 별도의 데이터 웨어하우스를 유지해야 하므로 데이터와 엔지니어링 노력이 중복됩니다. 비즈니스에 중요한 대시보드나 분석에 사용하려면 먼저 데이터를 레이크에서 추출하고 웨어하우스 호환성을 위해 변환한 후 로드해야 합니다. 이로 인해 데이터가 오래되고 복잡성이 증가하며 엔지니어링 오버헤드가 높아집니다.

Delta Lake가 대규모로 안정성을 제공하는 방법

Delta Lake 는 ACID 트랜잭션, 스키마 관리, 포괄적인 버전 관리라는 세 가지 상호 연결된 기능을 통해 안정성을 보장합니다.

ACID 트랜잭션 및 트랜잭션 로그

Delta Lake는 완전한 ACID(원자성, 일관성, 격리성, 내구성) 트랜잭션 을 구현합니다. 이는 작업이 완전히 완료되거나 전혀 실행되지 않도록 하여 데이터 손상, 부분 업데이트 및 불일치를 방지하고 최고 수준의 데이터 신뢰성과 무결성을 보장하므로 데이터 파이프라인에 중요합니다. 

Delta 테이블에 대한 모든 변경 사항은 트랜잭션 로그 내에 JSON 형식의 커밋으로 기록되어 완전한 감사 추적을 생성합니다. 트랜잭션 로그는 논리적 작업(메타데이터 변경)과 물리적 작업(데이터 파일 변경)을 분리하여 Parquet 파일이 성능상의 이점을 유지하면서도 변경 가능한 스토리지처럼 작동하게 합니다. 이 프로세스는 손상된 쓰기를 방지하고 동시 작업 중에도 일관된 읽기를 보장하며 안정적인 스트리밍 및 배치 처리를 가능하게 합니다.

스키마 적용 및 진화

Delta Lake는 모든 쓰기 작업에서 데이터 유형의 유효성을 검사하여, 다운스트림 분석이나 ML 모델을 손상시키기 전에 오류를 조기에 발견합니다. 호환되지 않는 데이터가 테이블에 쓰기를 시도하면 Delta Lake는 해당 트랜잭션을 취소합니다. 또한 데이터를 다시 작성하지 않고도 필요에 따라 열을 추가하거나 유형을 변경하는 등 테이블 스키마를 업데이트할 수 있습니다. 이러한 스키마 변경 제어는 구조에 유연성을 제공하여 조직이 비즈니스 요구에 적응하면서 데이터 무결성을 보호할 수 있게 해줍니다. 

시간 이동 및 데이터 버전 관리

Delta Lake에서는 모든 쓰기 작업이 테이블의 새 버전을 생성하며, 각 버전은 버전 번호와 타임스탬프로 저장됩니다. 트랜잭션 로그는 전체 기록을 유지하며, 시간 이동(time travel)을 사용하여 감사, 디버깅 및 규정 준수를 위해 이전 버전의 데이터를 query할 수 있습니다. 실수로 인한 삭제를 롤백하고, 여러 기간에 걸쳐 데이터를 비교하고, ML 학습 데이터 세트를 재현할 수 있습니다. 기록 데이터는 VERSION AS OF 또는 TIMESTAMP AS OF와 같은 간단한 구문을 사용하여 쉽게 액세스할 수 있습니다. 예를 들어, RESTORE 명령을 사용하여 언제든지 데이터를 롤백할 수 있습니다.

Delta Lake를 차별화하는 성능 최적화

Delta Lake는 지능형 데이터 레이아웃, 통합된 배치-스트리밍 처리, 유연하면서도 안정적인 레이크하우스 아키텍처를 통해 대규모에서 빠르고 안정적인 분석을 제공합니다.

지능형 데이터 레이아웃 및 인덱싱

데이터 스키핑은 Delta Lake의 가장 강력한 최적화 중 하나입니다. 데이터가 기록될 때 Delta Lake는 트랜잭션 로그에 최소/최대 통계를 수집하여 query 중에 엔진이 관련 없는 파일을 건너뛰고 프로세스 속도를 높일 수 있도록 합니다. 파일 압축은 작은 파일을 더 큰 파일로 통합하여 메타데이터 오버헤드를 줄이고 읽기 성능을 개선하는 반면, Z-Ordering은 파일 내에 관련 데이터를 함께 배치하여 데이터 건너뛰기 효과를 극대화합니다. 더 새로운 기능인 Liquid 클러스터링은 실제 쿼리 패턴을 기반으로 데이터 레이아웃을 자동으로 최적화하는 적응형 접근 방식을 취합니다. 이러한 기능을 통해 조직들은 데이터 레이크에서 원시 Parquet 파일을 스캔하는 것에 비해 Delta Lake에서 10배에서 100배의 query 성능 향상을 보고합니다.

통합된 배치 및 스트리밍

기존 아키텍처에서는 사용자가 배치 처리와 스트리밍 처리 중에서 선택해야 했습니다. Lambda 아키텍처는 이 둘을 모두 지원하는 방법으로 등장했지만, 실제로는 추가적인 복잡성으로 인해 이점보다 단점이 더 큰 경우가 많았습니다.

Delta Lake는 Apache Spark Structured Streaming과의 긴밀한 통합을 통해 단일 데이터 복사본으로 이 두 가지를 모두 처리합니다. 스트리밍 쓰기는 Delta 테이블에 저장되어 배치 쿼리에 즉시 사용할 수 있게 되며, 일관성을 유지하면서 데이터 파이프라인을 단순화합니다.

Lakehouse 아키텍처의 Delta Lake

레이크하우스 아키텍처 는 데이터 레이크의 유연성, 확장성, 비용 효율성과 데이터 웨어하우스의 신뢰성, 성능, 거버넌스를 결합하여 데이터 관리를 근본적으로 재고합니다.

Delta Lake는 lakehouse의 기본 스토리지 계층을 제공합니다. 기존 클라우드 객체 스토리지(S3, Azure Blob 또는 GCS 등) 위에 위치하며, 단순한 파일 스토리지를 강력한 데이터 플랫폼으로 변환하는 관리 계층을 추가합니다. 이를 통해 데이터가 레이크에 로드된 다음 추출되어 다시 웨어하우스에 로드되는 기존의 이중 파이프라인 문제를 해결할 수 있습니다. Delta Lake에서는 레이크 수집 및 웨어하우스 로딩을 위해 별도의 ETL을 유지할 필요가 없습니다.

즉, BI 대시보드와 ML 모델은 이전에 추출된 오래된 데이터가 아닌 최신 데이터를 받아 더 정확한 보고와 시기적절한 의사 결정을 내릴 수 있습니다. 이제 비즈니스 사용자는 이전에는 웨어하우스가 필요했던 BI 도구를 사용하여 레이크의 데이터를 직접 쿼리할 수 있게 되어, 일관성과 안정성을 유지하면서 프로세스를 단순화할 수 있습니다.

Delta Lake를 사용한 Medallion 아키텍처

Databricks는 Bronze, Silver, 골드 계층을 통해 데이터를 점진적으로 정제하는 메달리온 아키텍처 를 사용하여 레이크하우스 데이터를 구성할 것을 권장합니다.

브론즈는 최소한의 변환을 거친 소스의 가공되지 않은 데이터를 포함하며 전체 기록을 보존합니다. 실버는 중복이 제거되고 스키마가 통일되어 정리되고 검증된 데이터를 가지고 있으며, 이는 조직의 '신뢰할 수 있는 단일 출처(source of truth)'입니다. 골드는 BI 대시보드 또는 ML 훈련과 같은 특정 사용 사례에 최적화된 비즈니스 수준의 집계 및 특성 테이블을 포함합니다.

Delta Lake 기능은 이 아키텍처를 가능하게 합니다. 스키마 적용은 각 계층에서 ACID를 보장하여 Bronze에서 Silver, 골드로 이어지는 과정의 품질을 유지합니다. 업데이트와 병합은 효율적으로 실행되며, 시간 이동은 계층 간의 리니지를 추적합니다.

Delta Lake 대 기타 테이블 형식

Delta Lake가 유일한 레이크하우스 테이블 형식은 아니며, Apache Iceberg와 Apache Hudi가 대안을 제공합니다. 세 가지 모두 핵심 문제(ACID, 버전 관리, 성능)를 해결하지만, 어떤 것을 선택할지는 종종 기존 스택과 팀의 전문 지식에 따라 결정됩니다.

Delta Lake의 강점으로는 Databricks 플랫폼 및 Spark 런타임과의 긴밀한 통합, 강력한 스트리밍 지원 및 증분 처리, Hudi보다 간단한 운영 모델이 있습니다. Delta Universal Format(UniForm)은 상호 운용성을 위해 Iceberg 및 Hudi 클라이언트로 Delta 테이블을 읽을 수 있게 해줍니다. Delta Lake는 대규모 프로덕션 환경에서 그 성능이 입증되었으며, 고객을 위해 매일 엑사바이트 규모의 데이터를 처리합니다.

다음과 같은 경우 조직은 Delta Lake를 선택해야 합니다.

• Databricks 또는 Spark 중심의 생태계를 사용하는 경우
• 강력한 배치 및 스트리밍 통합
• 성숙하고 프로덕션에서 검증된 기술

반면, Iceberg는 다중 엔진 유연성 요구 사항에 적합하고 Hudi는 업서트(upsert)가 많은 워크로드와 증분 파이프라인에 탁월합니다.

실제 사용 사례 및 적용 분야

실시간 수집 및 ACID 보장에서부터 재현 가능한 ML 훈련, 웨어하우스급 BI, 감사 가능한 거버넌스에 이르기까지 Delta Lake는 최신 분석, 모델, 규정 준수를 지원하는 프로덕션 파이프라인을 구동합니다.

데이터 엔지니어링 파이프라인

Delta Lake는 여러 소스에서 가공되지 않은 데이터를 수신된 그대로 Bronze Delta 테이블로 수집할 수 있도록 지원합니다. 부분적인 업데이트를 방지하는 ACID 보장을 통해 실버 수준에서 데이터를 변환하고 정제합니다. 빠른 분석을 위해 골드 레이어 집계를 구축합니다.

한 가지 예로 전자 상거래를 들 수 있습니다. Delta Lake를 사용하여 기업은 모든 팀에서 일관된 데이터로 사용자 이벤트, 주문 및 재고를 실시간으로 추적합니다. 

Machine Learning 워크플로

Delta Lake를 사용하면 엔지니어는 시간 이동 기능을 통해 버전 관리되는 데이터세트를 훈련하여 나중에 모델을 정확하게 재현할 수 있습니다. 새로운 데이터가 도착할 때 전체를 재처리하지 않고도 훈련 데이터세트를 증분 방식으로 업데이트할 수 있습니다. Delta Lake에 구축된 특징점 스토어는 훈련과 서빙 간의 일관성을 유지합니다. 데이터 리니지 및 버전 추적은 모델 감사 및 규정 준수를 용이하게 합니다. 

비즈니스 인텔리전스 및 분석

Delta Lake를 사용하면 BI 도구를 사용하여 웨어하우스와 유사한 성능으로 Delta Lake 테이블을 직접 쿼리할 수 있습니다. 대시보드는 항상 최신 상태로 유지되므로 데이터 레이크와 warehouse 간에 ETL 지연이 없으며, 셀프 서비스 분석을 통해 비즈니스 사용자는 골드 레이어에서 깨끗하고 관리되는 데이터에 액세스할 수 있습니다. 

예를 들어, 이는 금융 서비스 회사가 감사 추적을 유지하면서 경영진에게 실시간 위험 대시보드를 제공할 수 있고 소매업체는 최신 데이터로 재고 및 판매를 모니터링할 수 있음을 의미합니다.

규정 준수 및 데이터 거버넌스

Delta Lake는 분석 성능을 저하시키지 않으면서 강력하고 중앙 집중화된 데이터 거버넌스를 제공합니다. 시간 이동 기능은 포괄적인 감사 추적을 제공하므로 조직은 언제든지 데이터가 어떤 모습이었는지 보여줄 수 있으며, 스키마 적용은 잘못된 데이터로 인한 규정 준수 문제를 방지합니다. 신뢰할 수 있는 ACID 보장은 GDPR/CCPA 규정 준수를 보장합니다. 

Delta Lake 시작하기

Delta Lake는 Databricks의 완전히 최적화된 플랫폼, 오픈 소스 생태계 또는 기존 데이터 레이크로부터의 빠르고 중단 없는 마이그레이션을 통해 쉽게 도입할 수 있습니다. 팀은 신속하게 시작하여 즉각적인 이점을 얻을 수 있습니다.

Databricks 플랫폼과의 통합

Databricks를 사용하면 Delta Lake를 원활하게 사용할 수 있습니다. 모든 테이블은 기본적으로 Delta 테이블이므로 별도의 구성이 필요하지 않습니다. 완전 관리형 환경이므로 인프라 설정 및 튜닝이 필요 없습니다. Photon 엔진 가속, 예측 I/O, 동적 파일 프루닝, 리퀴드 클러스터링 등 Databricks 전용 고급 최적화 기능이 자동으로 실행됩니다.

Unity Catalog 통합은 단일 인터페이스에서 액세스 제어, 데이터 탐색, 리니지를 관리하여 Delta 테이블 전반에 중앙 집중식 거버넌스를 제공함으로써 운영을 크게 간소화합니다.

오픈 소스 Delta Lake

Delta Lake는 Linux Foundation에서 관리하는 오픈 소스이므로 Databricks에 종속되지 않고 어디서나 사용할 수 있습니다. Presto, Trino, Athena, Flink, Hive, Snowflake, BigQuery, Redshift용 커넥터를 포함합니다. 모든 클라우드(AWS, Azure, GCP) 또는 HDFS를 사용하여 온프레미스에 배포하세요. API는 Scala, Java, Python, Rust를 지원합니다. 혼자가 아닙니다. 수천 명의 기여자가 Delta Lake 커뮤니티에서 활발하게 활동하고 있습니다.

시작하는 방법은 Spark에서 DataFrame을 Delta 형식으로 쓰는 것만큼 간단하며, 그 이후부터는 이점이 자동으로 적용됩니다.

기존 데이터 레이크에서 마이그레이션

기존 데이터 레이크에서 Delta Lake로의 마이그레이션은 간소화된 프로세스입니다. 기존 Parquet 또는 Iceberg 테이블은 데이터를 다시 작성하지 않고 메타데이터를 업데이트하는 간단한 명령을 사용하여 Delta Lake로 변환됩니다. 대규모 데이터 세트는 기록과 메타데이터를 보존하면서 몇 초 만에 변환됩니다. 증분 마이그레이션을 사용하면 모든 데이터를 한 번에 다시 작성할 필요가 없습니다. Databricks는 또한 마이그레이션을 가속화하고 데이터 무결성을 검증하여 전환 중 기존 파이프라인의 중단을 최소화하는 도구를 제공합니다. 

Delta Lake의 미래

Delta Lake는 기능 확장 및 생태계 통합을 위한 혁신을 통해 지속적으로 성능을 개선합니다. Delta Universal Format(UniForm)을 사용하면 변환 없이 Iceberg 또는 Hudi 클라이언트로 Delta 테이블을 읽을 수 있습니다. 즉, Delta에 한 번만 쓰고 호환되는 모든 도구를 사용하여 query할 수 있습니다. Liquid 클러스터링은 데이터 레이아웃을 적응형으로 최적화하고, 삭제 벡터를 사용하면 파일을 다시 작성하지 않고도 빠르게 삭제할 수 있으며, 개선된 알고리즘은 병합 운영을 가속화합니다.

생태계가 확장됨에 따라 AWS, Azure, Google Cloud, Alibaba Cloud 등 더 많은 엔진과 도구가 기본 Delta Lake 지원을 추가하고 있으며, 이로 인해 채택이 증가하고 있습니다. Linux Foundation을 통한 개방형 거버넌스는 벤더 중립적인 발전과 커뮤니티 중심의 개발을 보장합니다.

결론

Delta Lake는 데이터 레이크의 근본적인 안정성 문제를 해결합니다. lakehouse 아키텍처의 기반인 Delta Lake는 이중적인 lake-warehouse의 복잡성을 제거하고 ACID 트랜잭션, 스키마 적용, 시간 이동 및 성능 최적화를 클라우드 개체 스토리지에 제공합니다. Delta Lake는 수천 개의 조직에서 매일 엑사바이트 규모의 데이터를 처리하며 그 성능이 대규모로 입증되었습니다. 강력한 커뮤니티를 갖춘 오픈 소스이지만 Databricks에서는 완벽하게 최적화되어 손쉽게 사용할 수 있습니다.

데이터와 AI가 경쟁 우위를 결정하는 시대에 Delta Lake는 데이터 스웜프를 프로덕션급 데이터 플랫폼으로 전환합니다. 최초의 데이터 플랫폼을 구축하는 스타트업이든 레거시 인프라를 현대화하는 글로벌 기업이든, 최신 데이터 팀에 필요한 안정성과 성능을 제공합니다.

신뢰할 수 있는 고성능 데이터 플랫폼을 구축할 준비가 되셨나요? Delta Lake와 레이크하우스 아키텍처가 데이터 인프라를 어떻게 혁신할 수 있는지 알아보세요. Databricks 시작하기 를 통해 하나의 플랫폼에서 완전 관리형 최적화, 자동 튜닝, 원활한 거버넌스를 갖춘 Delta Lake의 강력한 기능을 경험해 보세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)