데이터 엔지니어링이란?

핵심 데이터 엔지니어링 개념

데이터 파이프라인

데이터 파이프라인 은 소스에서 목적지로 데이터를 이동, 변환, 관리하는 자동화된 시스템으로, 데이터의 신뢰성을 보장하고 대규모로 반복해서 사용할 수 있도록 준비합니다. 신뢰할 수 있는 파이프라인은 최신 데이터가 일관성 있게 제시간에 흐르도록 보장하고, 시기적절한 인사이트를 얻기 위해 신뢰할 수 있어야 하므로 매우 중요합니다. 이러한 자동화된 프로세스를 사용하여 데이터를 위한 조립 라인처럼 작동합니다.

데이터 소스 → 수집 → 처리/변환 → 저장 → 서빙/액세스

진행 방식은 다음과 같습니다.

파이프라인은 애플리케이션 데이터베이스, 마케팅 플랫폼, API, 이벤트 스트림, 파일과 같은 데이터 소스에서 데이터를 가져옵니다. 그런 다음 데이터는 수집, 검증되어 배치 방식 또는 실시간(수집)으로 중앙 시스템으로 이동합니다. 

수집된 데이터는 지저분한 필드를 정리하고, 형식을 표준화하며, 데이터세트를 조인하고, 측정항목과 집계를 생성함으로써 원시 데이터에서 분석에 바로 사용할 수 있는 데이터로 변환됩니다. 처리된 데이터는 데이터 웨어하우스, 데이터 레이크, 데이터베이스 및 분석 도구에 저장됩니다. 

파이프라인은 일정 또는 트리거에 따라 실행되어 다양한 대상으로 데이터를 공급하고, 종속성을 처리하고, 실패 시 재시도하며, 문제가 발생하면 알림을 보냅니다. 데이터 파이프라인은 일반적으로 데이터가 이동하는 방식, 시점, 용도에 따라 분류됩니다.

데이터 파이프라인의 유형

• 배치 파이프라인 은 예약된 청크(시간별, 일별, 주별) 단위로 데이터를 처리하며 비즈니스 보고, 재무 조정, 마케팅 성과 및 과거 데이터 분석에 사용됩니다.
• 스트리밍(실시간) 데이터 파이프라인 은 라이브 대시보드, 사기 탐지, 실시간 개인화 및 이벤트 추적에 사용하기 위해 데이터가 생성될 때 지속적으로 처리합니다.
• ELT(추출, 로드, 변환) 파이프라인 은 가공되지 않은 데이터를 먼저 로드한 다음 웨어하우스 내부에서 변환합니다.
• 분석 파이프라인 은 분석 및 보고를 위해 특별히 데이터를 준비합니다.
• 운영 파이프라인 은 추천 엔진과 같은 라이브 시스템에 데이터를 다시 공급합니다.
• 머신러닝 파이프라인 은 모델 학습 및 추론을 지원합니다.
• 데이터 복제 파이프라인 은 백업 및 재해 복구를 위해 또는 프로덕션 데이터베이스를 분석 환경과 동기화하기 위해 최소한의 변환으로 시스템 간에 데이터를 복사합니다.
• 클라우드 네이티브 파이프라인 은 기존 온프레미스 시스템을 클라우드로 옮기는 대신 클라우드 관리형 서비스와 최신 아키텍처 패턴을 사용하여 데이터를 수집, 처리, 전달합니다.
• 하이브리드 데이터 파이프라인 은 성능, 비용, 지연 시간, 복잡성의 균형을 맞추기 위해 여러 파이프라인 스타일, 환경 또는 처리 모드를 결합합니다. 하이브리드 파이프라인은 일반적으로 배치 + 스트리밍, 온프레미스 + 클라우드, ETL + ELT를 혼합합니다. 운영 + 분석 또는 관리형 서비스 + 커스텀 코드.

고객 행동을 추적하는 전자상거래 회사의 파이프라인 예시는 다음과 같습니다.

1. 고객이 전자상거래 웹사이트를 방문할 때(제품 조회, 장바구니 추가, 구매 완료) 데이터가 생성됩니다. 각 작업은 이벤트를 생성합니다.
2. 웹사이트 및 모바일 앱 트래커가 이벤트 수집(ingestion)을 캡처하여 API 또는 메시지 큐로 전송합니다.
3. 이벤트는 스트리밍 파이프라인을 통해 흐르며 검증, 중복 제거, 보강됩니다.
4. 모든 이벤트는 가공되지 않은 데이터로 클라우드 객체 스토리지(데이터 레이크)에 저장됩니다.
5. 원시 이벤트는 일정에 따라(배치) 데이터 웨어하우스에 로드되고, 변환을 통해 정리된 테이블이 생성되며, 메트릭이 계산됩니다.
6. 데이터는 판매 실적 모니터링, 퍼널 이탈 분석, 타겟 캠페인 효과 분석을 위해 (분석 및 대시보드를 통해) 소비됩니다.
7. 파이프라인은 마케팅 자동화 Trigger, 추천 엔진, 고객 지원과 같은 운영 시스템에 데이터를 공급합니다.
8. 내부적으로 파이프라인은 데이터 품질, 볼륨을 모니터링하고, 장애 알림을 trigger하며, 일관성을 위해 측정항목을 테스트합니다.

다양한 데이터 유형 이해하기

데이터 엔지니어링은 한 번에 여러 유형의 데이터를 다루고 이해하는 데 도움이 됩니다. 이는 각 유형을 사용할 수 있게 만들고 서로 연동되도록 하는 구조를 제공합니다. 이러한 데이터 유형은 다음과 같습니다.

• 정형 데이터: 고정된 스키마를 사용하여 행과 열로 고도로 구성된 데이터입니다. 고객 데이터베이스와 거래 기록이 그 예입니다. 데이터 엔지니어링은 스키마와 관계를 설계하고, 제약 조건을 적용하며, 저장 및 쿼리를 최적화하고, 신뢰할 수 있는 테이블을 생성하는 데 도움이 됩니다.
• 비정형 데이터: 문서, 이미지, 동영상, 소셜 미디어 등 사전 정의된 형식이 없어 유연하며, 기업 데이터의 80~90%를 차지합니다. 데이터 엔지니어링은 데이터를 데이터 레이크에 효율적으로 저장하고, 메타데이터와 피처를 추출하고, 비정형 데이터를 정형 레코드에 연결하고, AI 및 ML 워크로드를 위해 데이터를 준비하는 데 도움이 됩니다.
• 반정형 데이터: JSON 및 XML 이벤트, API 응답, 애플리케이션 logs와 같이 일부 조직적 요소를 가진 유연하거나 중첩된 형식입니다. 데이터 엔지니어링은 중첩 필드를 파싱 및 평탄화하고, 일관되지 않은 구조를 표준화하며, 시간에 따른 스키마 변화를 처리하고, 재처리를 위해 원시 버전을 보존하는 데 도움이 됩니다.

데이터 엔지니어링은 데이터 다양성이 증가할 때 단일 스토리지 및 처리 방식이 빠르게 무너지기 때문에 주로 존재합니다. 구조는 데이터 쿼리 방법을 결정합니다.

고정된 스키마와 예측 가능한 필드 및 관계를 가진 정형 데이터는 관계형 데이터베이스나 데이터 웨어하우스에 저장될 수 있습니다. 필터링, 집계, 조인과 같은 간단한 변환은 SQL로 잘 처리할 수 있습니다.

시간이 지남에 따라 필드가 변경될 수 있는 반정형 데이터는 반정형을 지원하는 데이터 레이크 또는 웨어하우스에 저장하는 것이 가장 좋습니다. 비정형 데이터(미리 정의된 스키마가 없는 대용량 파일)는 객체 스토리지(데이터 레이크)에 저장하는 것이 가장 좋습니다. 텍스트 분석, 이미지 특징 추출, ML 파이프라인과 같은 복잡한 처리를 위해서는 특화된 도구와 컴퓨팅 성능이 필요합니다.

현대의 조직은 전체 데이터 자산을 활용하기 위해 세 가지 데이터 유형을 모두 처리해야 합니다.

데이터 엔지니어링 수명 주기

데이터 엔지니어링 수명 주기는 데이터가 생성에서 소비로 이동하는 방식과 시간이 지남에 따라 지속적으로 개선되는 방식을 설명합니다. 데이터 이동의 6단계:

• 데이터 생성: 데이터는 데이터베이스, 앱, APIs, 센서, logs, 사용자 상호작용, CRM/ERP 시스템과 같은 다양한 소스에서 생성됩니다. 이 단계는 소스에서 데이터를 정확하고 일관성 있게 수집하는 데 매우 중요합니다.
• 수집: 배치 또는 실시간/스트리밍 방법을 통해 데이터를 수집하고, 기본 품질 검증을 거쳐 적절한 대상으로 라우팅하여 데이터 누락이나 중복을 방지하는 과정입니다.
• 저장소: 원시, 변환되지 않은 데이터는 객체 스토리지를 위해 데이터 레이크에 저장되고, 구조화되고 처리된 데이터는 데이터 웨어하우스에 저장됩니다. 이를 통해 데이터의 확장성을 보장하고 새로운 사용 사례를 지원하며 로직 변경으로부터 보호합니다.
• 처리 및 변환: 데이터를 정리, 보강, 검증 및 재구성하여(ETL/ELT 프로세스) 사용 가능한 데이터로 만드는 과정입니다. 처리된 데이터는 팩트 테이블, 차원 테이블 및 집계된 메트릭으로 저장됩니다. 이를 통해 올바른 비즈니스 로직이 적용되고 데이터를 바로 사용할 수 있게 됩니다.
• 서빙: 분석가, 데이터 과학자, 비즈니스 인텔리전스 시스템 및 운영 시스템이 사용할 수 있도록 처리된 데이터를 제공합니다. 바로 이 지점에서 가치가 창출되며, 다양한 사용자 그룹을 위한 접근성과 성능을 보장합니다.
• 거버넌스: 데이터 보안, 품질, 개인 정보 보호 및 규정 준수를 보장합니다. 이는 위험과 책임성을 관리하고 액세스를 제어하며 계보와 문서를 유지하는 데 매우 중요합니다.

핵심 데이터 엔지니어링 프로세스

ETL 및 데이터 변환

ETL(추출, 변환, 로드) 은 소스 시스템의 데이터를 정리하고 일관되고 사용 가능한 형식으로 변환한 후 일반적으로 데이터 웨어하우스와 같은 대상 시스템으로 이동시켜 스토리지에 로드하는 데 사용되는 데이터 통합 프로세스입니다.

가공되지 않은 데이터는 지저분하고 일관성이 없으며 분석에 적합하지 않기 때문에 변환은 필수적입니다. 소스 시스템은 중복, 누락된 값, 일관성 없는 형식, 다른 이름 지정 규칙이 포함된 데이터를 생성합니다. 데이터는 다른 스키마를 사용하고, 다른 비즈니스 규칙을 적용하며, 값을 다르게 저장하는 다양한 소스에서 올 수 있습니다. 변환은 비즈니스 규칙을 적용하므로 조직 전체에서 메트릭이 동일한 의미를 갖게 됩니다.

일반적인 변환 작업에는 데이터 정리 및 유효성 검사, 스키마 정렬 및 재구성, 데이터 보강, 형식 표준화, 데이터 집계 및 요약, 비즈니스 로직 및 메트릭 생성, PII 마스킹 및 제한된 필드 필터링을 위한 보안 및 규정 준수 변환이 포함됩니다.

ELT(추출, 로드, 변환) 대안(데이터 레이크, 클라우드 데이터 웨어하우스 및 최신 데이터 아키텍처에서 일반적)은 가공되지 않은 데이터를 먼저 로드하고 나중에 변환하는 것을 의미합니다. 최신 웨어하우스는 대규모 가공되지 않은 데이터를 처리하고 변환을 효율적으로 처리할 수 있습니다. 가공되지 않은 데이터는 비즈니스 로직이 적용되기 전에 보존되므로 새로운 로직으로 재처리하여 새로운 분석 및 AI/ML 사용 사례를 지원할 수 있습니다.

모든 결정, 인사이트, 자동화된 작업은 그 기반이 되는 데이터의 품질에 따라 결정되므로 데이터 품질을 확보하는 것이 매우 중요합니다. 이러한 '가비지 인, 가비지 아웃' 원칙은 모든 후속 사용에 적용됩니다. 데이터가 잘못되면 결정도 잘못되어 조직에 시간, 신뢰, 수익 손실을 초래할 수 있습니다.

데이터 변환 도구는 규모, 복잡성, 변환이 발생하는 위치에 따라 다릅니다. SQL은 간단하고 강력하며 유지 관리가 용이한 언어로서 데이터베이스 변환에 일반적으로 사용됩니다. 더 복잡하거나 맞춤화된 변환의 경우 Python, Scala, Java가 비표 형식 데이터 처리, 맞춤형 유효성 검사 로직, 고급 데이터 조작, machine learning 피처 엔지니어링에 사용됩니다.

대규모 데이터 처리를 위해 Apache Spark, Flink, Beam과 같은 분산 데이터 처리 프레임워크는 단일 머신의 한계를 초과하는 데이터 볼륨을 처리할 수 있습니다.

배치 처리와 실시간 처리

배치 처리를 사용하면 일정 기간 동안 데이터가 수집된 후 예약(시간별, 일별, 주별)에 따라 한 번에 모두 처리됩니다. 이는 덜 복잡하고 비용 효율적이지만, 데이터가 누적되도록 허용하므로 지연 시간이 길어져 시간에 민감한 의사 결정에는 적합하지 않습니다. 배치 처리는 과거 추세 분석, 재무 보고, 영업 및 마케팅 대시보드, 데이터 백업 및 주기적 집계에 일반적으로 사용됩니다.

실시간 처리에서는 데이터가 생성될 때 처리되며 지연 시간은 밀리초에서 초 단위로 최소화됩니다. 이를 통해 즉각적인 인사이트와 빠르고 자동화된 의사 결정이 가능하지만, 구축이 더 복잡하고 운영 비용이 더 많이 듭니다. 실시간 처리는 라이브 대시보드, 사기 탐지, 알림 및 모니터링, 실시간 추천, 주식 거래, 동적 가격 책정에 일반적으로 사용됩니다.

지연 시간, 비용, 인프라 복잡성 간의 상충 관계 때문에 많은 조직에서 Lambda 아키텍처라는 하이브리드 접근 방식을 선택합니다. 이 방식은 두 가지를 결합하여 빠른 인사이트와 정확하고 완전한 데이터를 모두 제공합니다. 람다 아키텍처는 실시간 속도를 위한 경로와 배치 정확도를 위한 경로, 이렇게 두 개의 병렬 경로를 통해 데이터를 처리한 다음 그 결과를 병합하여 사용할 수 있도록 합니다.

배치, 실시간 또는 하이브리드 접근 방식을 사용할지에 대한 결정은 비즈니스가 할 수 있는 일과 그 속도를 직접적으로 결정합니다. 의사 결정 속도, 위험 감지 또는 고객 행동에 대한 대응이 가장 중요하다면 실시간 처리가 더 빠르고 민첩합니다. 운영 효율성 측면에서 배치 처리는 인프라 및 인건비가 더 낮고 장애 지점이 더 적어 관리하기가 더 쉽습니다. 실시간 처리는 혁신과 차별화를 촉진하기 위해 더 빠른 테스트 및 학습 주기를 가능하게 합니다.

실제로 배치 처리는 보고 및 예측의 정확성을 보장하는 반면, 실시간 처리는 고객 경험, 알림 및 자동화를 위한 최신성을 보장합니다. 하이브리드 접근 방식은 속도, 신뢰성, 비용의 균형을 맞춥니다.

데이터 스토리지 솔루션

데이터 스토리지는 만능이 아닙니다. 규모, 성능, 비용, 액세스 패턴에 최적화된 다양한 솔루션이 존재합니다. 스토리지 아키텍처 결정은 조직이 데이터를 분석하고 ML 모델을 구축하는 속도에 영향을 미칩니다.

데이터 웨어하우스 는 정형 데이터에 사용되며 빠른 query와 비즈니스 분석 및 보고에 최적화되어 있습니다. 최신 데이터 웨어하우스는 ACID를 보장하는 schema-on-write(데이터가 저장되기 전에 변환됨) 방식을 사용하므로, 측정항목이 깨끗하고 신뢰할 수 있는 데이터로 계산되어 보고서에 대한 신뢰도를 높이고 query 성능을 향상시킵니다. 대부분의 비즈니스 인텔리전스 도구는 안정적인 스키마, 예측 가능한 데이터 유형, 잘 정의된 관계를 기대하므로, 데이터 웨어하우스는 속도와 명확성이 가장 중요한 대시보드 및 정기적인 보고 시나리오에 가장 적합합니다.

데이터 레이크 스토리지는 정형 및 비정형을 포함한 모든 유형의 가공되지 않은 데이터를 대규모로 저장하는 데 탁월합니다. 데이터를 읽거나 쿼리할 때만 스키마가 적용되는 schema-on-read 데이터 모델링 접근 방식은 탐색적 분석과 머신러닝에 최고의 유연성을 제공합니다.

새롭게 부상하는 데이터 레이크하우스 아키텍처는 warehouse의 성능과 데이터 레이크의 유연성이라는 장점을 결합합니다. 저비용 스토리지에서 구조화, 반구조화, 비구조화 데이터 유형과 ACID 트랜잭션을 지원합니다. 배치 처리와 실시간 스트리밍을 모두 지원하며 다운스트림 사용자에게 영향을 주지 않고 더 빠른 반복을 위한 유연한 스키마 변화를 지원합니다. 동일한 통합 데이터를 BI 및 대시보드, Data Science, machine learning에 사용할 수 있습니다.

데이터 엔지니어링과 관련 분야

데이터 엔지니어링 vs. 데이터 분석 vs. 데이터 과학

개괄적으로 말하자면, 데이터 엔지니어링은 데이터 기반을 구축하고, 데이터 분석은 무슨 일이 왜 일어났는지 설명하며, Data Science는 무슨 일이 일어날지 예측하고 조치를 권장합니다. 각 분야는 서로 다른 기술을 필요로 하지만 모두 데이터 기반 조직에 필수적입니다.

데이터 엔지니어링은 데이터 흐름을 위한 시스템 및 인프라 구축에 중점을 둡니다. 핵심 기능에는 파이프라인 생성, 인프라 관리, 데이터 수집 및 구성을 통해 후속 작업을 지원하는 신뢰할 수 있고 확장 가능한 데이터 시스템을 제공하는 것이 포함됩니다.

데이터 분석 은 특정 비즈니스 질문에 답하기 위해 데이터를 해석하는 데 중점을 둡니다. 핵심 기능에는 데이터 분석, 의사 결정을 위한 인사이트로 데이터 전환, 보고서 작성, 추세 및 패턴 식별, 대시보드 구축, KPI 및 비즈니스 메트릭 추적이 포함됩니다.

데이터 과학 은 예측 모델을 구축하고 고급 분석 인사이트를 추출하며 자동화를 추진하는 데 중점을 둡니다. 핵심 기능에는 통계 분석, 예측 모델, 머신러닝 알고리즘 및 실험이 포함됩니다.

세 가지 분야는 서로 의존하고 강화합니다. 데이터 엔지니어링은 신뢰할 수 있는 데이터 파이프라인, 확장 가능한 스토리지 및 컴퓨팅, 데이터 품질, 거버넌스 및 액세스를 제공하여 분석 및 Data Science가 성공할 수 있는 기반을 만듭니다.

데이터 분석은 데이터 엔지니어링 결과물을 사용하고 데이터를 이해와 비즈니스 가치로 변환합니다. 그리고 데이터 과학은 데이터 엔지니어링을 기반으로 신뢰할 수 있는 피처 파이프라인을 구축하고 분석을 예측 및 자동화로 확장합니다.

조직에 데이터 엔지니어링이 필요한 이유

데이터 엔지니어링이 해결하는 과제

• 데이터 스프롤: 조직은 수십 개의 연결되지 않은 소스(데이터베이스, API, IoT, 로그, 애플리케이션)에서 데이터를 축적합니다. 이러한 데이터 사일로는 전체적인 데이터 그림을 파악하기 어렵게 만듭니다. 데이터를 레이크, 웨어하우스 또는 레이크하우스에 중앙 집중화하면 데이터에 대한 통합된 전사적 뷰를 제공합니다.
• 데이터 품질: 가공되지 않은 데이터에는 오류, 일관성 없는 형식, 중복 레코드 및 누락된 필드가 포함됩니다. 데이터 엔지니어는 데이터를 정리하고 유효성을 검사하며, 일관된 스키마와 비즈니스 규칙을 적용하고, 데이터 품질을 지속적으로 모니터링하는 데 도움을 줍니다.
• 규모와 복잡성: 데이터 볼륨이 기하급수적으로 증가함에 따라 테라바이트와 페타바이트를 처리할 수 있는 시스템이 필요하며, 그렇지 않으면 시스템이 느려지고, 불안정해지며, 비용이 많이 듭니다. 데이터 엔지니어는 확장 가능한 파이프라인과 스토리지를 구축하고 비즈니스와 함께 성장하는 데이터 시스템을 위해 분산형 클라우드 네이티브 아키텍처를 사용합니다.
• 속도: 비즈니스 의사결정에는 일주일이나 지난 데이터가 아니라 시기적절한 인사이트가 필요합니다. 수동 내보내기와 일회성 스크립트는 팀의 속도를 늦추고 오류를 유발합니다. 데이터 엔지니어링은 수집 및 변환을 자동화하고 신뢰할 수 있는 워크플로를 오케스트레이션하여 더 적은 수동 노력으로 더 빠른 데이터 액세스를 가능하게 합니다.
• 접근성: 팀은 어떤 데이터가 존재하고, 어디에 있으며, 어떤 버전이 올바른지 알아야 합니다. 데이터 엔지니어링은 애널리스트와 데이터 사이언티스트가 기술적인 장벽 없이 데이터를 사용할 수 있도록 돕습니다.
• 규정 준수: 민감한 데이터는 사용 가능성을 유지하면서 데이터 보안, 개인정보보호 및 규정 준수를 보장하도록 보호되어야 합니다. 데이터 엔지니어는 액세스 제어 및 암호화를 구현하고, 리니지 및 사용량을 추적하며, GDPR, HIPAA, CCPA와 같은 규정 준수 요건을 추적합니다.

실제 적용 사례

데이터 엔지니어링은 데이터를 사용 가능하게 함으로써 다음과 같은 사용 사례를 지원하는 인프라를 구축합니다.

• 금융 서비스: 데이터 엔지니어링 솔루션은 거래 데이터를 밀리초 단위로 스트리밍하고 실시간으로 사기 탐지 시스템에 기능을 제공합니다. 과거 행동 데이터로 강화된 리스크 관리 모델은 시장 노출을 분석할 수 있습니다.
• 전자상거래: 데이터 엔지니어링 솔루션은 클릭 및 구매 이벤트를 실시간으로 스트리밍하고, 고객 경험을 개선하며 재고 최적화와 더 높은 전환율을 제공하는 실시간 개인화 및 추천 엔진에 데이터를 공급하는 파이프라인을 구축합니다.
• 의료: 중요한 환자 데이터가 여러 시스템에 분산되어 있습니다. 데이터 엔지니어링 솔루션은 여러 제공업체의 데이터를 수집하고 정규화하여 전체적인 관점과 예측 분석을 지원하고 위험군을 식별하는 데 도움을 줍니다.
• 제조/IoT: 데이터 엔지니어링 솔루션은 센서 및 머신 데이터를 지속적으로 수집하여 이상 탐지 및 예측 유지보수를 통해 장비 고장을 방지합니다. 공급망 최적화를 위해 데이터 솔루션은 GPS, 센서, 교통 데이터를 실시간으로 수집하고 과거 데이터를 결합하여 최적화 알고리즘에 제공합니다.
• 소매: 데이터 엔지니어링 솔루션은 판매 시점 정보(POS), 공급망, 수요 데이터를 통합하여 고객 360도 뷰를 구축하고 온라인/오프라인 행동, 가격 최적화 알고리즘, 거의 실시간에 가까운 재고 가시성을 결합한 예측 파이프라인을 구축합니다.
• 미디어/엔터테인먼트: 시청자는 관련성 높은 콘텐츠 추천을 즉시 기대합니다. 데이터 엔지니어링 솔루션은 참여도를 높이기 위해 시청 행동을 처리 및 분석하고, 사용자 프로필을 유지하며, 추천 엔진을 구동합니다.

최신 데이터 엔지니어링 접근 방식

도구 및 기술

데이터 엔지니어링은 각각 데이터 수명 주기의 특정 부분을 해결하는 계층화된 도구 및 기술 생태계에 의해 구동됩니다.

• 프로그래밍 언어: 데이터 엔지니어는 특정 유형의 작업에 따라 선택된 여러 언어를 사용합니다. SQL은 데이터 엔지니어링에서 가장 중요한 언어일 것입니다. 데이터 쿼리, 변환, 모델링에 사용되며, 모든 데이터 플랫폼에서 보편적으로 사용되고 가독성이 높고 선언적이며 분석에 최적화되어 있습니다. Python은 데이터 처리, 오케스트레이션, 자동화, ETL에 일반적으로 사용됩니다. 작성 및 유지 관리가 쉽고, 방대한 데이터 라이브러리를 갖추고 있으며, 클라우드 서비스와 잘 작동합니다. Scala와 Java는 대규모 분산 시스템 및 스트리밍 변환에 널리 사용됩니다. Scala는 Apache Spark의 기본 언어이며 함수형 스타일과 객체 지향 스타일을 결합합니다. Java는 빅데이터 및 분산 처리 프레임워크와 백엔드 데이터 서비스에 자주 사용됩니다.
• 빅데이터 플랫폼: 빅데이터 플랫폼은 대규모 데이터의 양, 속도, 다양성을 안정적으로 처리하도록 설계되었습니다. 분산 처리를 위해 Apache Spark는 ETL/ELT, 집계, 피처 엔지니어링, 대규모 변환, 머신러닝 준비에 널리 사용됩니다. Apache Kafka는 이벤트 파이프라인, 실시간 수집 및 마이크로서비스에 사용되는 분산 이벤트 스트리밍 플랫폼입니다. Apache Hadoop은 레거시 빅데이터 시스템의 분산 파일 스토리지에 일반적으로 사용됩니다.
• 클라우드 플랫폼: 클라우드 플랫폼은 최신 데이터 엔지니어링에 필요한 인프라, 관리형 서비스 및 확장성을 제공합니다. Amazon Web Services(AWS)는 객체 스토리지(데이터 레이크), 관리형 데이터 웨어하우스, 관리형 ETL 및 ELT 서비스, 스트리밍 및 메시징 플랫폼, serverless compute를 제공합니다. Microsoft Azure는 엔터프라이즈 데이터 통합, 분석 및 웨어하우스 서비스, 클라우드 스토리지 및 데이터 레이크, 강력한 거버넌스 및 보안, Microsoft 에코시스템 지원을 제공합니다. Google Cloud Platform(GCP)은 데이터를 많이 사용하고 분석 중심적인 조직에서 자주 선호되며, serverless 데이터 웨어하우스, 네이티브 스트리밍 분석, 완전 관리형 데이터 처리 서비스, 확장 가능한 객체 스토리지를 제공합니다.
• 데이터 웨어하우스 및 레이크: Databricks는 데이터 엔지니어가 인프라를 관리할 필요 없이 데이터 레이크에서 직접 확장 가능한 데이터 파이프라인과 분석을 구축할 수 있도록 지원하는 통합 관리형 플랫폼입니다. Databricks 레이크하우스 아키텍처는 데이터 레이크의 유연성과 warehouse의 안정성을 결합합니다. Databricks는 Apache Spark를 기반으로 구축되었으며 ACID 트랜잭션, 스키마 적용 및 발전, 시간 이동 및 버전 관리, 통합 배치 및 스트리밍 파이프라인, 워크플로 오케스트레이션, 여러 언어에 대한 네이티브 지원을 제공합니다.
• 오케스트레이션 및 워크플로: 오케스트레이션 도구는 데이터 파이프라인의 실행 시점과 방식을 관리하고 종속성, 재시도, 실패, 모니터링을 처리합니다. Apache Airflow는 종속성이 많은 복잡한 배치 파이프라인에 사용되는 오픈 소스 오케스트레이션 플랫폼입니다. Prefect는 하이브리드 클라우드/온프레미스를 지원하는 워크플로 오케스트레이션에 사용됩니다. Dagster는 데이터 품질 및 관측 가능성 기능이 기본 내장된 데이터 인식 오케스트레이션 플랫폼입니다.
• 데이터 변환: dbt는 분석 엔지니어가 SQL을 사용하여 데이터 변환을 작성, 테스트, 문서화하고 버전 제어할 수 있게 해주는 변환 도구입니다. 분석 엔지니어가 테스트를 정의하고 데이터 품질을 강화할 수 있도록 합니다. dbt는 모델 문서, 열 설명, 종속성 그래프를 자동으로 생성합니다. 관리형 ELT 및 클라우드 네이티브 ETL 서비스는 더 빠른 설정을 제공합니다. 여러 소스에서 데이터를 수집하고, 기본 변환을 적용하며, 모니터링 및 재시도를 제공할 수 있습니다.

클라우드 네이티브 아키텍처

온프레미스 데이터 인프라는 폭발적으로 증가하는 데이터 볼륨과 다양성으로 인해 어려움을 겪었습니다. 회사 데이터 센터의 물리적 서버와 고정된 스토리지에는 높은 초기 자본 비용이 필요했습니다. 긴 프로비저닝 주기와 수동 확장 및 유지보수로 인해 데이터 엔지니어는 파이프라인 구축보다 인프라 관리에 더 많은 시간을 소비하게 되었습니다.

기업들은 더 빠른 인사이트를 제공하고, 신속한 실험을 가능하게 하며, 새로운 소스의 비정형 및 반정형 데이터를 처리하는 등 민첩성과 속도에 대한 요구를 충족하기 위해 클라우드 기반 데이터 시스템으로 전환했습니다.

클라우드 시스템은 즉각적인 확장(업 또는 다운), 스토리지와 컴퓨팅의 분리, 종량제 가격 책정을 가능하게 했습니다. 데이터 엔지니어들이 데이터 로직에 집중하게 되면서 데이터 웨어하우스, 스트리밍 시스템, 오케스트레이션을 위한 완전 관리형 서비스가 운영 오버헤드를 줄였습니다.

클라우드를 도입하면서 ELT, 데이터 레이크, 레이크하우스와 같은 새로운 아키텍처 패턴과 serverless 및 이벤트 기반 파이프라인이 가능해졌습니다. 기업은 거의 실시간에 가까운 분석, 셀프서비스 데이터, 대규모 AI 및 ML, 더 빠른 혁신 주기, 더 낮은 총소유비용을 확보하여 데이터를 전략적 자산으로 만들었습니다.

데이터 엔지니어링의 발전과 미래

데이터 엔지니어링 분야는 초창기 데이터베이스 관리에서 시작하여 데이터 웨어하우징으로 발전했습니다. 데이터베이스 관리자는 스키마 설계, 인덱스 관리, 백업 및 복구 보장, 온프레미스 관계형 데이터베이스의 성능 및 가용성 유지를 담당했습니다.

데이터 웨어하우징의 등장으로 중앙 집중식 분석 데이터베이스, ETL 프로세스, 스타 및 스노우플레이크 스키마, 배치 기반 보고가 도입되었습니다. 하지만 작업은 여전히 스키마 온 라이트 방식이었고 고도로 계획되었으며 경직적이었습니다. DBA 및 웨어하우징 방식은 스트리밍 데이터, 탄력적 확장, 복잡한 파이프라인, 빠른 반복을 위해 구축되지 않았습니다.

빅데이터와 클라우드는 기존의 온프레미스 데이터 센터를 대체했으며, 배치 전용 처리에서 실시간 및 스트리밍 아키텍처로의 또 다른 전환을 가져왔습니다. 새로운 프레임워크는 분산 스토리지 및 compute, 읽기 시 스키마 적용(Schema-on-read), 새로운 처리 패러다임을 도입했습니다. 데이터 시스템은 단순한 데이터베이스가 아닌 엔지니어링 시스템이 되었습니다.

데이터 엔지니어링은 계속해서 발전하고 있습니다. 데이터 소스는 계속해서 늘어나고 있고, 실시간 사용 사례는 확장되고 있으며, AI와 ML은 강력하고 민첩한 데이터 기반에 의존합니다. 규제 요건이 늘어남에 따라 데이터 품질과 거버넌스에 대한 관심이 높아지고 있으며, 셀프 서비스 분석 플랫폼을 통한 조직 전체의 데이터 액세스에 대한 필요성 또한 커지고 있습니다.

데이터 파이프라인은 내부 연결 수단 그 이상이 되고 있습니다. 조직은 명확하게 정의된 소비자와 사용 사례를 바탕으로 데이터를 제품으로 사용하고 있습니다. 데이터 엔지니어링은 특징점과 실시간 피처 파이프라인을 구축하면서 AI 및 ML과 더욱 깊이 통합되고 있습니다.

통합 플랫폼이 지나치게 복잡한 스택을 대체하면서 도구 간 핸드오프가 줄고 운영 오버헤드가 낮아지며 개발 속도가 빨라지고 있습니다. 데이터 품질에 대한 강조가 커지면서 기본 내장 품질 검사, 엔드투엔드 관측 가능성, 사전 예방적 이상 탐지로 이어지고 있습니다. 자동화된 리니지, 스마트 오케스트레이션, 자가 복구 파이프라인은 수작업을 줄이면서 더 복원력 있는 시스템을 제공합니다.

결론

데이터 엔지니어링은 가공되지 않은 데이터의 혼돈을 체계적이고, 확장 가능하며, 신뢰할 수 있고, 접근 가능한 정보로 변환하는 성장 분야입니다. 이를 통해 조직은 데이터 기반 의사 결정을 내리고, AI 및 머신 러닝 모델을 구축하며, 시장 변화에 신속하게 대응하고, 데이터를 제품으로 제공할 수 있습니다.

데이터 볼륨이 계속해서 폭발적으로 증가하고 조직이 데이터 인사이트에 대한 의존도가 높아짐에 따라 견고한 데이터 엔지니어링 인프라가 매우 중요해졌습니다. 이것이 없으면 데이터 파편화와 신뢰할 수 없는 데이터가 모든 분석 및 AI 노력을 저해하며, 오늘날의 경쟁적이고 규제가 심한 비즈니스 환경에서는 치명적일 수 있습니다.

데이터 엔지니어링 개념, 프로세스, 수명 주기 접근 방식 및 실제 적용 사례를 이해하면 조직이 데이터 인프라, 도구 선택 및 분석 전략에 대해 더 나은 결정을 내리는 데 도움이 됩니다.

데이터 엔지니어링에 중점을 두는 조직은 더 빠르게 움직이고, 더 현명한 결정을 내리며, 데이터를 경쟁 우위로 전환할 수 있습니다.