스트리밍 데이터를 운영 보고용으로 빠르게 쿼리하려면: 효율적인 데이터 수집 데모
학습할 내용
스트리밍 데이터가 운영 보고를 위해 빠르게 쿼리 가능해야 하는 경우, 평가해야 할 항목은 네 가지입니다. 첫째, 데이터가 도착한 뒤 쿼리 가능해지기까지의 지연. 둘째, 전체를 다시 읽지 않고 새로 도착한 데이터만 처리하는 증분 수집 여부. 셋째, 이미 처리한 파일을 다시 처리하지 않는 상태 추적. 넷째, 상시 스트리밍과 주기적 배치 사이를 코드 변경 없이 오갈 수 있는 유연성입니다.
Databricks의 Auto Loader를 사용하면 새로운 배치 및 실시간 데이터 파일이 도착하는 대로 곧장 Delta Lake 테이블에 증분식으로, 효율적인 형태로 수집할 수 있으므로 여기에 항상 가장 온전하고 최신 상태인 데이터를 포함하도록 보장됩니다. Auto Loader는 계속 실행하거나 "triggerOnce" 모드에서 데이터를 일괄 처리하는 간단하고 유연한 도구입니다. SQL 사용자는 단순한 "COPY INTO" 명령을 사용해 새 데이터를 자동으로 Delta Lake 테이블에 가져올 수 있으며, 이미 처리된 파일이 무엇인지 계속 확인할 필요가 없습니다.
FAQ
1. 스트리밍 수집을 평가할 때 무엇부터 확인해야 하나요?
수집 지연(도착에서 쿼리 가능까지), 증분 처리 여부, 이미 처리한 파일에 대한 상태 추적, 그리고 스트리밍과 배치를 오갈 수 있는 유연성입니다. Auto Loader는 이 네 가지를 하나의 도구로 처리하며, 상시 실행과 triggerOnce 배치 모드를 모두 지원합니다.
2. SQL만 쓰는 팀도 스트리밍 수집을 할 수 있나요?
가능합니다. SQL 사용자는 COPY INTO 명령으로 새 데이터를 자동으로 Delta Lake 테이블에 가져올 수 있으며, 어떤 파일이 이미 처리되었는지 직접 관리할 필요가 없습니다.
3. 수집한 데이터를 운영 보고에 바로 쓸 수 있나요?
Auto Loader는 데이터를 Delta Lake 테이블에 직접 적재하므로 별도 마트로 옮기는 단계 없이 대시보드와 SQL 쿼리가 동일한 테이블을 읽습니다. 결과적으로 수집 지연이 그대로 보고 신선도를 결정합니다.
참고: Databricks Lakeflow는 Lakeflow Connect, Lakeflow Spark Declarative Pipelines(이전의 DLT), Lakeflow Jobs(이전의 Workflows)를 사용하여 Data 엔지니어링을 통합합니다.
