수집
학습할 내용
Databricks의 Auto Loader를 사용하면 새로운 배치 및 실시간 데이터 파일이 도착하는 대로 곧장 Delta Lake 테이블에 증분식으로, 효율적인 형태로 수집할 수 있으므로 여기에 항상 가장 온전하고 최신 상태인 데이터를 포함하도록 보장됩니다. Auto Loader는 계속 실행하거나 "triggerOnce" 모드에서 데이터를 일괄 처리하는 간단하고 유연한 도구입니다. SQL 사용자는 단순한 "COPY INTO" 명령을 사용해 새 데이터를 자동으로 Delta Lake 테이블에 가져올 수 있으며, 이미 처리된 파일이 무엇인지 계속 확인할 필요가 없습니다.
