UI 기반 데이터 수집 툴: Databricks 데이터 업로드 UI를 사용한 데이터 수집
학습할 내용
이 비디오에서는 로컬 파일 업로드 UI를 사용하여 Databricks에 데이터를 적재하는 방법을 보여줍니다.
데이터 인제스천(Data Ingestion)이란 다양한 소스의 원시 데이터를 수집, 이동, 저장하여 분석 및 AI 워크로드에 활용할 수 있도록 준비하는 과정입니다. UI 기반 데이터 수집 툴 중 하나로 Databricks 데이터 업로드 UI를 꼽을 수 있습니다. 코드 작성 없이 로컬 파일을 드래그 앤 드롭 방식으로 Databricks 레이크하우스에 직접 적재할 수 있으며, 데이터는 Unity Catalog에서 거버넌스와 함께 Delta Lake 테이블로 저장됩니다. 보다 고급 수집 시나리오에는 COPY INTO 명령어, Lakeflow Connect를 통한 엔터프라이즈 SaaS·데이터베이스 미러링, Zerobus를 통한 스트리밍 수집 등 다양한 방식으로 확장할 수 있습니다.
참고: Databricks Lakeflow는 Lakeflow Connect, Lakeflow Spark Declarative Pipelines(이전의 DLT), Lakeflow Jobs(이전의 Workflows)를 사용하여 Data 엔지니어링을 통합합니다.
