Ingesta

Con Databricks Auto Loader, puede ingerir de forma incremental y eficiente los nuevos archivos de datos por lotes y de streaming en tiempo real en sus tablas de Delta Lake apenas llegan a su data lake, para que estas siempre contengan los datos más completos y actualizados disponibles. Auto Loader es una herramienta simple y flexible que puede ejecutarse de forma continua o en modo "triggerOnce" para procesar datos en lotes. Los usuarios de SQL pueden usar el simple comando "COPY INTO" para cargar nuevos datos en sus tablas de Delta Lake automáticamente, sin necesidad de hacer un seguimiento de los archivos que ya se han procesado.

Nota: Databricks Lakeflow unifica la ingeniería de datos con Lakeflow Connect, Lakeflow Spark Declarative Pipelines (antes conocido como DLT) y Lakeflow Jobs (antes conocido como Workflows).