Datenaufnahme

Mit Databricks Auto Loader können Sie neue Batch- und Echtzeit-Streaming-Datendateien direkt beim Empfang inkrementell und effizient in Ihre Delta Lake-Tabellen einlesen. So nutzen Sie immer die vollständigsten und aktuellsten Daten. Auto Loader ist ein einfaches, flexibles Werkzeug, das kontinuierlich oder im "triggerOnce" Modus betrieben werden kann, um Daten in Chargen zu verarbeiten. SQL-Anwender können mit dem simplen COPY INTO-Befehl neue Daten automatisch in ihre Delta Lake-Tabellen ziehen, ohne sich Gedanken darüber machen zu müssen, welche Dateien bereits verarbeitet wurden.

Hinweis: Databricks Lakeflow vereint Data Engineering mit Lakeflow Connect, Lakeflow Spark Declarative Pipelines (zuvor bekannt als DLT) und Lakeflow Jobs (zuvor bekannt als Workflows).