Vorteile von Lakeflow Connect für die Datenaufnahme

Die Zukunft des Data Engineering auf Databricks liegt in Lakeflow: der einheitlichen Lösung für die Erfassung, Transformation und Orchestrierung. Sie können Lakeflow Connect verwenden, um Daten aus jeder Quelle zu erfassen, Apache Spark™ Declarative Pipelines, um Ihre Daten zu transformieren, und Lakeflow Jobs, um jeden Workflow zu orchestrieren. Zusammen ermöglichen diese es Kunden, aktuellere und qualitativ hochwertigere Daten für ihr Unternehmen bereitzustellen.

Lakeflow Connect bietet mehr als 100 native Konnektoren für die Datenaufnahme aus Unternehmensanwendungen, Datenbanken, Wissensquellen und Ereignissen. Es bietet eine Point-and-Click-Benutzeroberfläche und eine einheitliche Governance über den Unity-Katalog, der KI-Agenten den vollständigen Unternehmenskontext bereitstellt. Lakeflow Connect nutzt effiziente inkrementelle Lese- und Schreibvorgänge, um die Datenaufnahme schneller, skalierbarer und kosteneffizienter zu machen, während Ihre Daten für die nachfolgende Nutzung aktuell bleiben. Im Hintergrund basieren Lakeflow Connect-Pipelines auf Apache Spark™ Declarative Pipelines. Darüber hinaus lesen und schreiben viele der Konnektoren nur die Daten, die sich im Quellsystem geändert haben. Schließlich nutzen wir die quellenspezifische Technologie von Arcion, um jeden Konnektor hinsichtlich Leistung und Zuverlässigkeit zu optimieren und gleichzeitig die Auswirkungen auf das Quellsystem zu begrenzen.

In der schnell wachsenden Liste der Lakeflow Connect-Konnektoren gibt es verschiedene Konnektortypen: SaaS-Konnektoren, Datenbankkonnektoren, Dateiquellenkonnektoren und Streamingkonnektoren. Die vollständige, aktuelle Liste finden Sie in der Dokumentation. Verwaltete Konnektoren sind in verschiedenen Versionsstufen verfügbar, und Standardkonnektoren bieten einen höheren Grad an Anpassung der Ingestion-Pipelines. Beachten Sie, dass Lakeflow Connect serverlose Datenverarbeitungsfunktionen für Lakeflow Declarative Pipelines verwendet. Weitere Informationen finden Sie in der Lakeflow Connect-Dokumentation.

Ja. Wir bieten ein permanentes kostenloses Kontingent an, bei dem jeder Workspace kostenlos 100 DBUs pro Tag erhält, sodass Sie bis zu 100 Millionen Datensätze pro Tag über berechtigte verwaltete Quellen hinweg erfassen können. Weitere Informationen finden Sie auf der Preisseite.

Lakeflow Connect wurde für Data Engineering- und Datenteams entwickelt, die Unternehmensdaten ohne umfangreiche benutzerdefinierte Codierung in die Data + AI Platform einbinden müssen. Die No-Code-Benutzeroberfläche und die einfache API ermöglichen es Anwendern, die Datenaufnahme im Self-Service durchzuführen, während die tiefe Integration in Unity Catalog und Lakehouse Monitoring den Governance- und Observability-Teams die Kontrolle bietet, die sie benötigen. Organisationen wenden es für Anwendungsfälle wie Customer 360-Analysen, zentrale Dashboards für die HR-Belegschaft, digitale Zwillinge in der Fertigung, intelligente Dokumentenverarbeitung und Verbraucheranalysen an. Da die Datenaufnahme vollständig in die Plattform integriert ist, versorgt sie KI-Agenten auch mit dem vollständigen Geschäftskontext, den sie für vertrauenswürdige Schlussfolgerungen benötigen.

Kunden, die von älteren ETL-Stacks und benutzerdefinierter Middleware auf neue Lösungen umsteigen, berichten von erheblichen Effizienzsteigerungen nach der Einführung von Lakeflow Connect. Das BI-Team von Panasonic reduzierte die Refresh-Zeiten in Power BI um 50 %, nachdem es von einem starren, veralteten ETL-Stack auf die Databricks Data + AI Platform umgestiegen war. Insulet eliminierte anfällige, problematische Middleware zwischen Salesforce und Databricks SQL und reduzierte die Datenlatenz von Tagen auf Minuten. Kotahi reduzierte die Zeit für die Extraktion und Aufbereitung von Salesforce-Daten von etwa drei Stunden auf 30 Minuten, nachdem ein Aufnahmetool eines Drittanbieters ersetzt wurde. Da Konnektoren vollständig verwaltet werden, vermeiden Teams außerdem die laufende Pipeline-Wartung, die manuell erstellte ETL- oder Middleware-Schichten normalerweise erfordern.

Sie können Lakeflow Connect kostenlos verwenden, indem Sie der Einstiegsdokumentation folgen, die Sie durch die Einrichtung Ihrer ersten Ingestion-Pipeline führt. Jeder Databricks-Workspace umfasst außerdem eine permanente kostenlose Stufe mit 100 DBUs pro Tag, ausreichend, um täglich bis zu 100 Millionen Datensätze aus berechtigten verwalteten Quellen zu erfassen. Wenn Sie sich das Produkt zuerst ansehen möchten, machen Sie die Lakeflow Connect-Feature-Tour, und wenn Sie bereit sind zu skalieren, lesen Sie die Details zur nutzungsbasierten Preisgestaltung.