Ankündigung von Lakeflow Designer: No-Code ETL, angetrieben von der Data Intelligence Platform

Wir freuen uns, Lakeflow Designer ankündigen zu können, einen KI-gesteuerten No-Code-Pipeline-Builder, der vollständig in die Databricks Data Intelligence Platform integriert ist. Mit einer visuellen Oberfläche und einer integrierten natürlichen Sprachschnittstelle ermöglicht Designer Business-Analysten, skalierbare Produktions-Pipelines zu erstellen und Datenanalysen durchzuführen, ohne eine einzige Zeile Code schreiben zu müssen – alles in einem einzigen, einheitlichen Produkt.

Jede in Designer erstellte Pipeline erstellt im Hintergrund eine Lakeflow Declarative Pipeline. Dateningenieure können diese Pipelines überprüfen, verstehen und verbessern, ohne die Tools wechseln oder die Logik neu schreiben zu müssen, da es sich um denselben ANSI-SQL-Standard handelt, der auf Databricks verwendet wird. Dies ermöglicht es No-Code-Benutzern, an Datenarbeiten teilzunehmen, ohne zusätzlichen Aufwand für Ingenieure zu verursachen.

Lakeflow Designer wird in den kommenden Monaten in der Private Preview verfügbar sein, nach der heute angekündigten General Availability von Lakeflow. Wir freuen uns darauf, Ihnen die Auswirkungen zu zeigen, die es haben kann.

Bestehende No-Code-Tools laufen außerhalb der Data Intelligence Platform, was zu Silos, Produktionslücken und eingeschränkter KI-Produktivität führt

Datenteams und Business-Analysten wollen dasselbe: Rohdaten schnell in Erkenntnisse umwandeln. Aber die Werkzeuge, die sie verwenden, und die Umgebungen, in denen sie arbeiten, ziehen sie oft in verschiedene Richtungen.

Business-Analysten bringen wertvolles Domänenwissen und Einblicke in die Fragen ein, die die Entscheidungen eines Unternehmens vorantreiben. Um schnell voranzukommen, erstellen sie oft schnelle Lösungen mit Tabellenkalkulationen oder greifen, wenn diese nicht ausreichen, auf ältere No-Code-Tools zurück. Diese Tools sind einfach und unkompliziert, aber die von ihnen erstellten Pipelines laufen außerhalb der Datenplattform in verschiedenen Umgebungen, getrennt von den Pipelines, die Ingenieure erstellen und warten.

Diese Trennung führt zu drei anhaltenden Herausforderungen:

• Gezielte Workflows: Analysten und Ingenieure arbeiten mit unterschiedlichen Tools, was zu redundanter Arbeit und Koordinationsaufwand führt. Wenn Workflows auf die Datenplattform übertragen werden müssen, müssen Ingenieure sie oft von Grund auf neu erstellen.
• Produktionsherausforderungen: Externe Pipelines laufen ohne Plattform-Governance oder Beobachtbarkeit, was sie fragil und schwieriger zu warten macht.
• Eingeschränkte KI-Produktivität: KI-Assistenten haben keinen Zugriff auf Metadaten, Abstammung und Nutzungsmuster, sodass ihre Vorschläge oft generisch sind, ähnlich wie die Verwendung eines Sprachmodells ohne Zugriff auf den Kontext Ihrer Daten.

Lakeflow Designer: Einheitliche No-Code-Tools, integriert in die Data Intelligence Platform

Lakeflow Designer löst diese Probleme, indem er Geschäfts- und Datenteams in eine einzige, einheitliche Umgebung bringt, in der Pipelines auf Databricks erstellt, verwaltet und gesteuert werden. Da alle Pipelines nativ innerhalb der Plattform erstellt werden, profitieren Teams von integrierter Beobachtbarkeit, Governance und Skalierbarkeit von Anfang an: keine Neuschreibungen erforderlich.

Gemeinsame, kollaborative Workflows

Lakeflow Designer adressiert gezielte Workflows direkt, indem er eine einheitliche Plattform bietet, auf der Teams gemeinsam aufbauen können. Geschäftsanwender erstellen Pipelines in einer visuellen No-Code-Umgebung, die vertraut und intuitiv ist. Hinter den Kulissen werden visuelle Pipelines als Lakeflow Declarative Pipelines implementiert. Sie verwenden dieselbe skalierbare, zuverlässige Laufzeit wie Pipelines, die direkt in Lakeflow Declarative Pipelines entwickelt wurden.

Da die Ausgabe von Designer dieselbe ist, als ob sie codiert wäre, können Dateningenieure die Pipelines wie jede andere Lakeflow-Pipeline inspizieren und bearbeiten. Das bedeutet, wenn Business-Analysten auf Probleme stoßen, können Ingenieure eingreifen und helfen, ohne ein neues Tool lernen zu müssen, da es sich um dieselben Declarative Pipelines handelt, an die sie gewöhnt sind. Dies alles führt zu reibungsloseren Übergaben und weniger Neuschreibungen, die Ingenieurzyklen beanspruchen.

Ein integrierter Weg zur Produktion

Lakeflow Designer-Pipelines werden als Lakeflow Declarative Pipelines bereitgestellt – Punkt. Das bedeutet, sie sind sofort für den Produktionseinsatz bereit. Sie sind versioniert, werden von Unity Catalog gesteuert und sind mit den Lakeflow-Überwachungstools vollständig beobachtbar.

Alles ist von Anfang an für die Produktion konzipiert, sodass keine Pipelines für Skalierbarkeit und Zuverlässigkeit neu erstellt werden müssen. Sie erhalten von Anfang an Planung, Tests und Benachrichtigungen.

KI, die Ihr Geschäft versteht

Designer bietet eine KI-gesteuerte Entwicklungserfahrung, die Benutzern hilft, mit natürlichen Sprachbefehlen von der Idee zur Pipeline zu gelangen. Einzigartig an der KI von Designer ist, dass sie auf der Struktur, der Semantik und den Nutzungsmustern Ihrer Daten basiert, was durch die einheitliche Databricks Intelligence Platform ermöglicht wird. Sie weiß, wie Daten im Unternehmen tatsächlich besprochen und verwendet werden, einschließlich Tabellendefinitionen, Spaltennamen und Abfrageverlauf.

Andere Tools bieten möglicherweise KI-Funktionen an, aber da sie außerhalb der Plattform laufen, agieren sie ohne diesen reichen Kontext. Die KI von Designer ist anders: tief in Databricks integriert, trainiert auf der Struktur und Semantik Ihrer Daten und entwickelt, um vertrauenswürdige, produktionsreife Pipelines zu generieren, die mit Ihren bestehenden Workflows und Governance-Standards übereinstimmen.

Bald in Private Preview verfügbar

Lakeflow Designer wird in den kommenden Monaten in der Private Preview verfügbar sein. Wir arbeiten eng mit frühen Anwendern aus verschiedenen Branchen zusammen, um die Erfahrung zu verfeinern und den Zugang zu erweitern.

Wenn Ihr Team mehr Benutzern die Möglichkeit geben möchte, vertrauenswürdige Pipelines zu erstellen, ohne das Risiko zu erhöhen oder neue Tools hinzuzufügen, wenden Sie sich an Ihr Databricks-Konto-Team, um Zugang zu beantragen.

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag