Databricks Workflows ist ein verwalteter Orchestrierungsdienst, der vollständig in die Databricks Lakehouse-Plattform integriert ist. Mit Workflows können Sie Workflows mit mehreren Aufgaben für ETL-, Analytics- und ML-Pipelines einfach definieren, verwalten und überwachen. Mit einer breiten Palette unterstützter Aufgabentypen, umfassenden Beobachtbarkeitsfunktionen und hoher Zuverlässigkeit sind Ihre Datenteams in der Lage, jede Pipeline besser zu automatisieren und zu orchestrieren sowie produktiver zu werden.
„Wenn wir ins Jahr 2018 zurückkehren würden und Databricks Workflows verfügbar wäre, hätten wir nie darüber nachgedacht, ein benutzerdefiniertes Airflow-Setup zu entwickeln. Wir würden einfach Workflows verwenden.“
Einfaches Erstellen
Egal, ob Sie Data Engineer, Data Analyst oder Data Scientist sind, definieren Sie Workflows ganz einfach mit nur wenigen Klicks oder verwenden Sie Ihre bevorzugte IDE.
Umsetzbare Erkenntnisse
Erhalten Sie vollständigen Einblick in jede Aufgabe eines jeden Workflows und werden Sie sofort über Probleme benachrichtigt, die eine Fehlerbehebung erfordern.
Bewährte Zuverlässigkeit
Mit einem vollständig verwalteten Orchestrierungsdienst haben Sie die Gewissheit, dass Ihre Produktionsworkflows betriebsbereit sind. Mit einer Verfügbarkeit von 99,95 % genießt Databricks Workflows das Vertrauen Tausender Unternehmen.
Wie funktioniert es?
Vereinheitlicht mit der Databricks Lakehouse-Plattform
Zuverlässigkeit bei der Produktion
Detailgenaue Überwachung und Beobachtbarkeit
Batch und Streaming
Effizientes Compute
Nahtlose User Experience
„Durch den Einsatz von Databricks Workflows konnten wir die Zusammenarbeit fördern und die Grenzen zwischen den verschiedenen Phasen des Prozesses überwinden. Dadurch konnten sich alle Beteiligten untereinander verständigen.“
Vereinheitlicht mit der Databricks Lakehouse-Plattform
Im Gegensatz zu externen Orchestrierungstools ist Databricks Workflows vollständig in die Databricks Lakehouse-Plattform integriert. Das bedeutet, dass man natives Workflow-Authoring in seinem Workspace erhält und die Möglichkeit hat, alle Lakehouse-Funktionen zu automatisieren, einschließlich Delta Live Table-Pipelines, Databricks-Notebooks und Databricks SQL-Abfragen. Mit Unity Catalog erhalten Sie eine automatisierte Datenherkunft für jeden Workflow, sodass Sie die Kontrolle über alle Ihre Datenbestände im gesamten Unternehmen behalten.
Umfassende Zuverlässigkeit
Täglich vertrauen Tausende von Unternehmen auf Databricks Workflows, um Millionen von Produktions-Workloads über AWS, Azure und GCP mit einer Verfügbarkeit von 99,95 % auszuführen. Wenn man über ein vollständig verwaltetes Orchestrierungstool verfügt, das in Databricks Lakehouse integriert ist, muss man kein weiteres separates Tool für die Orchestrierung warten, aktualisieren oder darin Fehler beheben.
Detailgenaue Überwachung und Beobachtbarkeit
Die vollständige Integration in die Lakehouse-Plattform bedeutet, dass Databricks Workflows Ihnen eine bessere Beobachtbarkeit bietet als jedes externe Orchestrierungstool. Behalten Sie die Kontrolle, indem Sie einen vollständigen Überblick über jeden ausgeführten Workflow erhalten und Benachrichtigungen für Fehler einrichten, um Ihr Team per E-Mail, Slack, PagerDuty oder einem benutzerdefinierten Webhook zu benachrichtigen, damit Sie Problemen schnell zuvorkommen und Fehler beheben können, bevor Datenkonsumenten beeinträchtigt werden.
Batch und Streaming
Databricks Workflows bietet Ihnen eine einzige Lösung zur Orchestrierung von Aufgaben in jedem Szenario im Lakehouse. Verwenden Sie eine geplante Workflow-Ausführung für wiederkehrende Jobs, die Batch zu voreingestellten Zeiten durchführen, oder implementieren Sie Echtzeit-Datenpipelines, die kontinuierlich ausgeführt werden. Sie können mithilfe Triggern bei Dateieingang auch einen Workflow festlegen, der ausgeführt wird, wenn neue Daten verfügbar gemacht werden.
Effizientes Compute
Durch die Orchestrierung mit Databricks Workflows erhalten Sie ein besseres Preis-Leistungs-Verhältnis für Ihre automatisierten Produktions-Workloads. Erzielen Sie erhebliche Kosteneinsparungen, wenn Sie automatisierte Job-Cluster nutzen, die geringere Kosten verursachen und nur dann ausgeführt werden, wenn ein Job geplant ist, sodass Sie nicht für ungenutzte Ressourcen bezahlen müssen. Darüber hinaus können Sie mit gemeinsam genutzten Job-Clustern Compute-Ressourcen für mehrere Aufgaben wiederverwenden und so die Ressourcennutzung optimieren.
„Es ist einfach, einen Cluster einmal hochzufahren, ihn für alle verschiedenen Schritte wiederzuverwenden und ihn am Ende wieder herunterzufahren.“
Nahtlose User Experience
Definieren Sie Workflows in Ihrer bevorzugten Umgebung – erstellen Sie Workflows ganz einfach direkt in der Databricks Workspace-Benutzeroberfläche oder mit Ihrer bevorzugten IDE. Definieren Sie Aufgaben, die ein versionskontrolliertes Notebook in einem Databricks-Repository oder in einem Remote-Git-Repository verwenden, und halten Sie sich an bewährte DevOps-Methoden wie CI/CD.
Integrationen
Databricks Workflows bietet eine nahtlose Integration mit führenden Branchenpartnern, um Ihnen die Flexibilität zu geben, Workflows zu definieren, die Ihren Anforderungen mit der Datenlösung Ihrer Wahl entsprechen.
FAQ
Orchestrierung im Kontext von Daten, Analytics und KI bezieht sich auf die Automatisierung, Bereitstellung und Verwaltung von Workflows wie ETL-Datenpipelines und ML-Modelltraining. Die Orchestrierung ist ein wichtiger Teil der Datenvorgänge und unerlässlich, um Datenlösungen in die Produktion zu bringen. Bei der Orchestrierung geht es darum, die Abhängigkeiten zwischen Workflow-Aufgaben zu verwalten und die Ausführung dieser Aufgaben zu planen. Die Orchestrierung umfasst auch die Zuweisung von Compute-Ressourcen und die Überwachung von Workflows.
