Direkt zum Hauptinhalt

Workflows

Einheitliche Orchestrierung für Daten, Analytics und KI im Lakehouse

Workflows

Databricks Workflows ist ein verwalteter Orchestrierungsdienst, der vollständig in die Databricks Lakehouse-Plattform integriert ist. Mit Workflows können Sie Workflows mit mehreren Aufgaben für ETL-, Analytics- und ML-Pipelines einfach definieren, verwalten und überwachen. Mit einer breiten Palette unterstützter Aufgabentypen, umfassenden Beobachtbarkeitsfunktionen und hoher Zuverlässigkeit sind Ihre Datenteams in der Lage, jede Pipeline besser zu automatisieren und zu orchestrieren sowie produktiver zu werden.

yipit

„Wenn wir ins Jahr 2018 zurückkehren würden und Databricks Workflows verfügbar wäre, hätten wir nie darüber nachgedacht, ein benutzerdefiniertes Airflow-Setup zu entwickeln. Wir würden einfach Workflows verwenden.“

– Hillevi Crognale, Engineering Manager, YipitData
Mehr Informationen

graphic 6

Einfaches Erstellen

Egal, ob Sie Data Engineer, Data Analyst oder Data Scientist sind, definieren Sie Workflows ganz einfach mit nur wenigen Klicks oder verwenden Sie Ihre bevorzugte IDE.

graphic

Umsetzbare Erkenntnisse

Erhalten Sie vollständigen Einblick in jede Aufgabe eines jeden Workflows und werden Sie sofort über Probleme benachrichtigt, die eine Fehlerbehebung erfordern.

Icon Graphic

Bewährte Zuverlässigkeit

Mit einem vollständig verwalteten Orchestrierungsdienst haben Sie die Gewissheit, dass Ihre Produktionsworkflows betriebsbereit sind. Mit einer Verfügbarkeit von 99,95 % genießt Databricks Workflows das Vertrauen Tausender Unternehmen.

Wie funktioniert es?

workflows marketecture

Vereinheitlicht mit der Databricks Lakehouse-Plattform

Zuverlässigkeit bei der Produktion

Detailgenaue Überwachung und Beobachtbarkeit

Batch und Streaming

Effizientes Compute

Nahtlose User Experience

wood mackenzie

„Durch den Einsatz von Databricks Workflows konnten wir die Zusammenarbeit fördern und die Grenzen zwischen den verschiedenen Phasen des Prozesses überwinden. Dadurch konnten sich alle Beteiligten untereinander verständigen.“

– Yanyan Wu, Vice President of Data, Wood Mackenzie
Mehr Informationen
workflows

Vereinheitlicht mit der Databricks Lakehouse-Plattform

Im Gegensatz zu externen Orchestrierungstools ist Databricks Workflows vollständig in die Databricks Lakehouse-Plattform integriert. Das bedeutet, dass man natives Workflow-Authoring in seinem Workspace erhält und die Möglichkeit hat, alle Lakehouse-Funktionen zu automatisieren, einschließlich Delta Live Table-Pipelines, Databricks-Notebooks und Databricks SQL-Abfragen. Mit Unity Catalog erhalten Sie eine automatisierte Datenherkunft für jeden Workflow, sodass Sie die Kontrolle über alle Ihre Datenbestände im gesamten Unternehmen behalten.  

reliability at scale

Umfassende Zuverlässigkeit

Täglich vertrauen Tausende von Unternehmen auf Databricks Workflows, um Millionen von Produktions-Workloads über AWS, Azure und GCP mit einer Verfügbarkeit von 99,95 % auszuführen. Wenn man über ein vollständig verwaltetes Orchestrierungstool verfügt, das in Databricks Lakehouse integriert ist, muss man kein weiteres separates Tool für die Orchestrierung warten, aktualisieren oder darin Fehler beheben.

deep monitoring and observability

Detailgenaue Überwachung und Beobachtbarkeit

Die vollständige Integration in die Lakehouse-Plattform bedeutet, dass Databricks Workflows Ihnen eine bessere Beobachtbarkeit bietet als jedes externe Orchestrierungstool. Behalten Sie die Kontrolle, indem Sie einen vollständigen Überblick über jeden ausgeführten Workflow erhalten und Benachrichtigungen für Fehler einrichten, um Ihr Team per E-Mail, Slack, PagerDuty oder einem benutzerdefinierten Webhook zu benachrichtigen, damit Sie Problemen schnell zuvorkommen und Fehler beheben können, bevor Datenkonsumenten beeinträchtigt werden.

batch and streaming

Batch und Streaming

Databricks Workflows bietet Ihnen eine einzige Lösung zur Orchestrierung von Aufgaben in jedem Szenario im Lakehouse. Verwenden Sie eine geplante Workflow-Ausführung für wiederkehrende Jobs, die Batch zu voreingestellten Zeiten durchführen, oder implementieren Sie Echtzeit-Datenpipelines, die kontinuierlich ausgeführt werden. Sie können mithilfe Triggern bei Dateieingang auch einen Workflow festlegen, der ausgeführt wird, wenn neue Daten verfügbar gemacht werden.

efficient compute

Effizientes Compute

Durch die Orchestrierung mit Databricks Workflows erhalten Sie ein besseres Preis-Leistungs-Verhältnis für Ihre automatisierten Produktions-Workloads. Erzielen Sie erhebliche Kosteneinsparungen, wenn Sie automatisierte Job-Cluster nutzen, die geringere Kosten verursachen und nur dann ausgeführt werden, wenn ein Job geplant ist, sodass Sie nicht für ungenutzte Ressourcen bezahlen müssen. Darüber hinaus können Sie mit gemeinsam genutzten Job-Clustern Compute-Ressourcen für mehrere Aufgaben wiederverwenden und so die Ressourcennutzung optimieren.

workflows

Nahtlose User Experience

Definieren Sie Workflows in Ihrer bevorzugten Umgebung – erstellen Sie Workflows ganz einfach direkt in der Databricks Workspace-Benutzeroberfläche oder mit Ihrer bevorzugten IDE. Definieren Sie Aufgaben, die ein versionskontrolliertes Notebook in einem Databricks-Repository oder in einem Remote-Git-Repository verwenden, und halten Sie sich an bewährte DevOps-Methoden wie CI/CD.

grip

„Es ist einfach, einen Cluster einmal hochzufahren, ihn für alle verschiedenen Schritte wiederzuverwenden und ihn am Ende wieder herunterzufahren.“

– Jimmy Cooper, Mitgründer und CTO, Grip
Mehr Informationen

Integrationen

Databricks Workflows bietet eine nahtlose Integration mit führenden Branchenpartnern, um Ihnen die Flexibilität zu geben, Workflows zu definieren, die Ihren Anforderungen mit der Datenlösung Ihrer Wahl entsprechen.

dbt labs logo
Arcion
Matillion
Azure Data Factory logo
apache airflow
fivetran-logo-small.svg
dbt labs logo
Arcion
Matillion
Azure Data Factory logo
apache airflow
fivetran-logo-small.svg

FAQ

Orchestrierung im Kontext von Daten, Analytics und KI bezieht sich auf die Automatisierung, Bereitstellung und Verwaltung von Workflows wie ETL-Datenpipelines und ML-Modelltraining. Die Orchestrierung ist ein wichtiger Teil der Datenvorgänge und unerlässlich, um Datenlösungen in die Produktion zu bringen. Bei der Orchestrierung geht es darum, die Abhängigkeiten zwischen Workflow-Aufgaben zu verwalten und die Ausführung dieser Aufgaben zu planen. Die Orchestrierung umfasst auch die Zuweisung von Compute-Ressourcen und die Überwachung von Workflows.

Möchten Sie loslegen?