Bayer Consumer Health skaliert globale Self-Service-Analytics mit Unity Catalog

Bayer ist ein Life-Science-Unternehmen und ein weltweit führendes Unternehmen in den Bereichen Gesundheitswesen und Ernährung, das auf über 100 Märkten in 83 Ländern tätig ist. Geleitet von seiner Mission – Gesundheit für alle, Hunger für niemanden – hat sich Bayer zum Ziel gesetzt, seinen 92.500 Mitarbeitern einen sicheren, auffindbaren Zugriff auf Daten in großem Umfang zu ermöglichen. Vor fünf Jahren machten fragmentierte Systeme dies nahezu unmöglich, und die Teams der Consumer Health Division litten darunter, dass sie Daten nicht richtig für die Entscheidungsfindung nutzen konnten. Durch die Einführung von Databricks und Unity Catalog baute Bayer Consumer Health eine einzige, verwaltete Datenplattform auf, die Self-Service-Analytics ohne Datensilos ermöglicht.

Mit Databricks bauen wir wiederverwendbare Kern-Assets auf, ermöglichen Self-Service-Analytics und fördern eine datengesteuerte Organisation, die Einblicke für alle und keine Datensilos bietet.– André Wuthenow, Principal Cloud Platform Architect, Bayer 

Globale Fragmentierung und „Datentourismus“

Als global aufgestelltes Unternehmen war Bayers früheres datenanalyse-Setup über die Märkte hinweg fragmentiert, wobei jeder Markt seinen eigenen Tech-Stack für unterschiedliche Zwecke nutzte. Wenn Daten geteilt werden mussten, wurden sie oft und manchmal mehrfach kopiert, was Bayer als „Datentourismus“ bezeichnet. Der Datentourismus führte zu erhöhten Kosten für die Datenverwaltung und einer langsameren Implementierung neuer Lösungen. Diese Komplexität führte zusammen mit Performanceproblemen zu einer geringen Akzeptanz der Lösungen, die die IT von Bayer bereitstellen konnte, und beeinträchtigte die Fähigkeit des Unternehmens, datengesteuerte Entscheidungen zu treffen. Über Kosten und Performance hinaus machte es der Datentourismus schwierig, nachzuvollziehen, wer welche Daten nutzte, konsistente Zugriffskontrollen durchzusetzen oder vertrauenswürdige Assets marktübergreifend zuverlässig wiederzuverwenden.

Darüber hinaus stand Bayer vor erheblichen Herausforderungen bei der Nutzung der neuesten Datenanalyse-Tools, wie zum Beispiel Machine Learning. „Die Systeme, die zur Unterstützung des machine learning erforderlich waren, verursachten zusätzliche Kosten und einen höheren Wartungsaufwand, da wir das machine learning auf eine völlig dedizierte Plattform mit einem anderen Technologie-Stack, in einem anderen Rechenzentrum und auf einem anderen Skalierertyp verlagern mussten – sodass wir machine learning zu diesem Zeitpunkt nicht wirklich richtig nutzen konnten“, sagte André Wuthenow, Principal Cloud Platform Architect bei Bayer.

Bei der Suche nach einer Lösung für diese Herausforderungen wusste die Organisation für Data & Analytics von Bayer Consumer Health, dass sie eine globale, skalierbare Datenplattform aufbauen musste. Mit über 2.000 Geschäftsanwendern und 25 Zonen in drei globalen Regionen, unterstützt von mehr als 250 Machine-Learning- und Dateningenieuren, benötigte Bayer ein cloudbasiertes System, das wo immer möglich Serverless-Technologie nutzen konnte. „Es war wichtig sicherzustellen, dass unsere Lösungen mit jedem Datenvolumen und jeder Anzahl gleichzeitiger Benutzer skalieren, um sicherzustellen, dass jeder die beste Performance und sofortige Ergebnisse erhält“, so Wuthenow.  Eine cloudbasierte Lösung wäre auch finanziell verantwortungsvoll, da sie sicherstellt, dass Bayer nur für das bezahlt, was es nutzt, und dem Unternehmen die Flexibilität geben würde, neue Dienste in kleinem Scale auszuprobieren, bevor sie als globaler Standard eingeführt werden.

Vorlagenbasierte Umgebungen in Databricks

Bayer Consumer Health wählte Databricks als Grundlage für seine Datenplattform, die durch Azure Services für Data Ingestion, Speicherung und Weiteres erweitert wird. Die gesamte Datentransformation und Datenbereinigung erfolgt in Databricks. Dadurch wird sichergestellt, dass Rohdaten in wiederverwendbare, qualitätsgeprüfte und vertrauenswürdige Daten-Assets umgewandelt werden. Mit dieser Lösung kann Bayer seinen Entwicklern auch Azure ML und andere Azure KI-Services zur Verfügung stellen.

Databricks bietet eine einheitliche, integrierte Plattform, um die Anforderungen der Data Engineers von Bayer zu erfüllen, unabhängig davon, ob sie BI-Berichte, ML-Lösungen oder analytische Anwendungen erstellen. Mit Databricks als einheitlicher Plattform kann Bayer mehrere Projekte mit vielen parallel arbeitenden Teams durchführen, ohne dass diese sich gegenseitig negativ beeinflussen. Jedes Team kann den Lebenszyklus neuer Datenprodukte unabhängig verwalten. Da man wusste, dass die lokalen Märkte einzigartige Datenanforderungen haben würden, die sich von globalen Analytics unterscheiden, wurde ein System benötigt, das alle Daten zentralisiert, um mehrfache Kopien und „Datentourismus“ zu vermeiden, und gleichzeitig jedem Team die Flexibilität bietet, die Daten auf eine für ihre Märkte passende Weise zu nutzen. „Wir haben Databricks genutzt, um vorlagenbasierte Umgebungen mit dedizierten Dienstinstanzen zu erstellen, die eine ordnungsgemäße Ressourcenisolierung und ein Lebenszyklusmanagement gewährleisten“, so Wuthenow.  

Unity Catalog stellt die zentralisierte Governance- und Metadatenschicht für diese Umgebungen bereit, sodass zentrale Daten-Assets einmalig verwaltet werden können und Teams sie sicher über Projekte und Regionen hinweg nutzen und wiederverwenden können.

Schnellere Implementierung von Datenprodukten und Self-Service-Reporting

Mit der Einführung von Unity Catalog als Ersatz für seinen Hive Metastore wechselte Bayer von einem Push-basierten zu einem Pull-basierten Ansatz für das Data Sharing. Datenkonsumenten benötigen nur die Berechtigung, auf verwaltete und vertrauenswürdige Core Data Assets zuzugreifen. Somit kann jedes Datendomänenteam selbst definieren, was mit wem geteilt wird, ohne Daten zwischen Umgebungen kopieren zu müssen. Durch die Einführung von Serverless in Kombination mit Unity Catalog konnte Bayer Consumer Health eine sichere Verbindung von seiner Entwicklungsumgebung zu den Produktions-Core-Data-Assets herstellen. Dies ermöglichte es Data Engineers, neue Lösungen in ihrer Entwicklungsumgebung mit Daten in Produktionsqualität zu erstellen. Das führte zu einer schnelleren Markteinführung für neue Analytics-Lösungen, während gleichzeitig Maßnahmen gegen die Datenexfiltration durchgesetzt wurden. „Unity Catalog war für uns ein Game Changer“, so Wuthenow. „Das neue Modell macht es uns leicht sicherzustellen, dass Datenprodukte in allen Phasen über die neuesten verfügbaren Daten verfügen, was die Entwicklung und das Testen neuer Lösungen beschleunigt, da die Engineers Daten in Produktionsqualität zum Testen ihrer Lösungen verwenden können.“

Bayer Consumer Health hat zudem einen zentralen Reporting-Endpunkt eingeführt, der auf alle ihre Kataloge verweist. Da die globalen Core Data Assets in einer einzigen Region verwaltet werden, können Mitarbeiter über einen einzigen, verwalteten Zugangspunkt Daten domänenübergreifend leicht entdecken und kombinieren. Dadurch wird sichergestellt, dass die Self-Service-Analytics skaliert, ohne dass erneut Silos oder inkonsistente Definitionen eingeführt werden.

Mit Databricks und Unity Catalog hat Bayer Consumer Health gemeinsame Standards für Datenzugriff, Benennung und Sicherheit etabliert und gleichzeitig die Flexibilität bewahrt. Da die Governance in die Plattform integriert ist und nicht erst nachträglich angewendet wird, lässt sich die Self-Service-Analytics zuverlässig skalieren. Wuthenow formuliert es so: „Wir bauen wiederverwendbare Kern-Assets auf, ermöglichen Self-Service-Analytics und fördern eine datengesteuerte Organisation, die Einblicke für alle und keine Datensilos bietet.“

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag