Erweitern des Zugangs zur Wirtschaft

Block ist ein globales Technologieunternehmen, das sich für zugängliche Finanzdienstleistungen und wirtschaftliche Teilhabe einsetzt. Seine Tochtergesellschaften – darunter Square, Cash App, Spiral, TBD und TIDAL – verfolgen dasselbe Ziel: mehr Menschen den Zugang zur Wirtschaft zu eröffnen. Durch den Einsatz von Machine Learning (ML) und künstlicher Intelligenz (KI) identifiziert und verhindert Block proaktiv Betrug und sorgt so für sichere Kundentransaktionen. Zugleich verbessert das Unternehmen die Nutzererfahrung durch personalisierte Empfehlungen: Identity Resolution liefert ein vollständiges Bild der Kundenaktivitäten über alle Services hinweg. Intern setzt Block auf Automatisierung und Predictive Analytics, um Abläufe zu optimieren und Finanzdienstleistungen effizienter bereitzustellen. Als Grundlage dafür nutzt Block die Databricks Data + AI Platform und bündelt darauf seine Daten-, KI- und Analytics-Workloads. Damit ist das Unternehmen für den bevorstehenden Innovationsschub durch Automatisierung gerüstet und festigt seine Rolle als Vorreiter für KI-gestützte Finanzdienstleistungen – und für einen inklusiven Zugang zu finanziellen Chancen als Motor wirtschaftlichen Wachstums.

Verlangsamte Innovationen durch das Verwalten von Datenvolumen und Datensilos

Im Rahmen seiner Datenstrategie zur Verkürzung der Markteinführungszeit startete Block eine aktive Migration seiner Datenverarbeitung zur Cloud. Ein erhebliches Hindernis war die effiziente Verwaltung großer Datenmengen, die für Graph-bezogene Anwendungsfälle von entscheidender Bedeutung sind. Dies umfasste den Umgang mit Graph-Datenbanken, die Nutzung verschiedener Tools für Machine Learning und die Optimierung der Performance für Petabytes an Daten. Darüber hinaus ergaben sich betriebliche Ineffizienzen und Bedenken hinsichtlich der Skalierbarkeit aus der Fragmentierung der Daten in verschiedenen Geschäftsbereichen. Umständliche Datenübertragungen zwischen diesen Systemen in Kombination mit der isolierten Natur der Data-Governance-Richtlinien verkomplizierten die Angelegenheit zusätzlich und stellten Herausforderungen bei der Prüfung und Durchsetzung von Richtlinien dar.

Um diese Herausforderungen anzugehen und Graph-Analysen, insbesondere im OLAP-Modus (Online Analytical Processing), zu beschleunigen, entschied sich Block für die Migration zu Spark und wählte Databricks als sein Lakehouse. Dank dieser Entscheidung konnte das Unternehmen alle Daten- und KI-Workloads auf einer einheitlichen Plattform zu konsolidieren, sodass Data Scientists, Data Engineers und KI-Anwender Daten effizient von einem zentralen Standort aus nutzen können.

Joseph Kesting, Software Engineer bei Block, erklärte: „Die Einführung von Databricks als zentralisierte Plattform für die Speicherung und den Austausch von Daten über Geschäftsbereiche hinweg hat Block in die Lage versetzt, einen florierenden Datenmarktplatz zu etablieren.“ „Diese einzigartige Konfiguration ermöglicht einzelnen Geschäftsbereichen, ihre eigenen Kontrollen auszuüben, während sie von den Ressourcen des Konzerns profitieren, und gewährt ihnen Zugang zu diversen Datensätzen aus verschiedenen Bereichen.“

Derzeit verwaltet Block 2 PB an Daten auf der Data + AI Platform von Databricks und rechnet damit, bis zum Jahresende 4 PB zu erreichen. Etwa 70 verschiedene Teams in verschiedenen Geschäftsbereichen, wie TIDAL, Cash App, Square und TBD, und 300 aktive Power-User nutzen die Plattform aktiv.

Einheitliche Governance beschleunigt die Zusammenarbeit

Eine der entscheidenden Anforderungen von Block war die ordnungsgemäße Implementierung und Einheitlichkeit der Data-Governance-Richtlinien, um Compliance von Datenschutzgesetzen wie DSGVO und CCPA sowohl für Kunden als auch für interne Teams sicherzustellen. Das Ziel hierbei war, einen sicheren und konformen Zugriff auf personenidentifizierbare Informationen (PII) zu ermöglichen. Um diesen Herausforderungen zu begegnen, hat Block für eine zentralisierte Governance Unity Catalog eingeführt.

Laut Kesting „fiel die Einführung von Databricks mit der Einführung von Unity Catalog zusammen, sodass keine Evaluierung alternativer Data-Governance-Tools erforderlich war. Die nahtlose Integration mit Databricks war der Hauptgrund für unsere Wahl von Unity Catalog.“

Mit Unity Catalog erreichte Block eine einheitliche Ansicht seines Datenbestands über verschiedene Geschäftsbereiche hinweg und vereinfachte so die Verwaltung von Zugriffsberechtigungen. Unity Catalog bot durch die Zuweisung von Speicherorten pro Team für ihre Kataloge und Schemata auch die Flexibilität, die Kostenzuordnung zwischen den Teams zu verteilen. Dieser Ansatz ermöglichte es verschiedenen Geschäftsbereichen, ihre verteilten Data-Governance-Richtlinien beizubehalten und gleichzeitig einen optimierten Prozess zu gewährleisten.

„Unity Catalog spielte eine entscheidende Rolle bei der Erleichterung des sicheren und kontrollierten Zugriffs auf vertrauliche PII-Daten für verschiedene Geschäftsbereiche. Unity Catalog ermöglichte die Einschränkung des Datenzugriffs durch dedizierte Arbeitsbereiche und stellte so Compliance der ursprünglichen Dienstbedingungen für die Datenerfassung sicher. Diese Compliance wurde nicht nur für die Geschäftseinheiten durchgesetzt, die die Daten erfassten, sondern auch für andere Einheiten, die darauf zugreifen“, so Kesting. Block plant, diese Fähigkeit durch die Implementierung von Reinraumlösungen mithilfe von Delta Sharing in Unity Catalog zu verbessern und so eine sichere und datenschutzkonforme Zusammenarbeit zwischen Geschäftsbereichen und dem Partnerökosystem zu ermöglichen.

Block beabsichtigt außerdem, die Datenherkunft zu nutzen, um das Recht auf Vergessen einzuhalten. Dies beinhaltet die Rückverfolgung der Verwendung von PII-Daten im gesamten Block-Ökosystem, um die Einhaltung der Datenschutzbestimmungen sicherzustellen.

Erschließung des Geschäftswerts durch Kostensenkung und Effizienz

Die Migration von Graph-Anwendungsfällen zu Databricks erwies sich für Block als bahnbrechend und führte zu erheblichen Verbesserungen der Compute-Performance und der Kostenoptimierung. Durch den Einsatz von Databricks gelang es Block, die Compute-Kosten um das beeindruckende Zwölffache zu senken und gleichzeitig aufgrund von Skalierungsbeschränkungen zuvor unerreichbare Anwendungsfälle zu erschließen. Laut Kesting „hat die Beseitigung dieser Einschränkungen mit Databricks neue Möglichkeiten für Innovationen und Analysen eröffnet.“

Die Implementierung von Unity Catalog innerhalb des Datenökosystems von Block brachte transformative Vorteile. Es erleichterte die Schaffung eines dynamischen „Marketplace“ für den Datenaustausch zwischen verschiedenen Geschäftseinheiten und förderte die Zusammenarbeit sowie das Teilen von Wissen. Dies spielte eine entscheidende Rolle bei der Reduzierung der Datenausgangskosten im Zusammenhang mit der Datenübertragung zwischen Cloud-Anbietern um 20 %.

Unity Catalog verbessert außerdem die Einfachheit der IAM-Richtlinienverwaltung für Block. Zuvor musste das Unternehmen einen komplexen zweistufigen Genehmigungsprozess durchlaufen, bei dem IAM-Richtlinien an Rollen und dann an S3-Buckets angehängt wurden. Dies führte häufig zu Einschränkungen der Bucket-Richtlinien und erforderte eine Refakturierung von Berechtigungen. Mit Unity Catalog konnte Block diesen Prozess jedoch optimieren, indem das Unternehmen Zugriffsberechtigungen auf Untergruppenebene an einem einzigen Ort konfigurierte. Die betriebliche Effizienz des Data Sharing verbesserte sich erheblich und reduzierte den Zeitaufwand von Tagen auf Sekunden. Darüber hinaus förderte die Einführung von Unity Catalog die Erfassung von Daten in S3-Buckets, was zu einer verbesserten Latenz und der Zusammenlegung von Compute und Speicher führte.

Darüber hinaus ermöglichte Unity Catalog Block die einfachere Zuweisung des Dateneigentums und die Dezentralisierung der Entscheidungsfindung. Datensätze konnten ihren jeweiligen Besitzern zugeordnet werden, sodass diese bestimmen können, wie die Daten geteilt werden. Diese Verlagerung von einem zentralisierten Team, das die Data Governance vorgibt, zu den tatsächlichen Dateneigentümern, die die Entscheidungen treffen, verbesserte die Einhaltung der Vorschriften und die Audit-Berichterstattung, wodurch die Data Governance und die Verantwortlichkeit insgesamt verbessert wurden.

Mit Blick auf die Zukunft liegt ein großer Schwerpunkt auf der Nutzung von generativer KI und von LLMs in der gesamten Daten- und KI-Strategie von Block. Unity Catalog wird eine wichtige Rolle bei der Umsetzung dieser Strategie spielen, da die Möglichkeit, ML-Modelle zusammen mit den Daten von einem einzigen Standort aus zu steuern, KI- und Analytics-Initiativen beschleunigen wird.