Erweitern des Zugangs zur Wirtschaft
Block definiert Finanzdienstleistungen mit Databricks neu
Reduzierung der Compute-Kosten
Reduzierung der Kosten für den Datenausgang
verwaltete und gesteuerte Daten
„Unity Catalog teilt die Verwaltung von Berechtigungen in ihre wichtigen Teile auf, indem es die durch IAM-Richtlinien und andere Datenkontrollplattformen verursachte Komplexität beseitigt, sodass wir uns auf das konzentrieren können, was für unseren Geschäftsanwendungsfall wichtig ist.“
Block ist ein weltweit tätiges Technologieunternehmen, das sich für zugängliche Finanzdienstleistungen einsetzt und dabei die wirtschaftliche Stärkung in den Vordergrund stellt. Die Tochtergesellschaften, darunter Square, Cash App, Spiral, TBD und TIDAL, setzen sich für die Erweiterung des wirtschaftlichen Zugangs ein. Durch den Einsatz von Machine Learning (ML) und künstlicher Intelligenz (KI) identifiziert und verhindert Block proaktiv Betrug und sorgt so für sichere Kundentransaktionen. Darüber hinaus verbessert Block das Benutzererlebnis durch die Bereitstellung personalisierter Empfehlungen und nutzt die Identitätsauflösung, um ein umfassendes Verständnis der Kundenaktivitäten in seinen verschiedenen Diensten zu gewinnen. Intern optimiert Block den Betrieb durch Automatisierung und Vorhersageanalysen und steigert so die Effizienz bei der Erbringung von Finanzdienstleistungen. Um seine Fähigkeiten zu stärken, nutzt Block die Data-Intelligence-Plattform von Databricks und konsolidiert und rationalisiert seine Daten-, KI- und Analytics-Workloads. Dieser strategische Schritt bereitet Block auf den bevorstehenden automatisierungsgetriebenen Innovationswandel vor und festigt seine Position als Wegbereiter im Bereich KI-gestützter Finanzdienstleistungen, indem das Unternehmen den integrativen Zugang zu finanziellen Möglichkeiten für Wirtschaftswachstum erleichtert.
Verlangsamte Innovationen durch das Verwalten von Datenvolumen und Datensilos
Im Rahmen seiner Datenstrategie zur Verkürzung der Markteinführungszeit startete Block eine aktive Migration seiner Datenverarbeitung zur Cloud. Ein erhebliches Hindernis war die effiziente Verwaltung großer Datenmengen, die für Graph-bezogene Anwendungsfälle von entscheidender Bedeutung sind. Dies umfasste den Umgang mit Graph-Datenbanken, die Nutzung verschiedener Tools für Machine Learning und die Optimierung der Performance für Petabytes an Daten. Darüber hinaus ergaben sich betriebliche Ineffizienzen und Bedenken hinsichtlich der Skalierbarkeit aus der Fragmentierung der Daten in verschiedenen Geschäftsbereichen. Umständliche Datenübertragungen zwischen diesen Systemen in Kombination mit der isolierten Natur der Data-Governance-Richtlinien verkomplizierten die Angelegenheit zusätzlich und stellten Herausforderungen bei der Prüfung und Durchsetzung von Richtlinien dar.
Um diese Herausforderungen anzugehen und Graph-Analysen, insbesondere im OLAP-Modus (Online Analytical Processing), zu beschleunigen, entschied sich Block für die Migration zu Spark und wählte Databricks als sein Lakehouse. Dank dieser Entscheidung konnte das Unternehmen alle Daten- und KI-Workloads auf einer einheitlichen Plattform zu konsolidieren, sodass Data Scientists, Data Engineers und KI-Anwender Daten effizient von einem zentralen Standort aus nutzen können.
Joseph Kesting, Software Engineer bei Block, erklärte: „Durch die Einführung von Databricks als zentralisierte Plattform zum Speichern und Teilen von Daten über Geschäftsbereiche hinweg war Block in die Lage, einen florierenden Marketplace aufzubauen. Dieses einzigartige Setup ermöglicht es einzelnen Geschäftseinheiten, ihre eigenen Kontrollen anzuwenden und gleichzeitig von den Ressourcen des Konglomerats zu profitieren, indem ihnen Zugriff auf verschiedene Datasets verschiedener Einheiten gewährt wird.“
Derzeit verwaltet Block 2 PB an Daten auf der Data-Intelligence-Plattform von Databricks und rechnet damit, bis zum Jahresende 4 PB zu erreichen. Etwa 70 verschiedene Teams in verschiedenen Geschäftsbereichen, wie TIDAL, Cash App, Square und TBD, und 300 aktive Power-User nutzen die Plattform aktiv.
Einheitliche Governance beschleunigt die Zusammenarbeit
Eine der entscheidenden Anforderungen von Block war die ordnungsgemäße Implementierung und Einheitlichkeit der Data-Governance-Richtlinien, um Compliance von Datenschutzgesetzen wie DSGVO und CCPA sowohl für Kunden als auch für interne Teams sicherzustellen. Das Ziel hierbei war, einen sicheren und konformen Zugriff auf personenidentifizierbare Informationen (PII) zu ermöglichen. Um diesen Herausforderungen zu begegnen, hat Block für eine zentralisierte Governance Unity Catalog eingeführt.
Laut Kesting „fiel die Einführung von Databricks mit der Einführung von Unity Catalog zusammen, sodass keine Evaluierung alternativer Data-Governance-Tools erforderlich war. Die nahtlose Integration mit Databricks war der Hauptgrund für unsere Wahl von Unity Catalog.“
Mit Unity Catalog erreichte Block eine einheitliche Ansicht seines Datenbestands über verschiedene Geschäftsbereiche hinweg und vereinfachte so die Verwaltung von Zugriffsberechtigungen. Unity Catalog bot durch die Zuweisung von Speicherorten pro Team für ihre Kataloge und Schemata auch die Flexibilität, die Kostenzuordnung zwischen den Teams zu verteilen. Dieser Ansatz ermöglichte es verschiedenen Geschäftsbereichen, ihre verteilten Data-Governance-Richtlinien beizubehalten und gleichzeitig einen optimierten Prozess zu gewährleisten.
„Unity Catalog spielte eine entscheidende Rolle bei der Erleichterung des sicheren und kontrollierten Zugriffs auf vertrauliche PII-Daten für verschiedene Geschäftsbereiche. Unity Catalog ermöglichte die Einschränkung des Datenzugriffs durch dedizierte Arbeitsbereiche und stellte so Compliance der ursprünglichen Dienstbedingungen für die Datenerfassung sicher. Diese Compliance wurde nicht nur für die Geschäftseinheiten durchgesetzt, die die Daten erfassten, sondern auch für andere Einheiten, die darauf zugreifen“, so Kesting. Block plant, diese Fähigkeit durch die Implementierung von Reinraumlösungen mithilfe von Delta Sharing in Unity Catalog zu verbessern und so eine sichere und datenschutzkonforme Zusammenarbeit zwischen Geschäftsbereichen und dem Partnerökosystem zu ermöglichen.
Block beabsichtigt außerdem, die Datenherkunft zu nutzen, um das Recht auf Vergessen einzuhalten. Dies beinhaltet die Rückverfolgung der Verwendung von PII-Daten im gesamten Block-Ökosystem, um die Einhaltung der Datenschutzbestimmungen sicherzustellen.
Erschließung des Geschäftswerts durch Kostensenkung und Effizienz
Die Migration von Graph-Anwendungsfällen zu Databricks erwies sich für Block als bahnbrechend und führte zu erheblichen Verbesserungen der Compute-Performance und der Kostenoptimierung. Durch den Einsatz von Databricks gelang es Block, die Compute-Kosten um das beeindruckende Zwölffache zu senken und gleichzeitig aufgrund von Skalierungsbeschränkungen zuvor unerreichbare Anwendungsfälle zu erschließen. Laut Kesting „hat die Beseitigung dieser Einschränkungen mit Databricks neue Möglichkeiten für Innovationen und Analysen eröffnet.“
Die Implementierung von Unity Catalog innerhalb des Datenökosystems von Block brachte transformative Vorteile. Es erleichterte die Schaffung eines dynamischen „Marketplace“ für den Datenaustausch zwischen verschiedenen Geschäftseinheiten und förderte die Zusammenarbeit sowie das Teilen von Wissen. Dies spielte eine entscheidende Rolle bei der Reduzierung der Datenausgangskosten im Zusammenhang mit der Datenübertragung zwischen Cloud-Anbietern um 20 %.
Unity Catalog verbessert außerdem die Einfachheit der IAM-Richtlinienverwaltung für Block. Zuvor musste das Unternehmen einen komplexen zweistufigen Genehmigungsprozess durchlaufen, bei dem IAM-Richtlinien an Rollen und dann an S3-Buckets angehängt wurden. Dies führte häufig zu Einschränkungen der Bucket-Richtlinien und erforderte eine Refakturierung von Berechtigungen. Mit Unity Catalog konnte Block diesen Prozess jedoch optimieren, indem das Unternehmen Zugriffsberechtigungen auf Untergruppenebene an einem einzigen Ort konfigurierte. Die betriebliche Effizienz des Data Sharing verbesserte sich erheblich und reduzierte den Zeitaufwand von Tagen auf Sekunden. Darüber hinaus förderte die Einführung von Unity Catalog die Erfassung von Daten in S3-Buckets, was zu einer verbesserten Latenz und der Zusammenlegung von Compute und Speicher führte.
Darüber hinaus ermöglichte Unity Catalog Block die einfachere Zuweisung des Dateneigentums und die Dezentralisierung der Entscheidungsfindung. Datensätze konnten ihren jeweiligen Besitzern zugeordnet werden, sodass diese bestimmen können, wie die Daten geteilt werden. Diese Verlagerung von einem zentralisierten Team, das die Data Governance vorgibt, zu den tatsächlichen Dateneigentümern, die die Entscheidungen treffen, verbesserte die Einhaltung der Vorschriften und die Audit-Berichterstattung, wodurch die Data Governance und die Verantwortlichkeit insgesamt verbessert wurden.
Mit Blick auf die Zukunft liegt ein großer Schwerpunkt auf der Nutzung von generativer KI und von LLMs in der gesamten Daten- und KI-Strategie von Block. Unity Catalog wird eine wichtige Rolle bei der Umsetzung dieser Strategie spielen, da die Möglichkeit, ML-Modelle zusammen mit den Daten von einem einzigen Standort aus zu steuern, KI- und Analytics-Initiativen beschleunigen wird.
