Wie Delta Sharing eine sichere End-to-End-Zusammenarbeit ermöglicht

In der heutigen digitalen Landschaft ist der sichere Datenaustausch entscheidend für betriebliche Effizienz und Innovation. Databricks und die Linux Foundation haben Delta Sharing als ersten Open-Source-Ansatz für den Datenaustausch über Daten, Analysen und AI hinweg entwickelt. Databricks bietet einen sicheren Datenaustausch und ermöglicht ein nahtloses Teilen über Plattformen, Clouds und Regionen hinweg. Unternehmen aller Größen vertrauen auf Delta Sharing, das ein breites Spektrum an Anwendungen und unterschiedlichen Datenformaten unterstützt. Diese Flexibilität macht es zu einem zuverlässigen Werkzeug für Organisationen, die das volle Potenzial ihrer Datenbestände ausschöpfen wollen.

In diesem Blog werden wir die Sicherheitsarchitektur von Delta Sharing anhand von drei verschiedenen Sharing-Szenarien untersuchen – Databricks-Kunde zu Databricks-Kunde (D2D), Databricks-Kunde zu Open Sharing (D2O) und Cloud-übergreifender Datenaustausch. Wir werden die Vorteile der Implementierung von Delta Sharing als Teil einer modernen Datenkollaborationsstrategie zusammenfassen, wie z. B. eine verbesserte betriebliche Effizienz durch optimierten, sicheren Datenaustausch über verschiedene Plattformen und Clouds hinweg sowie die Reduzierung von Komplexität und Risiken. Dieses sichere Framework verkürzt die Zeit bis zur Erkenntnis, ermöglicht eine schnellere Entscheidungsfindung und gewährleistet gleichzeitig einen robusten Datenschutz, der das Vertrauen der Stakeholder stärkt. Darüber hinaus unterstützt die Flexibilität von Delta Sharing eine Vielzahl von Datenformaten und Anwendungen, sodass es sich auf sichere Weise an veränderte geschäftliche Anforderungen anpassen lässt. Jedes Szenario enthält einen Kundenbericht, der aus erster Hand die bahnbrechende Wirkung der Lösung hervorhebt. Wir werden uns in diesem Blog auf Databricks Delta Sharing konzentrieren, bei dem der Datenanbieter die verwaltete Version der Databricks-Plattform nutzt.

Databricks-zu-Databricks-Datenaustausch (D2D)

Das D2D-Szenario veranschaulicht den sicheren, optimierten Datenaustausch zwischen zwei Databricks-Kunden innerhalb des Databricks-Ökosystems. Es bietet von Databricks verwaltete Verbindungen und ein tokenfreies Austauschsystem, was sowohl Einfachheit als auch Sicherheit garantiert.

Beim D2D-Sharing profitieren Kunden von der nativen Integration von Delta Sharing in den Unity Catalog (UC), der eine einheitliche Governance und Sicherheit für Sharing-Vorgänge bietet. Es ist wichtig zu beachten, dass sich das Sharing nicht nur auf Daten beschränkt – Unity Catalog geht über Datensätze hinaus und umfasst auch Volumes, Notebooks und AI-Modelle, was ein beeindruckendes Funktionsspektrum zeigt. Delta Sharing für das kontointerne Teilen ist standardmäßig aktiviert, während das externe Teilen verfügbar ist, sobald es mit den erforderlichen Administratorrechten aktiviert wurde. Um Databricks Delta Sharing einzurichten, benötigen Sie lediglich mindestens einen Databricks-Workspace, der für Unity Catalog und Metastore aktiviert ist, sowie eine Administratorrolle oder die Berechtigungen CREATE SHARE und CREATE RECIPIENT (Siehe Dokumentation zur Kontoeinrichtung).

Unity Catalog bietet eine durchgängige, einheitliche Governance-Ebene – von den ersten Schritten der Erstellung eines Empfängers und der Einrichtung von Shares bis hin zum entscheidenden Schritt der Zugriffserteilung. Der Delta Sharing-Dienst verarbeitet API-Anfragen, führt gründliche Autorisierungsprüfungen durch und führt detaillierte Aktivitätsprotokolle. All diese Schritte stellen sicher, dass die Abläufe ebenso transparent wie sicher sind – wie eine gut geölte Maschine, auf die Sie sich verlassen können, damit Ihr Sharing-Ökosystem reibungslos läuft.

Datenzugriff: Wenn wir tiefer in den Datenzugriff nach der Autorisierung eintauchen, ist Unity Catalog erneut ein entscheidendes Element. Nach Erhalt der Autorisierung durch Unity Catalog wird die Zugriffsmethode – entweder Cloud-Token oder vorsignierte URLs – basierend auf Faktoren wie Asset-Typ und Sharing-Vereinbarung bestimmt. Bei Cloud-Token wird vom UC des Anbieters ein schreibgeschütztes, im Berechtigungsumfang eingeschränktes SAS-Token generiert, das dann an die Compute-Ebene des Empfängers weitergeleitet wird. Dies ermöglicht einen sicheren, zeitlich begrenzten Speicherzugriff auf das Stammverzeichnis der Tabelle. Ebenso wird bei vorsignierten URLs eine Liste relevanter URLs erstellt und an die Compute-Ebene des Empfängers gesendet, was einen sicheren, temporären Zugriff auf die Speicherdateien ermöglicht. Durch den strategischen Einsatz von Sicherheitsfunktionen bei der Nutzung verschiedener Cloud-Dienste, wie z. B. Azure-SAS-Token und vorsignierten AWS-URLs, können Sie sicherstellen, dass nur autorisierte Personen in einer sicheren Umgebung über Regionen und Clouds hinweg auf die Daten zugreifen können. Zudem beschränken sich die Interaktionen auf die Control Planes von Empfänger und Anbieter. Es handelt sich um eine privilegierte Operation, die nicht von externen Akteuren ausgelöst werden kann, was vor externen Sicherheitsverletzungen schützt. Diese Methodik unterstreicht die Anpassungsfähigkeit des Systems und stellt sicher, dass der Datenaustausch sowohl flexibel als auch sicher ist und sich geschickt an eine Vielzahl von geschäftlichen Anforderungen anpasst.

Die Coastal Community Bank entschied sich für Delta Sharing, um die strengen und anspruchsvollen Anforderungen an Datenaustausch, Compliance und Sicherheit ihres Partnernetzwerks zu erfüllen. Coastal beauftragte Cavallo Technologies mit der Unterstützung bei der Entwicklung einer modernen Datenplattform. Rob Cavallo, Präsident von Cavallo Technologies, erklärt, dass Coastal eine flexible Lösung für die Gegenwart und die Zukunft benötigte. Lesen Sie die Fallstudie zur Coastal Community Bank.

„In gewisser Weise verlangte die Coastal [Community Bank] nach einem Paradoxon: Sie wollte eine einfache Zusammenarbeit ermöglichen und gleichzeitig die höchsten Sicherheitsstandards für Finanzdaten von Verbrauchern erfüllen. Es ist entscheidend, sicherzustellen, dass die Plattform für die heutigen Workloads leistungsstark und kosteneffizient ist und gleichzeitig flexibel genug, um zukünftige, heute noch unvorstellbare Anwendungsfälle zu bewältigen. Letztendlich war die Databricks Data Intelligence Platform die einzige Plattform, die wir gefunden haben, die uns genau das ermöglicht hat.“ —Rob Cavallo, Präsident von Cavallo Technologies

Sicherer Datenaustausch, über Tabellen hinaus

Delta Sharing unterstützt mehr als nur tabellarische Daten und verfolgt einen ganzheitlicheren Ansatz für die Datenkollaboration, indem es auch nicht-tabellarische Daten-Assets wie Volumes, Notebooks und AI-Modelle einbezieht. Diese Asset-Typen werden derzeit nur im D2D-Sharing-Framework unterstützt, wo sie das kollaborative Ökosystem bereichern. AI-Modelle werden auf ähnliche Weise wie Volumes geteilt, während Notebooks über einen einzigartigen Sharing-Mechanismus verfügen. Notebooks können von Empfängern über eine vorsignierte URL in der Vorschau angezeigt werden, wodurch der Inhalt für den sofortigen Zugriff als HTML in einem Pop-up-Fenster dargestellt wird. Für eine tiefere Integration können Notebooks auch in die Umgebung des Empfängers importiert werden, wobei base64-Codierung und API-Aufrufe für einen nahtlosen Übergang genutzt werden.

Das Teilen von AI-Modellen wird durch die Generierung eines sicheren, schreibgeschützten, im Berechtigungsumfang eingeschränktes SAS-Tokens ermöglicht, das vom UC des Anbieters erstellt und dann an die Compute-Ebene des Empfängers weitergeleitet wird. Dieser Ansatz gewährleistet einen sicheren und effizienten Zugriff und vermeidet überflüssige Kopien des Modells, indem er eine einmalige Kopie in der Model Registry im UC des Empfängers ermöglicht. Diese Kopie des Modells kann dann in mehreren Regionen bereitgestellt werden, um den Inferenzprozess zu optimieren, die Leistung durch geringere Latenzzeiten zu steigern und schnellere Antwortzeiten zu liefern, indem regionale Rechenzentren näher am Endnutzer genutzt werden. Das Entdecken, Aufrufen und Nutzen von freigegebenen Volumes und AI-Modellen mit Delta Sharing zeigt sowohl ähnliche als auch maßgeschneiderte Ansätze, die auf den jeweiligen Datentyp abgestimmt sind, und fördert eine sichere und vielseitige Plattform für den Datenaustausch und die Zusammenarbeit.

Databricks-zu-Open-Datenaustausch (D2O)

Beim Übergang zum Open-Sharing-Szenario hält D2O strenge Sicherheitsprotokolle ein, wenn ein Databricks-Kunde Daten mit externen Drittanbietern teilt, die nicht auf Databricks sind. D2O ermöglicht es Empfängern, sich über Delta Sharing-Connectors direkt mit den geteilten Daten zu verbinden. Diese unterstützen verschiedene Systeme wie pandas, Tableau, Apache Spark, Rust oder andere, die das offene Protokoll unterstützen, ohne dass zuvor eine bestimmte Compute-Plattform erforderlich ist.

Nach dem Erstellen eines Open-Empfängers in Databricks wird eine sichere, einmalige Aktivierungs-URL generiert, über die der Empfänger eine Anmeldedatendatei herunterladen kann, die eine Delta Sharing-Endpunktadresse und ein Token enthält. Im Falle einer Sicherheitsverletzung haben Anbieter die Möglichkeit, sofortige Maßnahmen zu ergreifen, wie z. B. das Ändern der Anmeldedaten eines Empfängers oder das Entziehen seiner Leseberechtigungen, um weitere Probleme zu verhindern.

Datenzugriffs-Workflow: Wenn ein Empfänger eine freigegebene Tabelle über einen dieser genannten Connectors abfragt, verifiziert Delta Sharing den Empfänger mithilfe von Token aus der Anmeldedatendatei und stellt vorsignierte URLs für den Zugriff auf die Daten bereit. Dieser Ansatz gewährleistet die Kompatibilität mit verschiedenen Open-Source-Connectors und schützt die Integrität und Sicherheit der freigegebenen Assets. (Erfahren Sie mehr über das Freigeben von und Zugreifen auf Daten.)

Cox Automotive Europe (Teil von Cox Automotive) ist das weltweit größte Automobilservice-Unternehmen, das Delta Sharing nutzt, um Daten, die außerhalb seines Enterprise-Data-Services-Teams freigegeben werden, zentral zu verwalten und zu prüfen und gleichzeitig eine robuste Sicherheit und Governance zu gewährleisten. Fallstudie von Cox Automotive lesen.

„Delta Sharing macht es einfach, Daten sicher mit Geschäftsbereichen und Tochtergesellschaften zu teilen, ohne sie zu kopieren oder zu replizieren. Es ermöglicht uns, Daten freizugeben, ohne dass der Empfänger eine Identität in unserem Workspace benötigt.“ —Robert Hamlet, Lead Data Engineer bei Cox Automotive

Cloud-übergreifende Datenfreigabe

Unternehmen setzen zunehmend auf Cloud-übergreifende Strategien. Angetrieben wird dies durch die Notwendigkeit, vielfältige Funktionen auf verschiedenen Cloud-Plattformen zu unterstützen, Partnerschaften zu erleichtern oder Daten von anderen Organisationen nach einer Übernahme zu integrieren. Dieser Wandel hin zu einer Multicloud-Umgebung unterstreicht, wie wichtig es für Unternehmen ist, robuste Lösungen wie Delta Sharing zu implementieren, um eine nahtlose und sichere Freigabe sowohl intern als auch extern zu ermöglichen. Die Implementierung einer Cloud-übergreifenden Strategie ist für unsere Kunden oft unerlässlich, um die Betriebskontinuität aufrechterzuhalten, Innovationen zu fördern und das Wachstum in einem vernetzten digitalen Ökosystem voranzutreiben, während sie gleichzeitig die einzigartigen Stärken jedes Cloud-Dienstes nutzen können.

Für viele unserer Kunden, die Cloud-übergreifende Strategien verfolgen, ist klar, dass die offenen, plattformübergreifenden Freigabefunktionen von Delta Sharing, die Multicloud-Umgebungen nahtlos unterstützen, ein klares Differenzierungsmerkmal und ein Vorteil sind. Delta Sharing ist gleichermaßen effektiv, unabhängig davon, ob Daten intern innerhalb einer einzelnen Cloud oder extern über mehrere Cloud-Plattformen hinweg freigegeben werden, und gewährleistet in beiden Szenarien einen sicheren und effizienten Datenaustausch. Databricks hat von vielen Kunden von ihren Anforderungen an die Datenfreigabe in Multicloud-Umgebungen gehört und erfahren, wie Delta Sharing dazu beiträgt, die Interoperabilität zu fördern und die Sicherheit in ihrem Cloud-Ökosystem zu verbessern.

Einer dieser Databricks-Kunden ist die Deutsche Börse, ein internationaler Börsenorganisator und Marktinfrastrukturanbieter. Nach der Implementierung von Delta Sharing, das ihnen die offene Freigabe und Zusammenarbeit mit ihren Kunden ermöglichte, waren die geschäftlichen Auswirkungen transformativ.

„Eine Plattform zu haben, die eine sichere Datenfreigabe mit feingranularen Zugriffskontrollen, höchsten Sicherheitsstandards und Datenschutzgarantien ermöglicht, eröffnet neue Möglichkeiten. Wir können jetzt Gespräche über maßgeschneiderte Lösungen führen, bei denen wir in der Vergangenheit gesagt hätten: ‚Leider möchten unsere Kunden ihre Daten und Modelle nicht mit uns teilen, oder wir möchten unsere granulareren Daten oder Modelle aus Vertraulichkeitsgründen nicht weitergeben.‘“ —Jan Stiebing, Head of Business Strategy and M&A bei der Deutschen Börse

In diesem Kundenbeispiel und in vielen anderen ist Delta Sharing in der Lage, Lücken bei der Datenfreigabe und Zusammenarbeit zu schließen, die einst als unüberwindbar galten, und das alles unter Einhaltung höchster Sicherheits- und Datenschutzstandards. Die Deutsche Börse bietet außerdem mehrere Marktdaten-Angebote auf dem Databricks Marketplace an.

Netzwerk- und Speicherkonfiguration

Delta Sharing ermöglicht eine sichere und nahtlose Datenfreigabe über verschiedene Cloud-Umgebungen hinweg und lässt sich nahtlos in die native Speichersicherheitsarchitektur der Cloud integrieren. Dies geschieht, ohne dass wesentliche Änderungen an Ihrem bestehenden Sicherheits-Framework vorgenommen werden müssen. Dieser Ansatz ist für Unternehmen konzipiert, die Databricks auf Cloud-Plattformen wie Azure, AWS und GCP nutzen, und ist auf die Anforderungen von Unity Catalog abgestimmt. Die Databricks Data Intelligence Platform unterstützt die Datenfreigabe über Cloud-Speicherlösungen (ADLS Gen2, S3, GCS) mit Schwerpunkt auf privaten Kommunikationskanälen oder IP-Adressen-Whitelisting für erhöhte Sicherheit.

Die unten beschriebene Netzwerk- und Speicherkonfiguration für Delta Sharing funktioniert sowohl in Intra-Cloud- als auch in Cross-Cloud-Szenarien. Die Intra-Cloud-Freigabe erleichtert den sicheren Datenaustausch innerhalb desselben Cloud-Ökosystems mithilfe von privaten Endpunkten, Speicher-Firewalls und Netzwerk-Gateways, wodurch sichergestellt wird, dass kein öffentlicher Zugriff zulässig ist. In Cross-Cloud-Freigabeszenarien nutzt Delta Sharing die Egress-IPs von NAT-Gateways und unterstützt bestehende Cloud-übergreifende private Verbindungen wie Site-to-Site-VPNs oder dedizierte Leitungen, um einen sicheren Datenzugriff über verschiedene Cloud-Plattformen und On-Premises-Netzwerke hinweg zu ermöglichen. Dieser umfassende und sichere Ansatz ermöglicht es einer Vielzahl von Netzwerkinfrastrukturen, effizient an Delta Sharing teilzunehmen, was sowohl die Flexibilität als auch die Sicherheit fördert.

Das obige Diagramm zeigt ein Beispiel für eine Cloud-übergreifende Netzwerkkonfiguration.

Datenfilterung

Bei Delta Sharing ist die Datenfilterung entscheidend für die Bereitstellung eines flexiblen und sicheren Zugriffs, wobei zwei Hauptmethoden zur Verfügung stehen:

• Partitionsfilterung: Ermöglicht die Freigabe bestimmter Tabellenpartitionen, die auf die Empfängereigenschaften abgestimmt sind, was als parametrisierte Partitionsfreigabe bezeichnet wird. Diese Strategie ermöglicht es Datenanbietern, die benötigten Datenabschnitte flexibel freizugeben, was einen kontrollierten Zugriff erleichtert.
• Dynamische Ansichten: Ermöglicht die Freigabe beliebiger Teilmengen von Daten für Empfänger über dynamische Funktionen wie current_recipient und bietet so eine feingranulare Kontrolle über den Datenzugriff und eine verbesserte Verwaltbarkeit.

Sie ermöglichen Zugriffsbeschränkungen basierend auf bestimmten Empfängereigenschaften und stellen sicher, dass Daten nur mit den beabsichtigten Empfängern und im entsprechenden Kontext geteilt werden. Diese Ansätze verbessern die Sicherheit und Flexibilität von Delta Sharing und ermöglichen einen maßgeschneiderten Datenzugriff, der den individuellen Anforderungen der Empfänger entspricht.

Sicherheit, Flexibilität und nahtlose Integration mit Delta Sharing

Zusammenfassend lässt sich sagen, dass Delta Sharing eine Schlüsselkomponente der Databricks Data Intelligence Platform ist und sich durch seine sicheren, flexiblen und plattformübergreifenden Datenfreigabefunktionen auszeichnet, die moderne Datenstrategien unterstützen. Neben der Unterstützung anderer Plattformen über Open-Source-Connectors ermöglicht Delta Sharing Kunden die Freigabe von strukturierten und unstrukturierten Daten sowie KI-Modellen. All diese Funktionen unterscheiden Delta Sharing deutlich von anderen Datenaustauschplattformen. Daher genießt Delta Sharing bei Kunden in verschiedenen Branchen großes Vertrauen, was sich auch in den Erfahrungsberichten der Kunden widerspiegelt, die die erheblichen Auswirkungen auf die betriebliche Effizienz und Innovation hervorheben. Da sich die Landschaft der Datenfreigabe ständig weiterentwickelt, ist Delta Sharing für die Zukunft gerüstet, wobei Sicherheit, Flexibilität und nahtlose Integration in verschiedenen Ökosystemen für die Datenfreigabe im Vordergrund stehen. Dieses unermüdliche Engagement macht Delta Sharing zu einem unverzichtbaren Instrument, um die Macht der Daten zu nutzen und die digitalen Ziele von Unternehmen weltweit voranzutreiben.

Um mehr darüber zu erfahren, wie Sie Delta Sharing in Ihrem Unternehmen implementieren können, werfen Sie einen Blick auf die neuesten Ressourcen, einschließlich neuer eBooks und zugehöriger Blogs unten, oder tauchen Sie tief in die Dokumentation zu Delta Sharing ein.

• Lesen Sie den technischen Leitfaden von O'Reilly: Data Sharing and Collaboration with Delta Sharing
• Lesen Sie das eBook A New Approach to Data Sharing, Second Edition
• Lesen Sie das eBook Accelerate Industry Innovation with Data Sharing

Wenn Sie bereits Delta Sharing-Kunde sind, können Sie sich bei Fragen oder für Feedback auch unter datasharing@databricks.com an das Team wenden.

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag