Was ist Datenaustausch?

Technologie, die die sichere Verteilung von Datensätzen innerhalb von Organisationen ermöglicht und gleichzeitig Governance, Herkunftsnachverfolgung, Zugriffskontrollen und Datenqualität gewährleistet.

Summary

Zu den Mechanismen gehören Datenmarktplätze, sichere Dateiübertragung, API-basierter Zugriff und offene Protokolle wie Delta Sharing, die den Live-Zugriff auf freigegebene Datensätze ermöglichen, ohne Daten kopieren oder komplexe Infrastrukturen verwalten zu müssen.
Governance-Funktionen verfolgen die Datennutzung, setzen die Sicherheit auf Zeilen-/Spaltenebene durch, verwalten Einwilligungen und Zweckbeschränkungen, versionieren Datensätze und benachrichtigen Empfänger bei Aktualisierungen freigegebener Daten oder Schemaänderungen.
Anwendungsfälle umfassen unternehmensübergreifende Zusammenarbeit, Datenmonetarisierung, Lieferanten-/Partner-Ökosysteme, Multi-Cloud-Datenaustausch und föderierte Analysen, die Erkenntnisse aus verteilten Datensätzen ermöglichen und gleichzeitig die Kontrolle behalten.

Was ist Data Sharing?

Data sharing bezeichnet die gemeinsame Nutzung von Daten, bei der dieselben Informationen mehreren Datenverbrauchern zur Verfügung gestellt werden. Die stetig wachsende Datenmenge ist heute ein strategischer Vorteil für jedes Unternehmen. Das Teilen von Daten – sowohl innerhalb von Geschäftseinheiten als auch mit externen Quellen – ist eine Schlüsseltechnologie zur Erschließung neuer Geschäftschancen. Indem sie Daten teilen, können Unternehmen effektiver mit Partnern zusammenarbeiten, neue Partnerschaften aufbauen und durch Datenmonetarisierung zusätzliche Einnahmequellen erschließen.

Welche Arten des Data Sharing gibt es?

Es gibt viele verschiedene Arten des Data Sharing, darunter das interne Teilen innerhalb einer Organisation, das Teilen mit externen Organisationen, das Teilen zwischen Einzelpersonen, das Teilen mit mehreren Empfängern sowie öffentliches und privates Teilen. Unternehmen können öffentliche oder private Datenmarktplätze nutzen, um ihren Datenaustausch und ihre Zusammenarbeit zu verbessern. Für besonders sensible Daten, wie persönlich identifizierbare Informationen (PII), kommen datenschutzsichere Umgebungen, sogenannte Clean Rooms, zum Einsatz.

Was sind die Herausforderungen beim Teilen von Daten?

Data Sharing ist für moderne Unternehmen unerlässlich, kann aber eine Herausforderung sein. Eine der größten Hürden ist die Sicherheit. Nur die richtigen Daten mit den richtigen Personen im richtigen Kontext zu teilen, erfordert strategische Richtlinien, effektive Tools und gut durchdachte Prozesse, die konsequent befolgt werden. Eine weitere Herausforderung ist die Data Governance – also die regelkonforme Nutzung von Daten: Unternehmen müssen sicherstellen, dass ihre Datenverarbeitung den geltenden Vorschriften entspricht. Darüber hinaus können technische und strukturelle Datenmanagementprobleme wie das Verwalten mehrerer Systeme und veralteter oder proprietärer Lösungen Hindernisse für einen effizienten und effektiven Austausch von Daten darstellen.

Welche Vorteile bringt das Data Sharing einer Organisation?

Das Teilen von Daten ist entscheidend für die Weiterentwicklung datengetriebener Geschäftsmodelle. Laut einer Prognose von Gartner werden Unternehmen, die Data Sharing aktiv fördern, ihre Mitbewerber bis 2024 in den meisten geschäftsrelevanten Metriken übertreffen. Data Sharing beseitigt Datensilos, was zu höherer Effizienz und Transparenz führt und eine bessere Zusammenarbeit innerhalb von Organisationen sowie mit Partnern führt. Es bietet Organisationen zudem neue und schnellere Erkenntnisse, mit denen sie ihre Performance steigern können. Und nicht zuletzt eröffnet Data Sharing neue Einnahmequellen, indem es Unternehmen ermöglicht, neue Datenprodukte oder Dienstleistungen anzubieten.

Traditionelle Data-Sharing-Technologien

Legacy-Technologien wie SFTP (Secure File Transfer Protocol), E-Mail oder APIs (Application Programming Interface) unterstützen die Implementierung anbieterunabhängiger Eigenentwicklungen, die sowohl lokal als auch in der Cloud funktionieren. Die Verwaltung und Wartung dieser Lösungen sind jedoch oft kostspielig. Da sich die modernen Datenanforderungen weiterentwickelt haben, lassen sie sich außerdem zunehmend schwerer absichern und steuern. Die Verwendung dieser Lösungen kann das Teilen von Daten komplex und zeitaufwändig machen, und die Lösungen sind nicht skalierbar, was die Verarbeitung großer Datensätze erschwert.

Cloud-Objektspeicher eignet sich ideal für die Cloud, da seine Skalierbarkeit ein unbegrenztes Datenwachstum unterstützt. Die Technologie ist weit verbreitet, günstig und zuverlässig, geht jedoch auch mit Nachteilen einher. Zum Beispiel müssen die Empfänger auf der gleichen Cloud sein, um auf die Daten zugreifen zu können, und Sicherheits- sowie Governance-Prozesse können komplex sein. Darüber hinaus ist das Teilen großer Datenmengen über Cloud-Speicher zeitaufwändig, umständlich und kaum skalierbar.

Kommerzielle und Closed-Source-Angebote für das Data Sharing

In die Produkte von Anbietern wie Oracle, Amazon Redshift oder Snowflake sind Data-Sharing-Lösungen integriert. Diese Lösungen lassen sich bequem innerhalb des jeweiligen Produkts nutzen und ermöglichen es den Benutzern, Daten unkompliziert mit allen zu teilen, die dieselbe Plattform verwenden. Allerdings können Benutzer Daten nicht mit Benutzern von konkurrierenden Lösungen teilen, und häufig schränken die Anbieter die Skalierbarkeit ein. Zudem müssen Daten bei diesen Lösungen erst auf die Plattform geladen werden, was einen Extract, Transform, Load (ETL)-Prozess erfordert und Datenkopien erstellt. Alle diese Einschränkungen führen zu mehr Komplexität, Problemen bei der Versionskontrolle und höheren Kosten für die Datenfreigabe, wenn die Empfänger auf anderen Cloud-Plattformen unterwegs sind.

Moderne Open-Source-Lösungen für das Data Sharing

Angesichts der zunehmend komplexen, plattformübergreifenden Infrastrukturen kann eine Data-Sharing-Lösung, die Open-Soure ist, wertvolle Flexibilität bieten. Open-Source-Lösungen verhindern eine Bindung an Produkte von Anbietern und bieten außerdem eine Reihe weiterer Vorteile, wie z. B. von der Community entwickelte Integrationen für beliebte Open-Source-Frameworks zur Datenverarbeitung. Offene Protokolle ermöglichen zudem die einfache Integration von kommerziellen Clients, wie BI-Tools.

Data Marketplace

Datenmarktplätze sind zentrale Plattformen für das Data Sharing und die Datenmonetarisierung und spielen eine wichtige Rolle bei der Zusammenarbeit mit Daten. Marktplätze können verschiedene Formen annehmen:

Interne Datenmarktplätze für das Data Sharing innerhalb eines Unternehmens
Private Datenmarktplätze für das Data Sharing mit vertrauenswürdigen Partnern
Öffentliche Datenmarktplätze, die Datenanbieter und -verbraucher verbinden

Öffentliche Datenmarktplätze bieten Teilnehmern die Möglichkeit, Daten und damit verbundene Dienstleistungen direkt von den Datenanbietern zu kaufen und zu verkaufen – in einer sicheren Umgebung mit hoher Qualität und Konsistenz. Unternehmen können Marktplätze nutzen, um Daten von Dritten zu erwerben, ihren Datenbestand zu erweitern oder neue Datenprodukte und -dienstleistungen anzubieten und zu monetarisieren.

Data Clean Rooms

Data Clean Rooms (Datenreinräume) ermöglichen Unternehmen eine einfache und datenschutzsichere Zusammenarbeit mit Kunden und Partnern – in einer sicheren, regulierten Umgebung und auf jeder Cloud-Plattform. Innerhalb eines Daten-Cleanrooms können mehrere Teilnehmer ihre First-Party-Daten zusammenführen und Analysen der Daten durchführen, ohne das Risiko einzugehen, ihre Daten für andere Teilnehmer offenzulegen. Die Teilnehmer behalten die volle Kontrolle über ihre Daten und können festlegen, welche anderen Teilnehmer Analysen darauf durchführen dürfen. Sensible Informationen wie PII werden dabei nicht preisgegeben.

Delta-Freigabe

Delta Sharing ist das weltweit erste offene Protokoll für die sichere Datenfreigabe. Mit Delta Sharing wird der Datenaustausch mit anderen Organisationen zum Kinderspiel – ganz gleich, welche Rechenplattformen sie nutzen.

Sofortfreigabe von Livedaten: Geben Sie vorhandene Echtzeitdaten in Ihrem Delta Lake frei, ohne sie zuvor auf ein anderes System kopieren zu müssen.
Unterstützung verschiedenster Clients: Datenempfänger können sich auf Pandas, Apache Spark™, Rust und weiteren Systemen direkt mit Delta Shares verbinden, ohne zunächst eine bestimmte Rechenplattform implementieren zu müssen. So vermeiden Sie Reibungsverluste bei der Weitergabe Ihrer Daten an Ihre Benutzer.
Sicherheit und Governance: Mit Delta Sharing können Sie den Datenzugriff einfach verwalten, nachverfolgen und überprüfen.
Skalierbarkeit: Geben Sie umfangreiche Datasets durch Verwendung von Cloudspeichersystemen wie S3, ADLS und GCS zuverlässig und effizient frei.

Delta Sharing auf Databricks

Databricks ist nativ in Delta Sharing in Unity Catalog integriert und ermöglicht eine effiziente Nutzung des Data Sharings sowohl innerhalb eines Unternehmens als auch organisationsübergreifend. Empfänger müssen nicht auf der Databricks-Plattform, auf der gleichen Cloud oder überhaupt auf einer Cloud sein.

Delta Sharing bietet mehrere wichtige Vorteile, darunter:

Offene plattformübergreifende Freigabe
Live-Data-Sharing ohne Replikation
Zentralisierte Governance
Die Möglichkeit, Datenprodukte – darunter KI-Modelle, Dashboards und Notebooks – flexibler zu teilen.
Niedrigere Kosten
Schneller zum Mehrwert

Delta Sharing ist ein offenes Ökosystem von Open-Source- und kommerziellen Partnern, das weiter wächst. Databricks hat seine Delta Sharing Partnerschaften kürzlich erweitert. Diese umfassen nun auch Cloudflare, Dell, Oracle und Twilio.

Delta Sharing: Ein offenes Ökosystem

Weitere Informationen zum Data Sharing auf Databricks

Mit Delta Sharing teilen Sie Live-Daten einfach und sicher über Plattformen, Clouds und Regionen hinweg. Delta Sharing transformiert bereits die Data-Sharing-Aktivitäten von Unternehmen in zahlreichen Branchen. Starten Sie noch heute mit Databricks Delta Sharing.