Einführung von Data Clean Rooms für das Lakehouse

Wir freuen uns, Data Clean Rooms für das Lakehouse anzukündigen, mit denen Unternehmen einfach und datenschutzkonform mit ihren Kunden und Partnern in jeder Cloud zusammenarbeiten können. Teilnehmer in den Data Clean Rooms können ihre bestehenden Daten freigeben, verknüpfen und komplexe Workloads in jeder beliebigen Sprache – Python, R, SQL, Java und Scala – für die Daten ausführen, während der Datenschutz gewahrt bleibt.

Da die Nachfrage nach externen Daten größer ist als je zuvor, suchen Unternehmen nach Möglichkeiten, ihre Daten sicher auszutauschen und externe Daten zu nutzen, um datengesteuerte Innovationen zu fördern. In der Vergangenheit haben Unternehmen Datenaustauschlösungen genutzt, um Daten mit ihren Partnern zu teilen, und sich auf gegenseitiges Vertrauen verlassen, um den Datenschutz zu wahren. Allerdings geben die Organisationen die Kontrolle über die Daten ab, sobald diese geteilt werden, und haben wenig bis gar keine Einsicht, wie die Daten von ihren Partnern auf verschiedenen Plattformen genutzt werden. Dies birgt das Risiko von potenziellem Datenmissbrauch und Datenschutzverletzungen. Aufgrund strenger Datenschutzvorschriften ist es für Organisationen unerlässlich, Kontrolle und Einblick darüber zu haben, wie ihre sensiblen Daten genutzt werden. Daher benötigen Unternehmen eine sichere, kontrollierte und private Möglichkeit zur Zusammenarbeit bei Daten, und hier kommen Data Clean Rooms ins Spiel.

Dieser Blogbeitrag befasst sich mit Daten-Clean-Rooms, der Nachfrage nach Daten-Clean-Rooms und unserer Vision für einen skalierbaren Daten-Clean-Room auf der Databricks Lakehouse Platform.

Was ist ein Data Clean Room und warum ist er für Ihr Unternehmen wichtig?

Ein Data Clean Room bietet eine sichere, kontrollierte und datenschutzkonforme Umgebung, in der mehrere Teilnehmer ihre Erstanbieterdaten zusammenführen und Analysen der Daten durchführen können, ohne das Risiko, ihre Daten anderen Teilnehmern preiszugeben. Die Teilnehmer haben die volle Kontrolle über ihre Daten und können entscheiden, welche Teilnehmer welche Analysen für ihre Daten durchführen dürfen, ohne sensible Daten wie personenbezogene Daten (PII) preiszugeben.

Data Clean Rooms eröffnen ein breites Spektrum an Anwendungsfällen in den verschiedensten Branchen. So können beispielsweise Konsumgüterunternehmen (CPG) eine Umsatzsteigerung erzielen, indem sie ihre Erstanbieter-Werbedaten mit den Transaktionsdaten ihrer Einzelhandels-Partner vom Point of Sale (POS) zusammenführen. In den Medienbranchen können Werbetreibende und Marketer gezieltere Anzeigen mit größerer Reichweite, besserer Segmentierung und größerer Transparenz der Anzeigenwirksamkeit schalten und gleichzeitig den Datenschutz gewährleisten. Finanzdienstleistungsunternehmen können entlang der gesamten Wertschöpfungskette zusammenarbeiten, um proaktive Betrugserkennungs- oder Geldwäschebekämpfungsstrategien zu entwickeln. Tatsächlich prognostiziert IDC, dass bis 2024 65 % der G2000-Unternehmen Data Sharing-Partnerschaften mit externen Stakeholdern über Data Clean Rooms eingehen werden, um die gegenseitige Abhängigkeit zu erhöhen und gleichzeitig den Datenschutz zu gewährleisten.

Sehen wir uns einige der überzeugenden Gründe an, die die Nachfrage nach Clean Rooms antreiben:

Sich schnell verändernde Sicherheits-, Compliance- und Datenschutzlandschaft: Strenge Datenschutzvorschriften wie die GDPR und der CCPA sowie weitreichende Änderungen bei der Messung durch Drittanbieter haben die Art und Weise verändert, wie Unternehmen Daten erheben, verwenden und weitergeben, insbesondere für Anwendungsfälle in den Bereichen Werbung und Marketing. Beispielsweise bietet Apples App Tracking Transparency Framework (ATT) Nutzern von Apple-Geräten die Freiheit und Flexibilität, sich einfach gegen das App-Tracking zu entscheiden. Auch Google plant, bis Ende 2023 die Unterstützung für Cookies von Drittanbietern in Chrome auslaufen zu lassen. Da sich diese Datenschutzgesetze und -praktiken weiterentwickeln, wird die Nachfrage nach Daten-Clean-Rooms wahrscheinlich steigen, da die Branche auf neue, auf PII basierende Identifikatoren wie UID 2.0 umsteigt. Unternehmen werden versuchen, neue Lösungen zu finden, um Daten mit ihren Partnern auf datenschutzorientierte Weise zusammenzuführen und ihre Geschäftsziele in der Cookie-losen Realität zu erreichen.

Zusammenarbeit in einem fragmentierten Datenökosystem: Heutzutage haben Verbraucher mehr Möglichkeiten als je zuvor, wenn es darum geht, wo, wann und wie sie mit Inhalten interagieren. Infolgedessen ist der digitale Fußabdruck der Verbraucher auf verschiedene Plattformen verteilt, was es für Unternehmen erforderlich macht, mit ihren Partnern zusammenzuarbeiten, um eine einheitliche Sicht auf die Bedürfnisse und Anforderungen ihrer Kunden zu schaffen. Um die organisationsübergreifende Zusammenarbeit zu erleichtern, bieten Clean Rooms eine sichere und private Möglichkeit, ihre Daten mit anderen Daten zu kombinieren, um neue Erkenntnisse oder Funktionen zu erschließen.

Neue Wege zur Monetarisierung von Daten: Die meisten Unternehmen haben bereits Monetarisierungsstrategien für ihre bestehenden Daten oder ihr geistiges Eigentum oder wollen diese entwickeln. Mit den heutigen Datenschutzvorschriften versuchen Unternehmen, jeden möglichen Vorteil zu nutzen, um ihre Daten zu monetarisieren, ohne das Risiko einzugehen, Datenschutzvorschriften zu verletzen. Dies schafft für Datenanbieter oder Publisher die Möglichkeit, Daten für Big Data Analytics zu Join, ohne direkten Zugriff auf die Daten zu haben.

Bestehende Data-Clean-Room-Lösungen haben große Nachteile

Wenn Unternehmen verschiedene Clean-Room-Lösungen evaluieren, zeigen sich bei den bestehenden Lösungen einige eklatante Mängel, die das volle Potenzial der "Clean Rooms" nicht ausschöpfen und die Geschäftsanforderungen von Unternehmen nicht erfüllen.

Datenverschiebung und -replikation: Die bestehenden Anbieter von Data Clean Rooms verlangen von den Teilnehmern, dass sie ihre Daten auf die Plattformen der Anbieter verschieben, was zu einer Anbieterbindung und zu zusätzlichen Datenspeicherkosten für die Teilnehmer führt. Zudem ist es für die Teilnehmer zeitaufwändig, die Daten in einem standardisierten Format vorzubereiten, bevor sie Analysen an den aggregierten Daten durchführen. Darüber hinaus müssen die Teilnehmer die Daten über verschiedene Clouds und Regionen hinweg replizieren, um die Zusammenarbeit mit Teilnehmern in verschiedenen Clouds und Regionen zu erleichtern, was zu Betriebs- und Kostenmehraufwand führt.

Beschränkt auf SQL: Bestehende Clean-Room-Lösungen bieten nicht viel Flexibilität, um beliebige Workloads und Analysen auszuführen, und sind oft auf einfache SQL-Anweisungen beschränkt. Obwohl SQL leistungsstark und für Clean Rooms absolut notwendig ist, gibt es Fälle, in denen komplexe Berechnungen wie maschinelles Lernen, API-Integrationen oder andere Analysen-Workloads erforderlich sind, bei denen SQL allein nicht ausreicht.

Schwer zu skalieren: Die meisten der bestehenden Clean-Room-Lösungen sind an einen einzigen Anbieter gebunden und nicht skalierbar, um die Zusammenarbeit auf mehr als zwei Teilnehmer gleichzeitig auszuweiten. So möchte ein Werbetreibender beispielsweise einen detaillierten Überblick über die Performance seiner Anzeigen auf verschiedenen Plattformen erhalten, was die Analyse der aggregierten Daten von mehreren Daten-Publishern erfordert. Wenn die Zusammenarbeit auf nur zwei Teilnehmer beschränkt ist, erhalten Organisationen auf einer Clean-Room-Plattform nur unvollständige Einblicke und müssen ihre Daten schließlich zu einem anderen Clean-Room-Anbieter verschieben. Dies führt zu dem betrieblichen Mehraufwand, die unvollständigen Einblicke manuell zusammenzuführen.

Stellen Sie eine skalierbare und flexible Data-Clean-Room-Lösung mit der Databricks Lakehouse-Plattform bereit

Die Databricks Lakehouse Platform bietet ein umfassendes Set an Tools, um einen skalierbaren und flexiblen Data Clean Room auf der Grundlage Ihrer Anforderungen an Datenschutz und Governance zu erstellen, bereitzustellen und zu implementieren.

Sicheres Data Sharing ohne Replikation: Mit Delta Sharing können Teilnehmer eines Clean Rooms Daten aus ihren Data Lakes sicher mit anderen Teilnehmern teilen, ohne dass die Daten über Clouds oder Regionen hinweg repliziert werden müssen. Ihre Daten bleiben bei Ihnen und sind nicht an eine Plattform gebunden. Darüber hinaus können die Teilnehmer des Clean Rooms die Nutzung ihrer Daten zentral prüfen und überwachen.

Volle Unterstützung für die Ausführung beliebiger Workloads und Sprachen: Die Databricks Lakehouse platform bietet den Clean-Room-Teilnehmern die Flexibilität, beliebige komplexe Berechnungen wie machine learning- oder Daten-Workloads in jeder beliebigen Sprache – SQL, R, Scala, Java, Python – auf den Daten auszuführen.

Einfach skalierbar mit geführtem Onboarding: Clean Rooms auf der Databricks Lakehouse Platform sind problemlos auf mehrere Teilnehmer in beliebigen Clouds oder Regionen skalierbar. Der Start ist einfach und die Teilnehmer können mithilfe vordefinierter Templates (z. B. Jobs, Workflows, Dashboards) durch gängige Anwendungsfälle geführt werden, was die Zeit bis zur Gewinnung von Erkenntnissen verkürzt.

Datenschutzkonform durch granulare Zugriffskontrollen: Mit Unity Catalog können Sie granulare Zugriffskontrollen für die Daten aktivieren und Ihre Datenschutzanforderungen erfüllen. Die integrierte Governance ermöglicht den Teilnehmern die volle Kontrolle über Abfragen oder Jobs, die mit ihren Daten ausgeführt werden können. Alle Abfragen oder Jobs für die Daten werden auf einem von Databricks gehosteten, vertrauenswürdigen Compute ausgeführt. Teilnehmer erhalten niemals Zugriff auf die Rohdaten anderer Teilnehmer, wodurch der Datenschutz gewährleistet wird. Die Teilnehmer können auch Open-Source- oder Drittanbieter-Frameworks für differenzielle Privatsphäre nutzen, was Ihren Clean Room zukunftssicher macht.

Wenn Sie mehr über Data Clean Rooms auf Databricks Lakehouse erfahren möchten, wenden Sie sich bitte an Ihre Databricks-Account-Betreuer.

Möchten Sie es in Aktion sehen?

Testen Sie die Clean-Room-Produkttour, um Unternehmen bei der sicheren Zusammenarbeit mit Kunden und Partnern auf jeder Cloud-Plattform zu unterstützen und dabei Datenschutz und Sicherheit zu gewährleisten.