Ankündigung der allgemeinen Verfügbarkeit von Delta-Sharing

Wir freuen uns, heute bekannt zu geben, dass Delta Sharing auf AWS und Azure allgemein verfügbar (GA) ist. Mit der GA-Version können Sie von Databricks das höchste Maß an Stabilität, Support und Unternehmensreife für unternehmenskritische Workloads auf der Databricks Lakehouse Platform erwarten.

In diesem Blog untersuchen wir, wie Unternehmen Delta Sharing nutzen, um den Geschäftswert ihrer Daten zu maximieren, einige der Key Features, die in der GA-Version verfügbar sind, und wie Sie mit Delta Sharing auf der Databricks Lakehouse Platform starten können.

Kunden profitieren vom offenen Standard für das Data Sharing aus dem lakehouse

Das Data Sharing ist in der digitalen Wirtschaft wichtig geworden, da Unternehmen Daten einfach und sicher mit ihren Kunden, Partnern, Lieferanten und internen Geschäftsbereichen (LOBs) austauschen, um besser zusammenzuarbeiten und Mehrwert aus diesen Daten zu schöpfen. Das Fehlen eines standardbasierten Protokolls für das Data Sharing hat jedoch zu Lösungen geführt, die an einen einzelnen Anbieter oder ein kommerzielles Produkt gebunden sind, was das Risiko einer Anbieterabhängigkeit mit sich bringt. Diese Kundenherausforderungen haben uns bei Databricks dazu veranlasst, mit Delta Sharing eine offene Data Sharing-Lösung zu entwickeln.

Databricks Delta Sharing vermittelt eine offene Lösung zum sicheren Freigeben von Live-Daten aus Ihrem Lakehouse über jede beliebige Computerplattform. Datenempfänger müssen sich nicht auf der Databricks Lakehouse Platform, in derselben Cloud oder überhaupt in einer Cloud befinden. Datenanbieter können vorhandene große Datensätze, die auf den Formaten Apache Parquet oder Delta Lake basieren, freigeben, ohne die Datensätze in ein anderes System zu replizieren oder zu kopieren. Datenempfänger profitieren davon, immer Zugriff auf die neueste Datenversion zu haben und die freigegebenen Daten mit den Tools ihrer Wahl abfragen, visualisieren, transformieren, aufnehmen oder anreichern zu können, was die Time-to-Value reduziert. Da Governance und Sicherheit für viele Organisationen Hauptanliegen sind, ist Delta Sharing nativ in Unity Catalog integriert. So können Sie die Nutzung der freigegebenen Daten auf einer zentralen Plattform verwalten, steuern, prüfen und nachverfolgen.

Seit der Einführung von Delta Sharing in der Private Preview im letzten Jahr haben Hunderte von Kunden Delta Sharing angenommen, und heute werden Petabytes an Daten über Delta Sharing geteilt.

Nasdaq: „Delta Sharing hat uns geholfen, unseren Datenbereitstellungsprozess für große Datensätze zu optimieren. Dies ermöglicht es unseren Kunden, ihre eigene Compute-Umgebung mitzubringen, um frisch kuratierte Daten mit wenig bis gar keinem Integrationsaufwand zu lesen, und ermöglicht es uns, unseren Katalog einzigartiger, hochwertiger Datenprodukte weiter auszubauen“ - William Dague, Head of Alternative Data

Shell: "Wir sind uns bewusst, dass die Offenheit von Daten eine entscheidende Rolle beim Erreichen der Netto-Null-Ziele von Shell spielen wird. Delta Sharing bietet Shell ein standardisiertes, kontrolliertes und sicheres Protokoll, um große Datenmengen einfach mit unseren Partnern zu teilen und auf diese Ziele hinzuarbeiten, ohne dass unsere Partner auf derselben Data Sharing-Plattform sein müssen" – Bryce Bartmann, Chief Digital Technology Advisor

SafeGraph: "Für uns als Datenunternehmen ist es von entscheidender Bedeutung, unseren Kunden Zugang zu unseren Datensätzen zu geben. Die Databricks Lakehouse Platform mit Delta Sharing rationalisiert diesen Prozess erheblich und ermöglicht es uns, eine viel breitere Nutzerbasis sicher und unabhängig von Cloud oder Plattform zu erreichen" - Felix Cheung, VP of Engineering

„Mit Delta Sharing können unsere Kunden fast sofort auf kuratierte Datensätze zugreifen und sie in Analytics-Tools ihrer Wahl integrieren. Der Dialog mit unseren Kunden verlagert sich von einem geringwertigen, kleinlichen Hin und Her bei der Aufnahme zu einer hochwertigen analytischen Diskussion, in der wir erfolgreiche Kundenerlebnisse fördern. Während sich unsere Kundenbeziehungen weiterentwickeln, können wir über Delta Sharing nahtlos neue Datensätze bereitstellen und bestehende aktualisieren, um Kunden über die wichtigsten Trends in ihren Branchen auf dem Laufenden zu halten.“ – Anup Segu, Data Engineering Tech Lead

„Die Nutzung der leistungsstarken Funktionen von Delta Sharing von Databricks ermöglicht Pumpjack Dataworks ein schnelleres Onboarding-Erlebnis, sodass der Export, Import und die Remodellierung von Daten überflüssig werden, was unseren Kunden einen sofortigen Mehrwert bietet. Schnellere Ergebnisse schaffen größere Geschäftschancen für unsere Kunden und ihre Partner" – Corey Zwart, Chief Technology Officer

Was ist neu an Delta Sharing mit GA?

Delta Sharing bietet in der GA-Release bereits eine Vielzahl an großartigen Features. Nachfolgend sind einige der Key-Features aufgeführt, die wir mit dieser Version bereitstellen:

Nahtloses Databricks-zu-Databricks-Teilen

Für Databricks-Kunden macht Delta Sharing das Data Sharing auf dem Lakehouse extrem einfach, effizient und sicher. Mit nur wenigen UI-Klicks oder SQL-Befehlen können Datenanbieter ihre vorhandenen Daten einfach für Empfänger auf Databricks freigeben, ohne die Daten zu replizieren. Beispielsweise kann ein Datenanbieter, der Databricks on AWS verwendet, vorhandene Daten mit einem Empfänger teilen, der Databricks auf Azure verwendet, oder umgekehrt. Weitere Informationen finden Sie im Benutzerleitfaden. Beim Teilen von Databricks zu Databricks muss der Datenanbieter keine Token-Anmeldeinformationen für Empfänger verwalten, die Databricks verwenden; die Freigabeverbindung wird sicher über die Databricks-Plattform hergestellt. Alles, was Sie für die Anmeldung benötigen, ist ein Databricks-Account. Um den Rest kümmert sich die Plattform. Zusätzlich zur kontoübergreifenden Data Sharing ist ein weiterer wichtiger Anwendungsfall die interne Data Sharing. Wenn Sie über mehrere Unity Catalog-Metastores unter demselben Account in verschiedenen Regionen verfügen, können Sie mithilfe von Delta Sharing problemlos Daten zwischen diesen Metastores teilen, ohne Daten zu kopieren. Beispiel für einen SQL-Workflow aus der Perspektive eines Datenanbieters:

Beispiel für einen SQL-Workflow aus der Perspektive eines Datenempfängers:

Change Data Feed-Freigabe

Delta Sharing unterstützt jetzt das Teilen von Change Data Feed (CDF). Zusätzlich zum Teilen einer Tabelle kann ein Datenanbieter auch den CDF der Tabelle einbeziehen, sodass Empfänger Änderungen zwischen bestimmten Versionen oder Timestamps der Tabelle abfragen können. Mit diesem Feature können Empfänger anstatt der gesamten Tabelle jedes Mal nur die neuen Daten oder die inkrementellen Änderungen abfragen. Ein Datenanbieter kann ganz einfach eine Tabelle mit CDF freigeben, und ein Datenempfänger kann Tabellenänderungen mit einer einfachen Syntax Abfragen:

Erweiterte Sicherheits-Features

In der GA-Version von Delta Sharing haben wir auch eine Reihe von Sicherheits-Features, um das Teilen noch sicherer zu machen. Ein Beispiel für diese Sicherheits-Features ist die IP Access List. Datenanbieter können jetzt für jeden ihrer Empfänger über offene Connectors eine IP-Zugriffsliste konfigurieren. Dadurch wird sichergestellt, dass der Download von Anmeldeinformationen und der Datenzugriff nur von der Ziel-IP-Adresse aus initiiert werden können. Wir haben außerdem einige weitere Berechtigungen im Zusammenhang mit Delta Sharing hinzugefügt (z. B. CREATE SHARE, CREATE RECIPIENT) und das Owner -Konzept für Delta-Sharing-Objekte wie Share und Recipient eingeführt. Mit diesen Primitiven bietet Delta Sharing auf Databricks ein flexibleres Zugriffskontrollmodell, und auch Nicht-Admin-Benutzer können Teilungsbetriebe durchführen.

Erste Schritte mit Delta Sharing auf Databricks

Sehen Sie sich die Demo unten an, um mehr darüber zu erfahren, wie Delta Sharing Ihnen helfen kann, Live-Daten aus Ihrem Lakehouse nahtlos mit jeder beliebigen Computing-Plattform zu teilen.

Wenn Sie bereits Databricks-Kunde sind, folgen Sie der Anleitung für die ersten Schritte (AWS | Azure). Lesen Sie die Versionshinweise, um mehr darüber zu erfahren, was in dieser GA-Version enthalten ist. Wenn Sie noch kein Databricks-Kunden sind, registrieren Sie sich für eine Kostenlose Testversion mit einem Premium- oder Enterprise-workspace.