Einführung von OpenSharing: Die nächste Evolution von Delta Sharing für die Ära der Agenten

Als Databricks Delta Sharing im Jahr 2021 einführte, wollten wir ein Problem lösen, das jedes Datenteam nur zu gut kannte: Das Teilen von Live-Daten über Unternehmensgrenzen hinweg war langsam, fehleranfällig und voller Kompromisse. Entweder kopierte man Daten – was zu veralteten Replikaten und Compliance-Problemen führte – oder man beschränkte sich darauf, Daten nur mit Partnern auf derselben Plattform zu teilen, was die Innovation erheblich einschränkte.

Delta Sharing hat das geändert. Ein einziges offenes Protokoll. Keine Datenkopien. Keine Plattform-Silos. Und in den fünf Jahren seither ist es zum am weitesten verbreiteten offenen Zero-Copy-Datenfreigabeprotokoll geworden – mit mehr als 28.000 Datenempfängern und 33 % der Freigaben, die über offene Konnektoren plattformübergreifend fließen. Führende Unternehmen wie SAP, Atlassian, Mercedes-Benz, The Trade Desk, LSEG, S&P Global und viele mehr nutzen Delta Sharing, um Daten zu teilen und gemeinsam daran zu arbeiten.

Doch die Welt hat sich weiterentwickelt. Der Aufstieg der agentischen AI (agentic AI) hat grundlegend verändert, was Unternehmen teilen müssen. Heute gehen wir den nächsten Schritt.

Wir freuen uns, OpenSharing – die nächste Evolutionsstufe von Delta Sharing und das branchenweit erste offene Protokoll, das für die Ära der agentischen AI entwickelt wurde. OpenSharing macht Delta Sharing zu einem unabhängigen Open-Source-Projekt und erweitert dessen Umfang von der Datenfreigabe auf den gesamten AI-Stack: Modelle, Agenten – über jede Cloud, jeden Anbieter und jedes Format hinweg.

Warum sich Freigabeprotokolle für AI weiterentwickeln müssen

Delta Sharing wurde für eine Welt aus Tabellen und Dateien entwickelt. Doch heute müssen Unternehmen semantischen Kontext, AI-Fähigkeiten, unstrukturierte Daten und autonome Agenten über Cloud-, Anbieter- und Unternehmensgrenzen hinweg austauschen. Die heutigen Freigabeprotokolle sind nach wie vor an anbieterspezifische Formate gebunden, können keine AI-Logik verarbeiten und hängen von einer fehleranfälligen Netzwerkkonfiguration ab, deren Einrichtung für jeden neuen Partner Wochen dauert.

Das Ergebnis: Die Zusammenarbeit verlangsamt sich, Datensilos bleiben bestehen und das Potenzial, das in den Unternehmensdaten steckt, bleibt ungenutzt.

OpenSharing löst dieses Problem. Es ist ein einziges offenes Protokoll, das Daten und AI über jedes Format, jede Cloud und jede Unternehmensgrenze hinweg teilt – mit nativer Unterstützung für Delta Lake, Apache Iceberg und Parquet, sodass Daten dort bleiben, wo sie sich befinden, und dorthin fließen, wo sie benötigt werden.

„Delta Sharing hat bewiesen, dass die Branche offene Lösungen proprietären Systemen vorzieht. OpenSharing weitet dieses Prinzip auf den gesamten AI-Stack aus und erweitert gleichzeitig das plattformübergreifende Ökosystem auf Iceberg-Empfänger und On-Premises-Anbieter. Die Ära der agentischen AI verdient ein offenes Fundament, und OpenSharing liefert es.“ – Matei Zaharia, Mitbegründer und CTO von Databricks.

OpenSharing auf Databricks

OpenSharing existiert auf zwei Ebenen. Das Open-Source-Protokoll – das jetzt von der Linux Foundation gehostet wird – ist die veröffentlichte Spezifikation, die jeder Anbieter und jedes Community-Mitglied implementieren kann. Databricks OpenSharing ist die Enterprise-Implementierung des offenen Protokolls, die auf anderen Databricks-Funktionen wie Unity Catalog für Governance und Audit-Protokollierung, dem Marketplace für Auffindbarkeit und mehr aufbaut.

Wir freuen uns, eine Reihe neuer Funktionen für OpenSharing auf Databricks vorzustellen.

Genie Agent Sharing: Teilen Sie eine kontrollierte AI-Erfahrung, nicht nur Daten

Zum ersten Mal können Unternehmen kontrollierte AI-Erfahrungen – und nicht nur Datensätze – über Unternehmensgrenzen hinweg teilen.

Genie-Agenten sind die AI-gestützten Conversational-Analytics-Umgebungen von Databricks. Mit OpenSharing kann ein Anbieter nun Genie-Agenten – einschließlich ihres zugrunde liegenden semantischen Kontexts, ihrer Geschäftskennzahlen und ihrer wiederverwendbaren AI-Logik – mit jedem Partner oder Kunden teilen, mit durchgängiger Governance über Unity Catalog. Optional können Anbieter steuern, wie Empfänger auf Daten zugreifen – einschließlich des Ausblendens proprietärer Genie-Anweisungen, der Beschränkung des Datenzugriffs auf den Genie-Agenten, der Festlegung täglicher Prompt-Kontingente und der Begrenzung von Zeilenexporten. Diese Kontrollen eröffnen neue Monetarisierungsmöglichkeiten für Datenanbieter, wie z. B. eine nutzungsbasierte Preisgestaltung anstelle einer vollständigen Datenlizenz.

SecureConnect und Global Distribution: Einfacheres Multi-Cloud-Networking, geringere Egress-Kosten

Cloud-übergreifendes Datensharing hatte schon immer zwei unterschiedliche Probleme. OpenSharing auf Databricks löst nun beide.

Das erste ist das Networking. Wenn sich der Speicher des Anbieters hinter einem privaten Netzwerk befindet – was bei sensiblen Datenaustauschen oder in regulierten Branchen fast immer der Fall ist –, kann das Onboarding eines neuen Empfängers Wochen manueller IP-Allowlisting, Firewall-Abstimmungen und Absprachen mit Cloud-Admins erfordern. Für Anbieter mit Dutzenden oder Hunderten von Empfängern ist dies nicht skalierbar. SecureConnect löst dieses Problem: Ein von Databricks verwalteter Proxy, der den Speicherzugriff im Namen aller Empfänger weiterleitet. Einmal konfigurieren – und nie wieder Firewall-Änderungen pro Empfänger vornehmen. Lesen Sie den Ankündigungs-Blog.

Das zweite sind die Egress-Kosten. Cloud-übergreifende Abfragen verursachen Egress-Gebühren, die sich bei entsprechender Skalierung summieren. Dies führt zu erheblichen und unvorhersehbaren Kosten, die eine breite Multi-Cloud-Freigabe wirtschaftlich unpraktikabel machen. Global Distribution löst dies durch automatische regionen- und cloudübergreifende Replikation. Empfänger fragen ein lokales Replikat ab – schnell und ohne Egress-Gebühren. Anbieter erhalten eine planbare Kostenstruktur. Globale Teams erhalten Zugriff mit geringer Latenz, unabhängig davon, wo sich die Quelldaten befinden.

Open Client Interoperability & On-Premises-Speicher-Ökosystem: Holen Sie Ihre Partner dort ab, wo sie sind

OpenSharing basiert auf der Überzeugung, dass Datenökosysteme florieren, wenn sie wirklich offen sind – nicht nur dem Namen nach, sondern in der Praxis. Das bedeutet, dass die Formate, Speichersysteme und Clients unterstützt werden müssen, die Ihre Partner bereits verwenden.

Speicher-Ökosystem: Verwalten Sie alles, wo auch immer es sich befindet

Nicht alle Unternehmensdaten können – oder sollten – in die Cloud verschoben werden. Regulatorische Vorgaben, Data Gravity, Edge-Latenz und reine Wirtschaftlichkeit führen dazu, dass einige der wertvollsten Daten der Welt On-Premises verbleiben. OpenSharing erreicht sie.
Das Databricks Storage Ecosystem bringt die Databricks Data Intelligence Platform direkt in On-Premises-, Private-Cloud- und Edge-Umgebungen – unterstützt durch OpenSharing. Speicherpartner implementieren den OpenSharing-Server und verbinden ihre Datenbestände mit Unity Catalog, ohne ein einziges Byte zu verschieben. Keine Migration. Keine Duplizierung. Lesen Sie die Ankündigung.
Zu den Launch-Partnern gehören MinIO (GA), Everpure (Private Preview), Qumulo (demnächst in der Private Preview) und VAST Data (demnächst in der Private Preview) – Cohesity, Commvault, NetApp und Nutanix folgen bis Ende des Jahres. Zusammen verwalten diese Partner Hunderte von Exabyte an Unternehmensdaten.

Iceberg-Interoperabilität
Delta Sharing wird bereits von einer Vielzahl von Plattformen und Konnektoren unterstützt, darunter Databricks, Tableau, Power BI, Apache Spark und Snowflake. OpenSharing unterstützt nun auch die Apache Iceberg REST Catalog API – was die Freigabe von Daten für jeden Iceberg-kompatiblen Client ermöglicht. Anbieter können auch Tabellen aus externen Katalogen wie AWS Glue, Hive Metastore und Snowflake Horizon freigeben und so externe Daten ohne Replikation in das kontrollierte OpenSharing-Ökosystem integrieren.

Wie OpenSharing funktioniert

Aufbauend auf derselben Einfachheit, die Delta Sharing so erfolgreich gemacht hat, erweitert OpenSharing das Protokoll, um den gesamten AI-Asset-Stack zu unterstützen:

1. Der Datenanbieter erstellt eine Freigabe in Unity Catalog und definiert, welche Datensätze, Modelle, Agenten oder Genie-Agenten freigegeben werden sollen, und legt feingranulare Zugriffsberechtigungen fest.
2. Der Empfänger erhält sichere Anmeldedaten und fragt die Freigabe direkt über seine vorhandenen Tools, seine Cloud oder seinen Iceberg-Client ab – ohne auf Databricks sein zu müssen.
3. Unity Catalog setzt die End-to-End-Governance durch – prüft jeden Zugriff, erzwingt Kontrollen auf Zeilen- und Spaltenebene und stellt sicher, dass Compliance-Richtlinien mit jedem freigegebenen Asset übertragen werden.
4. Daten werden niemals verschoben – Empfänger fragen Live-Daten direkt aus dem Cloud-Speicher des Anbieters ab, was eine Single Source of Truth gewährleistet.

Bei Enterprise-Bereitstellungen auf Databricks setzen SecureConnect und Global Distribution auf diesem Workflow auf – sie übernehmen das cloudübergreifende Networking und die Replikation automatisch, ohne dass sich die Art und Weise ändert, wie Anbieter oder Empfänger mit ihren Freigaben interagieren.

Bereit für den Einstieg in OpenSharing?

• Besuchen Sie die OpenSharing-Produktseite unter https://www.databricks.com/product/opensharing
• Besuchen Sie die OSS-Projektseite unter opensharing.io, um mehr zu erfahren und direkt loszulegen.
• Lesen Sie die vollständige Databricks-Pressemitteilung für weitere Details zur OSS-Ankündigung.

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag