Neues beim Datenaustausch und der Zusammenarbeit

Wir bei Databricks haben es uns zur Aufgabe gemacht, Daten + AI zu demokratisieren. Ein offener Ansatz für den Austausch und die Zusammenarbeit ist entscheidend, um die Reichweite und Wirkung zu maximieren. Innerhalb unserer Data-Intelligence-Plattform hilft das offene Protokoll Delta Sharing unseren Kunden, Daten und AI-Assets einfach und sicher zu teilen, um Innovationen zu beschleunigen. Für die Zusammenarbeit mit Daten von Drittanbietern ist der Databricks Marketplace der offene Marktplatz für all Ihre Anforderungen in den Bereichen Daten, Analytics und AI. Mit einem wachsenden Ökosystem von Datenpartnern, die eine Vielzahl von Daten- und AI-Assets teilen, ermöglicht der Databricks Marketplace Datenkonsumenten, Innovationen voranzutreiben. Databricks Clean Rooms bietet Unternehmen eine datenschutzfreundliche Umgebung, um in jeder Cloud einfach und sicher zusammenzuarbeiten. Letzte Woche haben wir 12 neue, branchenführende Partner angekündigt, um das offene Ökosystem von Delta Sharing zu erweitern. Heute freuen wir uns, Ihnen zeigen zu können, wie wir das Wachstum unseres Ökosystems beschleunigen, und neue Updates zu den Feature-Releases von Delta Sharing vorzustellen. Außerdem freuen wir uns, die Verfügbarkeit der datenschutzfreundlichen Zusammenarbeit mit Databricks Clean Rooms in der Public Preview (in Kürze verfügbar) auf AWS und Azure bekannt zu geben.

Das Wachstum beim Datensharing mit Delta Sharing beschleunigen

Databricks-Kunden realisieren plattform- und cloudübergreifende Kooperationen mit ihren Kunden und Partnern in einem flexiblen, sicheren und offenen Ökosystem ohne Vendor-Lock-in. Das Engagement von Databricks für Innovation und Zusammenarbeit hat im vergangenen Jahr zu beachtlichen Ergebnissen geführt, und das Ökosystem verzeichnet ein beeindruckendes Wachstum.

Wir haben ein massives Wachstum in unserem gesamten Ökosystem verzeichnet: Mehr als 16.000 Datenempfänger aus den verschiedensten Organisationen nutzen Delta Sharing bereits für die Zusammenarbeit mit Partnern und Kunden. Heute freuen wir uns, ein YoY-Wachstum von über 300 % bei den aktiven Delta Shares in unserem offenen Ökosystem bekannt zu geben. Dabei nutzen 40 % der Delta Shares unsere plattformübergreifenden offenen Connectors, die Apache Spark, Pandas, Power BI und das kürzlich angekündigte Tableau unterstützen, um auf freigegebene Daten zuzugreifen und diese zu lesen.

Die neuesten Partner von Delta Sharing entwickeln Lösungen für das Datensharing, erweitern bestehende „Built on“-Partnerschaften um neue Funktionen und treiben Technologiepartnerschaften voran, die es gemeinsamen Kunden ermöglichen, Daten nahtlos zwischen Plattformen auszutauschen. Zu diesen neuen Partnerschaften gehören Acxiom, Amperity, Atlassian, Aveva, HealthVerity, Shutterstock, Stocktwits, T-Mobile, TetraScience und The Trade Desk. Databricks kündigt außerdem erweiterte Partnerschaften mit Epsilon, LiveRamp, S&P Global und Tableau an.

"Atlassian Analytics hat vor Kurzem Data Shares auf Basis von Delta Sharing von Databricks eingeführt, um die Flexibilität zu erhöhen und die Time-to-Insight für Kunden zu verkürzen. … Das offene Ökosystem von Connectors für Delta Sharing, darunter Tableau, PowerBI und Spark, ermöglicht es Kunden, ihre Umgebungen ganz einfach mit Daten direkt aus dem Atlassian Data Lake zu versorgen." —Ben Jackson, Senior Group Product Manager, Data & Analytics, Atlassian

Neue Innovationen bei Delta Sharing ermöglichen den Erfolg von Daten + AI

Vor drei Jahren haben wir das Open-Source-Projekt Delta Sharing angekündigt – das branchenweit erste offene Protokoll für den sicheren Datenaustausch. Seitdem wurde Delta Sharing kontinuierlich weiterentwickelt, um es Kunden zu erleichtern, Live-Daten und AI plattform-, cloud- und regionsübergreifend freizugeben – ganz ohne Replikation.

Aufbauend auf diesem offenen Ansatz ist es unser Leitprinzip, Delta Sharing zum offensten, sichersten und flexibelsten Tool zu machen – mit dem jeder jedes Daten-Asset mit jedem Empfänger auf jeder Plattform teilen kann, für jeden Anwendungsfall von SQL bis AI. Zu diesem Zweck haben wir die Entwicklung neuer offener Sharing-Funktionen sowohl für Datenbereitsteller als auch für Datenempfänger fortgesetzt und freuen uns, mehrere neue Produktinnovationen für Delta Sharing vorzustellen.

Wir freuen uns, bekannt geben zu können, dass zwei kürzlich in der Public Preview veröffentlichte Delta Sharing-Features ab sofort allgemein verfügbar (Generally Available) sind: Volume Sharing und die Unterstützung für Cloudflare R2. „Volumes“ sind ein neuer Objekttyp in Unity Catalog für Sammlungen von Verzeichnissen und Dateien. Mit Volume Sharing haben Sie jetzt die Flexibilität, große Mengen unstrukturierter oder nicht tabellarischer Daten (z. B. Bilder, Audio-, Video- oder PDF-Dateien) arbeitsbereichsübergreifend und ohne kostspielige Replikation zu teilen. Dieses neue Feature trägt dazu bei, Innovationen bei der Verarbeitung unstrukturierter/nicht tabellarischer Daten für Data-Science-, AI- und Machine-Learning-Workloads zu beschleunigen. Die Unterstützung für Cloudflare R2 hilft gemeinsamen Kunden des verteilten Objektspeicherangebots von Cloudflare ohne Egress-Gebühren, von wegfallenden Egress-Gebühren ohne kostspielige Replikation über Regionen hinweg und ohne Vendor-Lock-in zu profitieren. Diese strategische Partnerschaft mit Cloudflare hat Kunden wie Allium bereits geholfen, durch die kombinierte Nutzung von Delta Sharing und Cloudflare R2 bis zu 645.000 USD pro Jahr einzusparen.

Cross-Platform View Sharing ist ein spannendes neues Feature, mit dem Datenbereitsteller Ansichten (Views) ganz einfach mit beliebigen Empfängern teilen können. Obwohl Ansichten seit Jahren ein sehr beliebter Mechanismus für die dynamische Freigabe von Daten sind, beschränkt sich das Teilen von Ansichten oft auf dieselbe Plattform und Cloud-Region, was es schwierig macht, alle Benutzer an ihren jeweiligen Standorten zu erreichen. Wir freuen uns, Ihnen mitteilen zu können, dass Databricks-Kunden Ansichten sicher mit allen Empfängern teilen können, unabhängig davon, welche Cloud, Region oder Plattform diese nutzen. Cross-Platform View Sharing wird in Kürze in der Private Preview verfügbar sein. Sie können sich jetzt registrieren, um Zugang zur Preview anzufordern, sobald diese verfügbar ist. Ein weiteres Delta Sharing-Feature, das wir veröffentlichen, ist das Teilen von Materialized Views und Streaming Tables in der Private Preview. Kunden, die Delta Live Tables nutzen, um auf einfache Weise zuverlässige und kosteneffiziente Datenpipelines aufzubauen, können die Ergebnisse dieser Pipelines nun problemlos mit ihren Empfängern teilen, ohne zusätzliche Kopien oder Pipelines erstellen und verwalten zu müssen. Registrieren Sie sich, um Zugang zur Preview anzufordern.

Kunden haben uns berichtet, dass sie ein Sharing-Ökosystem benötigen, das auf alle benötigten Daten zugreifen kann, unabhängig davon, wo sich diese befinden. Wir freuen uns sehr, Sharing for Lakehouse Federation ankündigen zu können, eine neue Funktion, mit der Kunden Daten direkt von ihrem Speicherort aus teilen können, ohne sie nach Databricks kopieren zu müssen. Dies ermöglicht es Datenbereitstellern, auf einfache Weise Zugriff auf Daten zu gewähren, die in ihrem Data Warehouse oder ihrer Datenbank (z. B. Snowflake, BigQuery, Redshift, MySQL, PostgreSQL usw.) gespeichert sind. So können Databricks-Kunden auf die größtmögliche Auswahl an Datensätzen zugreifen, ohne dass für die Bereitsteller zusätzlicher Aufwand entsteht. Dieses Feature wird in Kürze in der Private Preview verfügbar sein. Registrieren Sie sich, um Zugang zur Preview anzufordern.

All diese unglaublichen neuen Features ergänzen die jüngsten Innovationen der letzten sechs Monate, darunter das derzeit in der Public Preview befindliche AI Model Sharing, mit dem Sie Modelle mit Ihren Partnern und Kunden teilen können, die diese dann mithilfe von Mosaic AI in ihrer Databricks-Umgebung bereitstellen können. AI Model Sharing bietet bahnbrechende Vorteile für den einfachen Austausch von Modellen über Clouds und Regionen hinweg und ermöglicht es Empfängern gleichzeitig, den Datenschutz ihrer Daten bei der Nutzung von Drittanbieter-Modellen zu gewährleisten.

Ankündigung der Clean Rooms Public Preview auf AWS + Azure

Databricks Clean Rooms bietet eine datenschutzfreundliche Umgebung für die Zusammenarbeit an all Ihren Daten- und AI-Assets ohne direkten Zugriff auf sensible Daten. Heute kündigen wir an, dass Databricks Clean Rooms in Kürze in der Public Preview auf AWS und Azure verfügbar sein wird. Sie können sich hier registrieren, um vorzeitigen Zugang zur Preview zu erhalten.

Unternehmen suchen nach Möglichkeiten, ihre Daten sicher auszutauschen und mit externen Partnern zusammenzuarbeiten, um datengestützte Innovationen zu fördern. In der Vergangenheit hatten Unternehmen nur begrenzte Lösungen für den Datenaustausch. Sie mussten die Kontrolle darüber abgeben, wie ihre sensiblen Daten mit Partnern geteilt wurden, und hatten kaum oder gar keinen Einblick darin, wie ihre Daten genutzt wurden. Dies barg das Risiko von potenziellem Datenmissbrauch und Datenschutzverletzungen. Kunden, die andere Clean-Room-Lösungen ausprobiert haben, berichteten uns, dass diese Lösungen eingeschränkt sind und ihren Anforderungen nicht entsprechen, da sie oft von allen Parteien verlangen, ihre Daten auf dieselbe Plattform zu kopieren, keine anspruchsvollen Analysen über einfache SQL-Abfragen hinaus ermöglichen und nur begrenzte Transparenz oder Kontrolle über ihre Daten bieten.

Unternehmen benötigen eine offene, flexible und datenschutzfreundliche Möglichkeit zur Zusammenarbeit an Daten, und Databricks Clean Rooms erfüllt diese entscheidenden Anforderungen.

• Jede Cloud, jede Plattform. Die sichere, offene und flexible Zusammenarbeit wird durch Delta Sharing ermöglicht. Mit Clean Rooms können Sie über Clouds, Regionen und sogar Plattformen hinweg zusammenarbeiten, indem Sie das neue Sharing für Lakehouse Federation nutzen (siehe Details oben).
• Jede Sprache und jeder Workload Ihrer Wahl: Im Gegensatz zu anderen Data Clean Rooms auf dem Markt unterstützt Databricks Clean Rooms jede Sprache und jeden Workload, einschließlich nativer Unterstützung für ML und AI mit Python. Clean Rooms ist eine flexible, interoperable Lösung, die es Unternehmen ermöglicht, mit jedem zusammenzuarbeiten, unabhängig von Cloud oder Plattform und ohne die Notwendigkeit einer Replikation.
• Jede Skalierung: Clean Rooms unterstützt auch die Zusammenarbeit und operative Funktionen in großem Maßstab. Dank der Unterstützung von APIs, SQL-Befehlen und der integrierten Orchestrierung von Databricks Workflows können Sie Clean-Room-Workloads ganz einfach automatisieren. Projektpartner erhalten freigegebene Ausgabedaten zudem direkt in ihrem Unity Catalog, wo sie bequem für nachfolgende Anwendungsfälle genutzt werden können. In Kürze können auch mehrere Partner gemeinsam in einem Databricks Clean Room arbeiten.

Wachstum des Databricks Marketplace-Ökosystems und Produktinnovationen

Viele Marketplaces sind geschlossene Ökosysteme, die auf bestimmte Clouds oder Data Warehouses beschränkt sind und sich oft nur auf Daten oder einfache Anwendungen konzentrieren. Im Juni 2023 haben wir den Databricks Marketplace eingeführt – eine offene Plattform, die all Ihre Anforderungen in den Bereichen Daten, Analysen und AI abdeckt. Unterstützt durch Delta Sharing bietet der Marketplace eine vielfältige Auswahl an Datasets, AI-Modellen, Notebooks und Lösungen.

Im vergangenen Jahr hat der Databricks Marketplace mehrere Innovationen eingeführt, wie z. B. AI Model Sharing on Marketplace, Volume Sharing on Marketplace (siehe aktuellen Blogbeitrag Shutterstock Uses Volume Sharing for Seamless Collaboration), Databricks to Open Sharing, Private Exchanges und Solution Accelerators, um Datennutzern das schnellere Entdecken und Evaluieren von Datenprodukten zu erleichtern und ihre Analyse- und AI-Initiativen zu beschleunigen. Die folgende Grafik bietet eine schnelle Übersicht über diese neuen Produktfunktionen und die Vorteile für Kunden.

Der Databricks Marketplace verzeichnete ebenfalls ein bemerkenswertes Wachstum: Mehr als 2.000 Angebote für Datasets, AI-Modelle und Solution Accelerators sind auf dem Databricks Marketplace verfügbar. Dies entspricht einer Steigerung der Angebote um 320 % im Vergleich zum Vorjahr und einem Zuwachs von 300 % bei neuen Datenanbietern.

"Shutterstock bringt seine riesige Sammlung von fast einer Milliarde kreativer Inhalte in den Databricks Marketplace ein – eine Plattform, die für die Förderung offener Daten- und AI-Zusammenarbeit bekannt ist. Diese Integration bietet einen beispiellosen Zugang zu unserer umfangreichen Bibliothek an ethisch einwandfreien visuellen Inhalten und treibt verantwortungsvolle AI- und ML-Initiativen in verschiedenen Branchen voran. Wir freuen uns, Delta Sharing als Methode zur Datenbereitstellung hinzuzufügen. Kunden, die unsere reichhaltigen Datasets auf Databricks nutzen, können neue Möglichkeiten erschließen, Produktinnovationen beschleunigen und sich einen Wettbewerbsvorteil sichern." —Aimee Egan, Chief Enterprise Officer, Shutterstock

Erste Schritte mit Datenaustausch und Zusammenarbeit in Databricks

Databricks ermöglicht den offenen Datenaustausch und die Zusammenarbeit. Wir freuen uns darauf zu sehen, wie Sie Delta Sharing, den Databricks Marketplace und Databricks Clean Rooms nutzen, um Innovationen voranzutreiben und Ihre Daten- und AI-Initiativen erfolgreich umzusetzen.

Bleiben Sie auf dem Laufenden über alle unsere Updates zum Datenaustausch und zur Zusammenarbeit auf dem Data and AI Summit vom 10. bis 13. Juni, oder verfolgen Sie die Livestreams der Keynotes und ausgewählter Sessions.

Bekunden Sie Ihr Interesse an der Teilnahme an unseren Databricks Clean Rooms über das Interessentenformular, bevor die Public Preview veröffentlicht wird. Sie können sich auch für die Private Preview von Delta Sharing Cross-Platform View Sharing sowie für die Private Preview von Delta Sharing Materialized Views und Streaming Table Sharing anmelden.

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag