Neuigkeiten bei Datenaustausch und der Zusammenarbeit im Lakehouse

Databricks bietet den ersten Open Source-Ansatz für Data Sharing und Zusammenarbeit über Daten, Analytics und KI hinweg. Kunden können Live-Datensätze – sowie KI-Modelle, Anwendungen und Notebooks – über Plattformen, Clouds und Regionen hinweg ohne Anbieterbindung teilen. Beschleunigen Sie Innovationen und generieren Sie neue Umsatzströme mit erweiterten Möglichkeiten für die Bereitstellung transformativer Datenprodukte. Diese Flexibilität wird durch starke Sicherheit und Governance dank Integration von Delta Sharing in Databricks Unity Catalog erreicht, um den Zugriff auf geteilte Datensätze zu steuern, zu verfolgen und zu prüfen. Wir freuen uns, neue Funktionen zur Weiterentwicklung der Lakehouse Collaboration Platform anzukündigen. Wir freuen uns, bekannt zu geben, dass Databricks sein Delta-Sharing-Ökosystem um neue Partner, die allgemeine Verfügbarkeit des Databricks Marketplace und die Databricks Clean Rooms in der Private Preview auf AWS erweitert.

Data Sharing mit Delta Sharing beschleunigen

Vor zwei Jahren haben wir das Open-Source-Projekt Delta Sharing gestartet. Das branchenweit erste offene Protokoll für das sichere Data Sharing. Seit dem Start nutzen viele Organisationen Delta Sharing. Mehr als 6.000 Organisationen nutzen Daten über Delta Sharing. Täglich werden über 300 Petabyte an Daten über Delta Sharing auf Databricks geteilt. Dabei handelt es sich um Daten, die organisationsübergreifend gelesen und verarbeitet werden. Während viele andere Anbieterlösungen Sie an sich binden, sehen wir bei Kunden, die Delta Sharing verwenden, eine unglaubliche Dynamik. Unternehmen können Daten von jeder Plattform und jedem Anbieter freigeben und nutzen, die das offene Delta-Sharing-Protokoll unterstützen. Mit einem offenen Ansatz, der durch Delta Sharing unterstützt wird, können Unternehmen ihre Daten schneller nutzbar machen und schneller Erkenntnisse gewinnen.

Wir freuen uns, bekannt zu geben, dass Databricks das Delta Sharing-Ökosystem mit neuen Partnern, darunter Cloudflare, Dell, Oracle und Twilio, erweitert, um Daten nahtlos zwischen ihren Plattformen, Databricks, Apache Spark™, Pandas, PowerBI, Excel und jedem anderen System, das das offene Protokoll unterstützt, zu teilen.

Databricks Marketplace ist jetzt allgemein verfügbar

Auf Delta Sharing basieren weitere Kollaborationsfunktionen, einschließlich des Databricks Marketplace. Wir haben kürzlich die Public Preview des Databricks Marketplace angekündigt und freuen uns, heute die allgemeine Verfügbarkeit des Databricks Marketplace bekannt zu geben.

Viele Cloud-Anbieter bieten Daten-Marketplaces an, aber als wir Datenanbieter befragten, gaben diese an, dass sie auf Einschränkungen stoßen:

• Marketplaces sind auf eine bestimmte Cloud oder ein bestimmtes Data Warehouse beschränkt.
• Beschränkt auf reine Daten oder einfache Anwendungen.
• Die Datenbereitstellung erfordert entweder ETL oder den Einsatz eines proprietären Bereitstellungsmechanismus.

Databricks Marketplace ist ein offener Marketplace für Datenlösungen, sodass jeder Client, der Delta Shares lesen kann, auf den Marketplace zugreifen kann. Dies bietet Anbietern große Vorteile, um mehr Nutzer zu erreichen. Verbraucher können einfach mehr als nur Datasets entdecken und Datenprodukte schneller bewerten, da die Assets Notebooks und Visualisierungen enthalten. Außerdem müssen sie kein Databricks-Kunde sein, um die Vorteile des Marketplace zu nutzen. Es ist wirklich offen.

Mit dem ab heute verfügbaren Databricks Marketplace können Sie Daten-Assets, einschließlich Datensätzen und Notebooks, auf dem öffentlichen Marktplatz oder in privaten Exchanges teilen und austauschen. Der Databricks Marketplace steht auch Nicht-Databricks-Nutzern offen.

Neue Datenanbieter auf dem Databricks Marketplace

In den letzten Monaten haben wir die Zahl unserer branchenübergreifenden Partner kontinuierlich erhöht und bieten Hunderte von Einträgen auf unserem Marketplace, die Sie in unserem Open Marketplace erkunden können. Der Databricks Marketplace begrüßt außerdem weitere Launch-Datenanbieter aus verschiedenen Branchen:

• Finanzdienstleistungen: S&P Global, Experian, London Stock Exchange Group, Corelogic, YipitData, Morningstar und Bloomberg Government
• Gesundheitswesen und Life Sciences: IQVIA, Definitive Healthcare, Datavant und Ontada
• Geodaten: Foursquare, Divirod, Accuweather Veraset, Safegraph und Carto
• Werbung und Marketing: LiveRamp, Acxiom
• Wirtschaftsinformationsdienste: LexisNexis und ZoomInfo
• Einzelhandel: Circana (ehemals IRI)

„Da die Akzeptanz von KI und erweiterte Analytics zunimmt, freuen wir uns über die Partnerschaft mit Databricks, um Kunden dabei zu helfen, schneller zu Erkenntnissen zu gelangen. Diese Zusammenarbeit zielt darauf ab, Unternehmen einen einheitlichen Datenzugriff in Echtzeit zu ermöglichen, die Zusammenarbeit zu fördern und erweiterte Analysen- sowie quantitative Entscheidungsfindungsfähigkeiten in der Finanzbranche und darüber hinaus voranzutreiben.“ – Stuart Brown, Group Head of Enterprise Data Lösungen bei der London Stock Exchange

Demnächst verfügbar: Funktionen zum Teilen von KI-Modellen

Databricks wird auch das Teilen von KI-Modellen im Databricks Marketplace anbieten, was es Datenkonsumenten und -anbietern ermöglicht, KI-Modelle zu entdecken, zu monetarisieren und KI in all ihre Datenlösungen zu integrieren. Mit der Freigabe von KI-Modellen erhalten Databricks-Kunden Zugriff auf erstklassige Modelle, die schnell und sicher auf ihre Daten angewendet werden können. Databricks selbst wird Open-Source-Modelle für gängige Anwendungsfälle wie das Befolgen von Anweisungen und die Textzusammenfassung kuratieren und veröffentlichen und das Tuning oder die Bereitstellung dieser Modelle auf Databricks optimieren. Das Teilen von KI-Modellen im Databricks Marketplace wird für das kommende Jahr als Preview erwartet.

Demnächst: Lakehouse Apps im Databricks Marketplace

Daten- und KI-Anwendungen gehören zu den am schnellsten wachsenden Softwarekategorien, und das Wachstum bei generativer KI und großen Sprachmodellen (LLMs) hat diesen Trend beschleunigt. Für Kunden werden Lakehouse Apps die sicherste Möglichkeit sein, Anwendungen auszuführen, die das volle Potenzial der Daten in ihrer Lakehouse ausschöpfen, native Databricks-Dienste nutzen und Databricks um neue Funktionen erweitern. Lakehouse Apps bieten Benutzern sicheren und einfachen Zugriff auf eine breite Palette innovativer neuer Anwendungen und reduzieren den Zeit- und Arbeitsaufwand für die Einführung, Integration und Verwaltung von Daten- und KI-Anwendungen.

Lakehouse-Apps sind eine neue Möglichkeit, Anwendungen für die Databricks-Plattform zu erstellen, bereitzustellen und zu verwalten. Entwickler profitieren von einer einfacheren Verteilung, indem sie ihre Lakehouse-Apps im Databricks Marketplace anbieten, sodass Kunden die Software schnell entdecken und bereitstellen können. Lakehouse-Apps im Databricks Marketplace werden voraussichtlich im kommenden Jahr als Preview verfügbar sein.

Datenschutzkonforme Zusammenarbeit mit Databricks Clean Rooms

Wir freuen uns, heute Databricks Clean Rooms als Private Preview auf AWS anzukündigen. Ein Data Clean Room ermöglicht eine sichere und isolierte Zusammenarbeit zwischen Organisationen, indem er das Zusammenführen und Verarbeiten der jeweiligen Datensätze erlaubt und dabei sicherstellt, dass keine Partei direkten Zugriff auf die Rohdaten der anderen oder in einigen Fällen auf proprietäre Pakete oder KI-Modelle hat.

Databricks Clean Rooms bietet eine sichere Umgebung für Unternehmen, um mit Kunden und Partnern in jeder Cloud zusammenzuarbeiten, und legt dabei Wert auf Flexibilität, Skalierbarkeit und Interoperabilität. Im Gegensatz zu anderen Lösungen unterstützt Databricks Clean Rooms mehrere Sprachen (SQL, R, Scala, Java, Python) und ermöglicht so sowohl einfache analytische Workloads wie Joins als auch komplexe Berechnungen wie Machine Learning. Es bietet Skalierbarkeit für die Zusammenarbeit mit mehreren Partnern und reduziert so den Aufwand für die Verwaltung mehrerer Anbieter. Aufbauend auf dem offenen Delta Sharing können Teilnehmer Daten sicher und ohne Datenreplikation oder Plattform-Lock-in austauschen und sich so vom einfachen Data Sharing zum sicheren Joint Compute weiterentwickeln.

Erste Schritte mit Data Sharing und Zusammenarbeit in Databricks

Databricks ermöglicht offenes Teilen und Zusammenarbeit, und wir können es kaum erwarten zu sehen, wie Sie Delta Sharing, den Databricks Marketplace, Lakehouse Apps und Databricks Clean Rooms nutzen, um einfach und vertrauensvoll zusammenzuarbeiten.

Verpassen Sie nicht weitere spannende Updates zum Data Sharing und zur Zusammenarbeit und unsere Sitzungen auf dem Data and KI Summit. Die Sessions werden kurz nach Ende der Konferenz on-demand zur Verfügung gestellt.

Registrieren Sie sich, um Datenanbieter zu werden (bitte wählen Sie „Marketplace“ als gewünschtes Programm aus).

Bekunden Sie Ihr Interesse an unserer Private Preview für Databricks Clean Rooms oder warten Sie auf die Public Preview, die später in diesem Jahr verfügbar sein wird.