Wir stellen vor: Lakehouse//RT: Echtzeit-Performance auf einem einheitlichen Lakehouse

Als wir die Lakehouse-Architektur einführten, war es unsere Vision, eine einzige, einheitliche Plattform für all Ihre Datenanforderungen zu schaffen, indem wir die Trennung zwischen Data Lakes und Data Warehouses aufheben. Wir haben mit dem Databricks Lakehouse bewiesen, dass dies möglich ist, indem wir verschiedene Workloads in den Bereichen Analytics, BI, AI und ETL auf einer einzigen Plattform unter Verwendung offener Daten zusammengeführt, Redundanzen beseitigt und die Governance zentralisiert haben.

Jetzt führen wir das Real-Time-Serving mit unserer zentralen Datenplattform zusammen. Heute wird dies meist durch die Verwendung eines separaten Serving-Layers oder einer spezialisierten Engine gelöst. Dies führt zu isolierten Datenkopien, die Ihre Datenarchitektur komplexer, teurer und risikoreicher machen.

Databricks freut sich, ankündigen zu können, dass wir Millisekunden-Performance direkt in das Lakehouse bringen. Wir führen Lakehouse//RT ein, das neue Echtzeit-Data-Warehouse von Databricks, das für operative Analysen, BI- und App-Serving sowie Observability-Workloads entwickelt wurde. Lakehouse//RT basiert auf Reyden, einer bahnbrechenden neuen Engine für Echtzeit-Workloads, die sofortige Reaktionszeiten bei hoher Parallelität erfordern.

Separate Serving-Layer: Ein fauler Kompromiss

Da Unternehmen den Datenzugriff auf immer mehr Benutzer, Anwendungen, Dashboards und Agenten ausweiten, steigt die Nachfrage nach Echtzeit-Reaktionszeiten bei hoher Parallelität kontinuierlich an. Die traditionelle Antwort darauf war die Einführung eines dedizierten Serving-Layers. Dieser Ansatz ist zwar schnell beim Lesen, erfordert jedoch das Kopieren von Daten in eine neue Schicht, was diese vom Rest Ihrer Plattform isoliert und zusätzliche Komplexität in Ihre Umgebung bringt.

Das Kopieren Ihrer Daten in einen separaten Serving-Layer ist nicht umsonst. Es kostet Sie das Dreifache, noch bevor Sie eine einzige Abfrage ausgeführt haben.

1. Sie zahlen durch Duplizierung. Sie extrahieren Ihre Daten aus offenen Formaten wie Delta und Iceberg und kopieren sie in proprietäre Speicher, die keine andere Engine lesen kann. Jetzt besitzen Sie eine zweite Ingestion-Pipeline, neue Fehlerquellen bei jedem Synchronisationsabbruch und zusätzlichen Betriebsaufwand bei jeder Änderung der Quelldaten.
2. Sie zahlen bei der Governance. Die Sicherheitsrichtlinien, Zugriffskontrollen und die Geschäftslogik, die Sie einmal in Unity Catalog definiert haben, folgen den Daten nicht in den Serving-Layer. Sie müssen sie also an einer zweiten Stelle erneut definieren. Sobald beide voneinander abweichen, haben Sie inkonsistente Regeln, fragmentierten Zugriff und eine Sicherheitslücke, die Ihr Sicherheitsteam erklären muss.
3. Sie zahlen beim Engineering. Jemand muss diese Pipeline betreuen. Jemand muss die Synchronisationsfehler beheben. Jemand muss den zweiten Cluster betreiben. Die Engineers, die Ihren am stärksten latenzempfindlichen Workloads am nächsten sind, verbringen ihre Tage letztendlich mit der Infrastrukturarbeit statt mit dem Produkt.

Der Haken an der Sache: Und selbst wenn Sie alle drei Preise bezahlt haben, kann der Serving-Layer immer noch nicht alle Ihre Abfragen ausführen. Sobald eine Abfrage komplex wird (z. B. Joins, Window-Funktionen) oder die Datenmenge groß wird, bricht er zusammen.

Lakehouse//RT: Echtzeit-Performance, powered by Reyden

Lakehouse//RT ist ein neues Echtzeit-Warehouse, das Millisekunden-Performance in massivem Umfang ohne Datenbewegung liefert. Sie können Echtzeit-Workloads unterstützen und gleichzeitig dieselben offenen Formate, dasselbe Governance-Modell und dieselbe zentrale Datenarchitektur nutzen, die bereits Ihre Analysen und AI unterstützen.

Teilnehmer der Preview-Phase konnten eine bis zu 16-mal bessere Performance im Vergleich zu Echtzeit-Serving-Layern feststellen, mit Antwortzeiten von nur 10 ms bei kleineren Datensätzen und unter 100 ms bei größeren Datensätzen. Bei standardmäßigen analytischen Benchmarks liefert Lakehouse//RT eine Latenz von unter 100 Millisekunden bei 12.000 Abfragen pro Sekunde.

Aber eine einzelne Zahl in einem Benchmark lässt sich leicht herauspicken. Der eigentliche Test ist, ob diese Geschwindigkeit überall Bestand hat: bei größeren Datenmengen, komplexeren Abfragen und unter höherer Last.

Lakehouse//RT übertrifft die Konkurrenz in allen Benchmarks

Dieser neue Ansatz bedeutet, dass Lakehouse//RT selbst bei Tausenden von Abfragen pro Sekunde sowohl bei großen als auch bei kleinen Datensätzen eine geringe Latenz beibehalten kann, während andere Data Warehouses oder spezialisierte Echtzeit-Engines Latenzspitzen aufweisen oder sogar ganz ausfallen können.

So sieht das in drei Dimensionen aus:

1. Unter Last: Es ist einfach, eine niedrige Latenz bei einer einzelnen Abfrage zu erzielen. Die Herausforderung entsteht, wenn ein Dashboard oder eine Anwendung Tausende von Abfragen gleichzeitig an das System sendet. Sie möchten nicht, dass Ihre Endbenutzer Ihre Analyseanwendung öffnen und Sekunden oder gar Minuten warten müssen, bis sie geladen ist. Wir haben Lakehouse//RT im Vergleich zu den führenden Alternativen bezüglich der Abfragelatenz getestet, während wir den Durchsatz von einer Handvoll Abfragen pro Sekunde auf Tausende gesteigert haben. Die Alternativen verhalten sich alle gleich: Die Latenz bleibt eine Weile stabil, steigt dann an und schließlich reagiert die Engine überhaupt nicht mehr. Lakehouse//RT bleibt über den gesamten Bereich hinweg konstant und skaliert auf Tausende von Abfragen pro Sekunde, ohne Kompromisse bei der Abfragelatenz einzugehen.

2. Skalierbarkeit: Dieser Test basiert auf TPCH, einem Standard-Benchmark zur Entscheidungsunterstützung. Wir haben eine Reihe von Abfragen über ein Vertriebsschema ausgeführt, das große Tabellenscans, Tabellen-Joins und Aggregationen kombiniert – also die typische Form des täglichen Geschäftsberichts. Wir führen dies von kleinen Datensätzen bis hin zu einem Terabyte durch, dem Weg, den jeder Datensatz nimmt, wenn Nutzung und Historie anwachsen. Lakehouse//RT hält die Latenz auch bei wachsenden Datenmengen niedrig, und das Diagramm zeigt, wie die Performance über verschiedene Skalierungsfaktoren hinweg stabil bleibt. Leider fielen bei großen Skalierungsfaktoren 2 der 3 von uns getesteten Alternativen komplett aus. Dies verdeutlicht einmal mehr, dass diese zusätzlichen Echtzeit-Stacks nicht in der Lage sind, nennenswerte Datenmengen zu verarbeiten.

3. Bei den komplexesten Abfragen: Dieser Test basiert auf TPCDS, einem anspruchsvolleren Benchmark zur Entscheidungsunterstützung für Data Warehouses. Wir haben eine Reihe komplexer Abfragen ausgeführt, die aus tiefen Tabellen-Joins, Unterabfragen und Window-Funktionen über ein realistisches Warehouse-Schema bestehen – also die Art von Analysen, die ein Analyst schreibt, wenn die Fragestellung weit über eine einfache Abfrage hinausgeht. Lakehouse//RT hält die Latenz auch bei schwierigeren Abfragen niedrig, und das Diagramm zeigt, dass sich der Abstand nur noch vergrößert, wobei eine Alternative bis zu 25-mal langsamer läuft. Und wieder fiel dieselbe Alternative bei der größten Skalierung komplett aus. Ein weiterer Beweis dafür, dass zusätzliche Echtzeit-Stacks, die für einfache Lookups entwickelt wurden, die komplexen Analysen, die Unternehmen täglich durchführen, nicht bewältigen können.

Das Ergebnis ist in allen drei Bereichen konsistent: schnell unter Last, schnell bei Skalierung und schnell bei den komplexesten Abfragen – in einer einzigen Engine und auf einer einzigen Kopie Ihrer Daten. Unsere Preview-Kunden konnten mit Lakehouse//RT in realen Szenarien, von Dashboards bis hin zu Echtzeit-Analyseanwendungen, ähnliche Performance-Gewinne verzeichnen.

Millisekunden-Geschwindigkeit in großem Umfang auf einer einheitlichen, gut verwalteten Plattform

Durch die Zusammenführung von Echtzeit-Performance mit Ihrer zentralen Datenplattform beseitigt Lakehouse//RT architektonische Kompromisse und bietet drei wesentliche Vorteile: Echtzeit-Antworten, eine optimierte Architektur und eine konsistente Governance.

Echtzeit-Antworten

Wenn es darauf ankommt, schnellstmöglich die aktuellsten Erkenntnisse zu gewinnen, liefert Lakehouse//RT ab. Kunden in anspruchsvollen Branchen, in denen jede Millisekunde zählt – unabhängig von der Anzahl der gleichzeitigen Abfragen –, verkürzen ihre Time-to-Insight mit dem Echtzeit-Lakehouse drastisch.

Hier sind einige der Performance-Gewinne, die unsere ersten Preview-Kunden erzielt haben:

„Meta Enterprise führt Analysen für unsere eigenen Teams in den Bereichen Lieferkette, Finanzen und darüber hinaus durch – Bereiche, in denen Analysten sofortige Antworten erwarten, selbst bei hoher Parallelität auf unseren größten Tabellen. Mit Lakehouse//RT erhalten wir unsere typischen Abfrageergebnisse in zweistelligen Millisekundenbereichen direkt aus den Daten im Lake, ohne dass ein separates System daneben erforderlich ist.“

— Srikanth Sakhamuri, Data Engineering Leader bei Meta

„SES, ein Anbieter von Weltraumlösungen, hilft Regierungen beim Schutz, Unternehmen beim Wachstum und Menschen, in Verbindung zu bleiben – egal wo sie sich befinden. Mit integrierten Satelliten in mehreren Umlaufbahnen und unserem globalen terrestrischen Netzwerk liefern wir eine widerstandsfähige, nahtlose Konnektivität. Unsere Betriebs-Dashboards basieren auf Milliarden Zeilen von Live-Telemetriedaten und erfordern Antworten im Millisekundenbereich bei hoher Parallelität.

Lakehouse//RT liefert genau das direkt auf unseren Databricks-Daten – 20-mal schneller als unsere bisherigen Abfragezeiten und zu einem Bruchteil der Kosten, da wir keinen separaten Serving-Layer mehr betreiben müssen, um unsere Latenzanforderungen zu erfüllen.“

— Dennis Rossberg, Senior Data Cloud Architect bei SES

„Enverus ist die AI- und Datenplattform der Energiebranche, die auf mehr als 25 Jahren proprietärer Expertise mit 2,7 Petabyte kontinuierlich aktualisierten Daten, über 350 Millionen Gerichtsakten und jährlichen Transaktionen im Wert von über 500 Milliarden US-Dollar basiert und die gesamte Energiewertschöpfungskette abdeckt. Das bedeutet, dass unsere Analysen interaktiv bleiben müssen, selbst wenn der Traffic von Analysten und eingebetteten Apps steigt.

Mit Lakehouse//RT werden einige Abfragen in wenigen Millisekunden beantwortet, andere sind bis zu 100-mal schneller als mit unserer spezialisierten Echtzeit-Engine. Dank dieser Performance können wir unseren separaten Analyse-Stack in einem einzigen, einheitlichen Lakehouse zusammenführen.“

— Paul Lamb, Director, Enterprise Analytics bei Enverus

Vereinfachte Architektur

Anstatt Daten zu kopieren, zu verschieben und zusätzliche Pipelines aufzubauen, können sich Teams auf eine einzige, agile Plattform verlassen, um die benötigte Rechenleistung ohne proprietäre Tools zu erhalten. Das bedeutet weniger Komplexität und weniger Systemwildwuchs.

„Unsere Plattform verarbeitet Hunderte von Abfragen pro Sekunde für Echtzeit-Performancedaten über unseren gesamten Kundenstamm hinweg, sodass sich Konsistenz und Latenz direkt auf das Kundenerlebnis auswirken.

Mit Lakehouse//RT sehen wir eine konsistente Performance von unter 200 Millisekunden bei unseren Core-Dashboard-Abfragen. Dass wir dies direkt auf verwalteten Lakehouse-Daten erreichen können, vereinfacht unsere Pipeline- und Serving-Architektur drastisch.“

— Kayvon Raphael, Senior Director of Engineering bei Magnite

„Die Bedrohungssuche erfordert eine konstant niedrige Latenz, selbst wenn die Nutzung über Benutzer und Agenten hinweg skaliert. Mit Lakehouse//RT sehen wir eine Performance im Millisekundenbereich auf Live-Daten mit einer 5-fachen Verbesserung der Antwortzeit. Dies eröffnet uns den Weg, diese Workloads auf unserem Lakehouse auszuführen, anstatt ein separates Serving-System zu betreiben.“

— Chris Kopek, Head of Data Platforms bei Cisco

„Bei Halcyon überwachen unsere Teams Sicherheitsdaten über Millionen von Endpunkten hinweg und korrelieren unterschiedliche Signale, um kritische Bedrohungen innerhalb von Sekunden zu identifizieren. Mit den Sicherheitsanforderungen unserer Kunden wuchs auch die Last auf unseren Systemen.

Lakehouse//RT lieferte die Performance und Concurrency, die wir benötigten. Unsere kritischen Abfragen laufen jetzt etwa 4-mal schneller, direkt auf unserem Lakehouse, ohne ein separates Caching-System.“

— Seagen Levites, Senior Director Quantitative Analysis bei Halcyon AI

Starke, konsistente Governance

Gleichzeitig bleibt die Governance zentralisiert. Sicherheitsrichtlinien, Berechtigungen, Zugriffskontrollen und Geschäftslogik werden mit dem Unity Catalog konsistent definiert und durchgesetzt. Ihre Teams müssen Regeln nicht duplizieren oder sich mit lückenhafter Governance herumschlagen. Sie richten es einmal ein, und es funktioniert überall.

„Lakehouse//RT lief auf unserem Healthcare-Datensatz im Durchschnitt mehr als ein Drittel schneller als unser vorheriges Warehouse, mit 10-mal schnelleren Abfragen [bei einigen Workloads]. Das bedeutet direkt einen schnelleren Informationszugriff und mehr Entscheidungszeit für unsere Kunden. Wir hatten ein dediziertes Echtzeit-System zur Ergänzung unserer Lakehouse-Architektur in Betracht gezogen, aber Lakehouse//RT machte dies überflüssig und bietet uns diese Geschwindigkeit nativ bei konsistenter Governance.“

— Mehrshad Setayesh, SVP Engineering (Data, Platform, AI) bei PointClickCare

„Bally’s ist einer der weltweit größten Technologiekonzerne für Gaming und Lotterie mit Millionen von Transaktionen pro Tag auf rund 60 TB in Delta Lake unter Unity Catalog. Unsere Betriebsteams benötigen Antworten in Sekundenschnelle. Um dies zu gewährleisten, haben wir separate Serving-Systeme mit geringer Latenz parallel zum Lakehouse betrieben. Lakehouse//RT beseitigt diesen Kompromiss: 7-mal schnellere Performance im Subsekundenbereich auf denselben Daten, direkt aus unseren verwalteten Delta-Tabellen. Keine Kopien, keine zusätzlichen Cluster, kein zweites System, das abgesichert werden muss.

Diese Einfachheit ist in einer stark regulierten Branche besonders wichtig, in der die Einhaltung höchster Standards bei Daten-Governance, Sicherheit und Datenschutz von grundlegender Bedeutung für unsere Arbeitsweise ist.“

— Mark Borg, Senior Vice President of Data bei Bally’s

„Equilibrium Energy definiert den Energiehandel neu – AI-Agenten arbeiten Hand in Hand mit menschlichen Händlern auf Live-Daten aus Dutzenden verschiedener Quellen und in der Geschwindigkeit, die der Markt tatsächlich erfordert. Das ist ein Workload, mit dem die meisten Echtzeit-Architekturen nicht mithalten können. Lakehouse//RT lieferte eine bis zu 3,6-mal schnellere Median-Latenz als SQL Serverless bei unseren Portal-Abfragen – schnell genug, damit Händler mit den Daten arbeiten können, anstatt auf sie zu warten, Szenarien durchspielen, gemeinsam mit AI-Agenten forschen und Entscheidungen in Sekundenschnelle treffen können.

Indem wir alles auf einer einzigen Plattform belassen – anstatt eine separate Echtzeitschicht an unseren Stack anzustücken –, können wir uns in dieser Geschwindigkeit bewegen, ohne auf Governance verzichten zu müssen.“

— Tarek Rached, Director, Data Platform bei Equilibrium Energy

Partner

Neben unseren Preview-Kunden teilen bereits einige der größten globalen Partner von Databricks unsere Vision für Lakehouse//RT. Sie erkennen das unglaubliche Potenzial, das dies für den Markt mit sich bringt, und freuen sich auf die Zusammenarbeit mit uns, während wir den Weg für Echtzeit-Data-Warehousing ebnen.

„Die Allianz von Deloitte mit Databricks gewinnt weiterhin enorm an Dynamik, da wir Unternehmen dabei unterstützen, ihre Daten in strategische, AI-bereite Assets zu transformieren. Der Launch von Lakehouse//RT markiert einen bedeutenden Fortschritt und bietet die Echtzeitfunktionen, die erforderlich sind, um fortschrittliche Analysen voranzutreiben und die Time-to-Value zu beschleunigen. Wir freuen uns darauf, unsere Zusammenarbeit mit Databricks zu vertiefen und unseren Kunden diese neueste Innovation zur Verfügung zu stellen, um messbare, wirkungsvolle Geschäftsergebnisse zu erzielen.“

— Thomas Zipprich, Principal and Global Databricks Alliance Leader, Deloitte Consulting LLP

„Da wir durch den Launch unserer neuen Business Group eine beschleunigte Dynamik in unserer Partnerschaft mit Databricks verzeichnen, war die Nachfrage von Unternehmen nach Echtzeitdaten und AI noch nie so deutlich. Der Launch von Lakehouse//RT liefert die Geschwindigkeit und offene Architektur, die unsere Kunden benötigen, um eine intelligente geschäftliche Transformation voranzutreiben. Wir freuen uns darauf, unseren Weg mit Databricks fortzusetzen, um neue Möglichkeiten zu erschließen.“

— Jigyasa Singh, Global Databricks Business Group Lead, Accenture

„Sigma lässt sich jetzt direkt mit Lakehouse//RT, Agent Bricks, Genie Agents und Lakebase verbinden, sodass gemeinsame Kunden eine Query-Performance im Subsekundenbereich in großem Maßstab erzielen, Milliarden von Zeilen über eine vertraute Tabellenkalkulationsoberfläche untersuchen, Agenten erstellen können, die auf diesen Daten agieren, und den gesamten Agenten-Workflow – inklusive Speicher, Status und allem anderen – verwalten können, ohne jemals die verwaltete Umgebung zu verlassen, der sie bereits vertrauen.

Der schwierigste Teil von Enterprise-AI ist nicht der Aufbau des Modells. Es geht darum, Agenten auf echten Geschäftsdaten unter realen Berechtigungen und in großem Maßstab arbeiten zu lassen. Genau das lösen Sigma und Databricks gemeinsam.“

— Mike Palmer, CEO von Sigma

Eine neue Engine und ein neues Compute-Modell

Neben den Vorteilen in Bezug auf Performance, Einfachheit und Governance nimmt Lakehouse//RT auch die Last der Entscheidungsfindung von Ihren Teams:

AUTO-Sizing. Sie müssen keine T-Shirt-Größe mehr auswählen. Databricks ermittelt automatisch die richtige Basis-Rechenleistung für Ihren Workload. So entfällt das Rätselraten und es gibt keinen Kreislauf aus Hochskalieren bei langsameren Abfragen und Herunterskalieren zur Kosteneinsparung.

Inkrementelles Autoscaling. Traditionelle Warehouses bewältigen eine höhere Concurrency, indem sie ganze Kopien von sich selbst hochfahren (2-fach, 3-fach, 4-fach). Ein geringer Anstieg der Nachfrage kann Ihre Rechnung verdoppeln. Lakehouse//RT skaliert durch das Hinzufügen und Entfernen einzelner Nodes bei Laständerungen, sodass Sie genau die Kapazität erhalten, die Sie benötigen, und auch nur für diese bezahlen.

Holen Sie Ihre Echtzeit-Workloads nach Hause

Databricks bietet seit langem die Skalierbarkeit und Offenheit, die für moderne Analysen und AI erforderlich sind. Unternehmen müssen sich nicht mehr zwischen Performance mit geringer Latenz und einer offenen, einheitlichen Datenarchitektur entscheiden. Sie benötigen keinen noch stärker fragmentierten Stack. Sie benötigen ein leistungsfähigeres Data Warehouse.

Lakehouse//RT ist jetzt als Beta-Version für ausgewählte schreibgeschützte Workloads verfügbar, weitere Funktionen folgen in den kommenden Monaten. Wenden Sie sich an Ihr Databricks-Account-Team, um loszulegen und Ihre Echtzeit-Workloads in das Lakehouse zu bringen. Als Einführungsangebot ist die Nutzung von Lakehouse//RT bis Januar 2027 um 30 % reduziert. Sobald Sie freigeschaltet sind, wählen Sie einfach Lakehouse//RT im Warehouse-Auswahlmenü aus und schon können Sie direkt durchstarten.

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag