Lakebase-Feiertags-Update

Seit wir im Sommer die Public Preview von Lakebase angekündigt haben, entwickeln Tausende von Databricks-Kunden Data Intelligent Applications auf Lakebase und nutzen es für Application Data Serving, Feature Stores und als Agentenspeicher, während diese Daten eng mit Analytics- und Machine-Learning-Workflows abgestimmt bleiben.

Zum Jahresende freuen wir uns, eine Reihe spannender neuer Verbesserungen zu veröffentlichen:

• Autoscaling, das die compute je nach Auslastung dynamisch anpasst
• Auf Null skalieren, sodass Compute im inaktiv heruntergefahren und in Hunderten von Millisekunden automatisch wiederaufgenommen werden
• Sofortige Bereitstellung zur sekundenschnellen Erstellung neuer Datenbankinstanzen
• Sofortiges Datenbank-Branching, das Git-ähnliche Workflows mit isolierten Copy-on-Write-Umgebungen für Entwicklung, Tests und Staging ermöglicht
• Automatisierte Backups und zeitpunktgenaue Wiederherstellung für eine schnelle Wiederherstellung und einen sichereren Betrieb
• Postgres 17, neben der fortgesetzten Unterstützung für Postgres 16
• Erhöhte Speicherkapazität auf bis zu 8 TB für größere Produktions-Workloads
• Eine neue Lakebase-Benutzeroberfläche, die gängige Workflows vereinfacht

Diese Features stellen einen bedeutenden Meilenstein bei der Definition der Lakebase-Kategorie dar, einer serverless-Datenbankarchitektur, die OLTP-Speicher vom compute trennt. Sie werden durch die Kombination der serverless-Postgres- und Speichertechnologie aus unserer Neon-Akquisition mit der für Unternehmen geeigneten Multi-Cloud-Infrastruktur von Databricks ermöglicht. 

Autoskalierung für dynamische Anwendungs-Workloads

Moderne Anwendungs-Workloads folgen selten vorhersagbaren Traffic-Mustern. Die Nutzeraktivität schwankt im Laufe des Tages, Hintergrund-Jobs erzeugen stoßweise Schreibvorgänge und agentenbasierte Systeme können plötzliche Gleichzeitigkeitsspitzen verursachen. Bei herkömmlichen operativen Datenbanken müssen Teams die Spitzenauslastung manuell planen und die Kapazität anpassen, was oft zu Überprovisionierung und unnötiger Komplexität führt.

Da Lakebase auf einer Architektur aufbaut, die die Speicher- von der compute-Ebene trennt und deren unabhängige Skalierung ermöglicht, veröffentlichen wir jetzt die Funktion zur automatischen Skalierung der compute, mit der die compute dynamisch an den aktuellen Workload-Bedarf angepasst werden kann. Wenn der Traffic zunimmt, wird die compute hochskaliert, um die Performance aufrechtzuerhalten. Wenn die Aktivität nachlässt, wird compute herunterskaliert. Inaktive Datenbanken werden nach kurzer Inaktivität angehalten und bei neuen Abfragen schnell wieder fortgesetzt. Compute wird dynamisch an den Workload-Bedarf in Produktions- und Entwicklungsumgebungen angepasst.

Das Ergebnis ist weniger Zeitaufwand für die Kapazitätsverwaltung und mehr Zeit, um sich auf das Anwendungsverhalten zu konzentrieren.

Schneller startup und sofortige Bereitstellung

Die Erstellung einer neuen Datenbank oder die Wiederaufnahme einer inaktiven Datenbank sollte die Entwicklung nicht verlangsamen. Mit diesem Update werden neue Lakebase-Datenbanken in Sekundenschnelle bereitgestellt, und ausgesetzte Instanzen werden bei Wiederanstieg des Traffics schnell wieder aufgenommen. Dies erleichtert das bedarfsgerechte Einrichten von Umgebungen, die Iteration während der Entwicklung und die Unterstützung von Workflows, bei denen Datenbanken häufig erstellt und verworfen werden.

Für Teams, die Anwendungen entwickeln und testen, reduziert ein schnellerer startup die Reibung und hält die Iterationszyklen kurz, insbesondere in Kombination mit Branching und Autoscaling.

Branching für schnellere und sicherere Iterationen

Das Erstellen und Weiterentwickeln von Produktionsanwendungen bedeutet ständigen Wandel. Teams validieren Schema-Updates, debuggen komplexe Probleme und führen CI-Pipelines aus, die auf konsistenten Datenansichten basieren. Das herkömmliche Klonen von Datenbanken kann nur schwer Schritt halten, da vollständige Kopien langsam, speicherintensiv und betrieblich riskant sind.

Der Lakebase-Speicherdienst implementiert Copy-on-Write-Branching und wir stellen diese Funktionalität unseren Kunden jetzt als Database-Branching zur Verfügung. Branches sind sofort verfügbare Copy-on-Write-Umgebungen, die isoliert bleiben, während sie den zugrunde liegenden Speicher gemeinsam nutzen. Dadurch ist es einfach, Entwicklungs-, Test- und Staging-Umgebungen in Sekundenschnelle einzurichten und an der Anwendungslogik zu iterieren, ohne die Produktionssysteme zu berühren.

In der Praxis reduziert Branching Reibungsverluste im Entwicklungslebenszyklus und hilft Teams, schneller und zuversichtlich voranzukommen. (Tests in der Produktionsumgebung werden aber weiterhin nicht empfohlen!)

Automatisierte Backups und Point-in-Time-Recovery 

Nicht jedes Datenproblem ist ein Ausfall. Manchmal ist das Problem subtiler: ein Bug, der unbemerkt mit der Zeit fehlerhafte Daten schreibt, eine Schemaänderung, die sich anders als erwartet verhält, oder ein Backfill-Skript, das mehr Zeilen als beabsichtigt betrifft. Diese Probleme bleiben oft unbemerkt, bis Teams für Analysen, Berichte oder das Verhalten nachgelagerter Anwendungen auf Historische Daten angewiesen sind.

In herkömmlichen Umgebungen kann die Wiederherstellung nach solchen Szenarien mühsam sein. Teams sind gezwungen, den Verlauf manuell zu rekonstruieren, logs erneut wiederzugeben oder temporäre Systeme einzurichten, nur um eine bekanntermaßen fehlerfreie Version ihrer Daten wiederherzustellen. Dieser Prozess ist zeitaufwendig, fehleranfällig und erfordert oft tiefgreifende Datenbankkenntnisse.

Lakebase macht diese Situationen jetzt viel einfacher zu handhaben. Mit automatisierten Backups und Point-in-Time-Wiederherstellung können Teams eine Datenbank innerhalb von Sekunden zu einem exakten Zeitpunkt wiederherstellen. Dies ermöglicht es Anwendungsteams, sich schnell von Datenproblemen zu erholen, die durch Anwendungsfehler oder Betriebsfehler verursacht werden, ohne dass eine manuelle Wiederholung oder komplexe Wiederherstellungs-Workflows erforderlich sind.

Unterstützung für größere Produktions-Workloads

Über die Wiederherstellung hinaus benötigen Produktionssysteme auch Raum für Wachstum, da die Datenmengen zunehmen. Mit diesem Update erhöht Lakebase seine unterstützte Speicherkapazität auf bis zu 8 TB, eine Vervierfachung gegenüber früheren Grenzwerten, wodurch es für größere und anspruchsvollere Anwendungs-Workloads geeignet ist. 

Erweiterte Unterstützung für Postgres-Versionen

Lakebase unterstützt jetzt auch Postgres 17 sowie weiterhin Postgres 16. Dadurch erhalten Teams Zugriff auf die neuesten Postgres-Verbesserungen, während die Kompatibilität mit bestehenden Anwendungen erhalten bleibt.

Zusammen machen diese Updates Lakebase zu einer stärkeren Grundlage für die Ausführung von produktionsreifen, betrieblichen Workloads auf Databricks.

Einfachere Workflows mit einer neuen Lakebase-Benutzeroberfläche

Lakebase bietet jetzt eine neue, überarbeitete Benutzeroberfläche, die alltägliche Workflows vereinfacht. Das Erstellen von Datenbanken, das Verwalten von Branches und das Verständnis des Kapazitätsverhaltens ist unkomplizierter, mit besseren Defaults und schnellerer Bereitstellung. Diese neue UI ist über das App-Launcher-Symbol für das neue Lakebase-Autoscaling-Angebot zugänglich. Das bisherige bereitgestellte Lakebase-Angebot wird in den kommenden Wochen in der UI erscheinen. 

Einführung

Wie bereits erwähnt, haben Tausende von Databricks-Kunden Anwendungen auf der Grundlage von Lakebase entwickelt. Da Lakebase vollständig in die Databricks Data Intelligence Platform integriert ist, befinden sich die operativen Daten in derselben Grundlage, die Analysen, KI, Anwendungen und agentenbasierte Workflows unterstützt. Unity Catalog bietet konsistente Governance, Zugriffskontrolle, Auditing und Lineage. Databricks Apps und Agenten-Frameworks können Lakebase nutzen, um den Echtzeitzustand mit dem historischen Kontext zu integrieren, wodurch die Notwendigkeit von ETL oder Replikation entfällt.

Für Anwender schafft dies eine einheitliche Umgebung, in der operative und analytische Daten aufeinander abgestimmt bleiben, ohne dass mit mehreren Systemen jongliert werden muss, um Anwendungen mit Intelligence verbunden zu halten.

Zitate von zwei Frühanwendern:

„Lakebase ermöglicht es einem agentischen Team, die für seine Modelle benötigten Daten schnell selbst bereitzustellen, seien es historische Ansprüche oder Echtzeittransaktionen. Das ist wirklich leistungsstark.“ – Dragon Sky, Chefarchitekt, Ensemble Health

„Lakebase bietet uns einen langlebigen Speicher mit niedriger Latenz für den Anwendungsstatus, sodass unsere Daten-Apps schnell geladen werden, nahtlos aktualisiert werden und sogar das Teilen von Seitenlinks zwischen Benutzern unterstützen.“ — Bobby Muldoon, VP of Engineering, YipitData

Was kommt als Nächstes für Lakebase?

Diese neuen Features sind ab heute in AWS us-east-1, us-west-2 und eu-west-1 verfügbar und werden in den kommenden Wochen schrittweise für weitere Regionen eingeführt. Werfen Sie einen Blick in die Produktdokumentation, um mehr zu erfahren und die neuesten Funktionen auszuprobieren.

Dieses Update stellt einen wichtigen Fortschritt für Lakebase dar. Aber wir stehen nicht still. Freuen Sie sich auf viele spannende Updates nach den Feiertagen im nächsten Jahr!

Schöne Feiertage vom Lakebase-Team!