Automatische Upgrades: Best-Practice-Funktionen für Ihre Lakehouse-Tabellen

Ihre Unity Catalog (UC) verwalteten Tabellen werden jetzt von ganz alleine besser. Automatische Upgrades (Auto Upgrades) ist die erste Funktion dieser Art in einem Lakehouse. Sie überprüft automatisch, ob Ihre Clients kompatibel sind, und wendet dann Best-Practice-Funktionen wie Row Tracking an, sobald Ihre Tabellen bereit sind – ganz ohne manuellen Aufwand.

Offene Tabellenformate entwickeln sich rasant weiter und bringen viele neue Tabellenfunktionen mit sich. Die Einführung einer neuen Tabellenfunktion bedeutete bisher jedoch, berechtigte Tabellen zu identifizieren, die Client-Kompatibilität zu prüfen und ALTER TABLE für Tausende von Tabellen auszuführen. Die meisten Teams haben dafür keine Zeit. Dadurch entgehen ihnen Vorteile wie bessere Performance, Zuverlässigkeit, Interoperabilität und Kosteneinsparungen, die diese Funktionen bieten können. Auto Upgrades schließt diese Lücke, und Sie behalten die Kontrolle: Jede Änderung ist pro Tabelle umkehrbar.

Alles, was uns Arbeit abnimmt, ist ein Gewinn. Bei jeder Tabelle über jede neue Funktion auf dem Laufenden zu bleiben, ist extrem aufwendig. Deshalb freue ich mich darauf, dass Auto Upgrades die Pflege für mich übernimmt! – Audrey Boslego, Data Platform Engineering Manager

So funktioniert Auto Upgrades

Auto Upgrades beobachtet, wie auf Ihre bestehenden Tabellen zugegriffen wird, prüft, ob alle Workloads bereit sind, und wendet die Funktionen dann in Ihrem Namen an.

1. Beobachten: Für jede bestehende von UC verwaltete Tabelle beobachtet Auto Upgrades die zugreifenden Clients über ein rollierendes Beobachtungsfenster.

2. Prüfen: Für jede Funktion prüft Auto Upgrades, ob alle folgenden Bedingungen für dasselbe Beobachtungsfenster erfüllt sind:

• Jeder Databricks-Client, der während des Beobachtungsfensters auf die Tabelle zugegriffen hat, nutzt eine Databricks Runtime-Version, die diese Funktion unterstützt
• Die Tabelle selbst muss aktiv sein (vollständig inaktive Tabellen werden übersprungen)
• (Aktuell) Externe Clients haben während des Beobachtungsfensters nicht auf die Tabelle zugegriffen

3. Upgrade durchführen: Sobald eine Tabelle berechtigt ist, führt Auto Upgrades ALTER TABLE über einen leichtgewichtigen Hintergrundjob aus, um die Funktion sicher anzuwenden.

Erweiterung auf neue Tabellen: Sobald für jede bestehende Tabelle in einem Schema die Kompatibilität mit einer Funktion bestätigt wurde, legt Auto Upgrades diese als Standard für das Schema fest. So erbt jede dort neu erstellte Tabelle die Funktion automatisch. Alle Tabelleneigenschaften, die Sie beim Erstellen explizit festlegen, haben immer Vorrang.

In Zukunft soll Auto Upgrades auch Funktionen für Tabellen aktivieren, auf die externe Clients zugreifen, indem erkannt wird, ob diese mit einer bestimmten Funktion kompatibel sind. Wir arbeiten gemeinsam mit der Community an Standards zur Bereitstellung der passenden Metadaten, um die Kompatibilität für diese Clients zu erkennen.

Gründlicher als ein manuelles Upgrade

Ein sorgfältiges manuelles Upgrade erfordert echte Gewissenhaftigkeit: die Auswahl der richtigen Funktionen und die Bestätigung ihrer Produktionsreife, die Überprüfung, ob jeder Client sie unterstützt, und die Sicherstellung einer Rollback-Möglichkeit. Auto Upgrades wendet dieselbe Sorgfalt automatisch auf jede Tabelle an.

✅ Nur GA, ohne spürbare Verschlechterungen bei Performance oder Kosten. Eine Funktion qualifiziert sich nur dann für Auto Upgrades, wenn sie die allgemeine Verfügbarkeit (GA) erreicht hat und weder die Performance spürbar verringert noch die Kosten erhöht. Viele Funktionen verbessern die Performance oder senken die Kosten, aber keine verschlechtert sie.

✅ Ein umfassendes Beobachtungsfenster. Nicht jeder Daten-Workload wird täglich ausgeführt. Monatliche Batch-Jobs, vierteljährliche Berichte und Ad-hoc-Analysen können erst nach Wochen auftreten. Databricks hat ein 100-Tage-Fenster gewählt, um auch diesen Long Tail zu erfassen. So erhalten wir ein vollständiges Bild davon, wie Ihre Tabellen tatsächlich genutzt werden, bevor eine Entscheidung getroffen wird.

✅ Strikte Kompatibilitätsprüfung. Wir aktivieren eine Funktion erst, wenn jeder zugreifende Client diese unterstützt. Ein einziger nicht unterstützter Client reicht aus, um zu warten – sowohl bei bestehenden Tabellen als auch bei den Schema-Standardeinstellungen für neue Tabellen.

✅ Keine Eingriffe ohne Verifizierung. Auto Upgrades wird nur bei Tabellen aktiv, die vollständig verifiziert werden können. Tabellen, auf die externe Clients zugreifen, sind ausgeschlossen, und Tabellen, die länger als 30 Tage inaktiv waren, werden übersprungen.

✅ Ihre Entscheidungen werden respektiert. Jede von Auto Upgrades aktivierte Funktion kann jederzeit pro Tabelle deaktiviert oder entfernt werden. Sobald Sie eine Funktion für eine Tabelle deaktivieren, wird Auto Upgrades sie später nicht wieder aktivieren.

Vorteile, die Auto Upgrades freischaltet

Auto Upgrades bringt bewährte Best-Practice-Funktionen für Ihre von UC verwalteten Tabellen. Dazu gehören Funktionen, die sich die meisten Teams wünschen, die aber aufgrund des damit verbundenen manuellen Aufwands bisher nicht aktiviert wurden.

Durch die Ausführung von Auto Upgrades werden Ihre Tabellen schrittweise:

Schneller und kostengünstiger. Ihre Tabellen lassen sich schneller abfragen, kostengünstiger speichern und kostengünstiger ändern.

• Automatic Liquid Clustering wird für neue Tabellen angewendet, bei denen dies als Schema-Standard festgelegt ist. Es optimiert das Datenlayout basierend auf den tatsächlich ausgeführten Abfragen und passt sich an die Entwicklung Ihrer Workloads an, sodass kein ZORDER oder manuelle Clustering-Schlüssel mehr erforderlich sind.
• Deletion Vectors markieren Zeilen als gelöscht oder aktualisiert, anstatt ganze Datendateien neu zu schreiben. Dadurch werden Löschungen und Aktualisierungen schneller und kostengünstiger ausgeführt.
• Column Mapping ermöglicht es Ihnen, Spalten sofort umzubenennen oder zu löschen, ohne Daten neu schreiben zu müssen.
• Parquet V2 komprimiert Daten effizienter, was die Speicherkosten senkt und Scans beschleunigt.

Offene Interoperabilität über verschiedene Engines hinweg. Ihre Tabellen werden für mehr Formate und Engines geöffnet, wobei die Governance in Unity Catalog für alle gleichermaßen gilt.

• Catalog Commits ermöglicht es UC, als Koordinationssystem für verwaltete Tabellen über verschiedene Engines hinweg zu fungieren. Es gibt Schreibzugriffe externer Engines auf von UC verwaltete Tabellen frei, ermöglicht die Anwendung von ABAC-Richtlinien auf externe Engines und erlaubt Multi-Tabellen- und Multi-Statement-Transaktionen.
• Row Tracking fügt eindeutige Bezeichner auf Zeilenebene hinzu, die den Weg für Automatic Change Data Feed, Vector Search und Lakebase über Iceberg und Delta hinweg ebnen. Zudem können Materialized Views dadurch inkrementell aktualisiert werden, anstatt die gesamte Sicht neu zu berechnen, was die Aktualisierungskosten erheblich senkt.

Höhere Zuverlässigkeit unter Last. Ihre Tabellen bleiben stabil, auch wenn sie wachsen und das Schreibvolumen steigt.

• Checkpoint V2 speichert Tabellenmetadaten in einem besser skalierbaren Format und reduziert so Commit-Fehler bei vielen gleichzeitigen Schreibvorgängen.

Auto Upgrades wird kontinuierlich erweitert, um mehr Funktionen abzudecken und zusätzliche Typen von durch UC verwalteten Tabellen wie Materialized Views und Streaming Tables zu unterstützen.

Umfassende Beobachtbarkeit

Jede von Auto Upgrades hinzugefügte Funktion wird in der Ausgabe von DESCRIBE HISTORY der Tabelle und auf der Registerkarte „Verlauf“ im Catalog Explorer angezeigt – und zwar so, dass sie sich von Ihren benutzerinitiierten Änderungen unterscheidet. Weitere Informationen finden Sie unter Aktivierte Funktionen beobachten.

Für eine kontoweite Transparenz können Sie eine Systemtabelle abfragen, um jedes Auto Upgrades-Ereignis nach Tabelle, Funktion und Zeitstempel anzuzeigen. Um beispielsweise alle automatischen Upgrade-Vorgänge anzuzeigen, die für alle Funktionen einer bestimmten Tabelle durchgeführt wurden:

Erste Schritte

Auto Upgrades funktioniert mit von UC verwalteten Tabellen. Der wichtigste Schritt für den Einstieg besteht also darin, sicherzustellen, dass Ihre Tabellen in diesen Tabellentyp konvertiert werden.

Sie sind sich nicht sicher, welche Ihrer Tabellen von Unity Catalog verwaltet werden? Überprüfen Sie den Tabellentyp im Catalog Explorer oder führen Sie DESCRIBE EXTENDED für Ihre Tabelle aus.

Um Tabellen in großen Mengen zu prüfen, können Sie auch die Auto Upgrades-Systemtabelle verwenden, um zu sehen, welche Funktionen wann auf welchen Tabellen aktiviert wurden:

Wenn Sie externe Tabellen importieren möchten, können Sie diese mit einem einzigen SET MANAGED konvertieren, und Auto Upgrades übernimmt den Rest.

Um mehr darüber zu erfahren, wie Auto Upgrades funktioniert, welche Features es ermöglicht und wie Sie dessen Aktivität überwachen können, lesen Sie unsere Dokumentation.

Mit Auto Upgrades verwalten sich Ihre verwalteten Tabellen von selbst. Da Databricks neue Funktionen bereitstellt, werden Ihre Tabellen immer besser – ganz ohne ALTER TABLE-Marathons, Kompatibilitätsprüfungen oder Migrationsprojekte. Sie erhalten automatisch schnellere, zuverlässigere und interoperablere Tabellen.

FAQs

Wie stellen Auto Upgrades sicher, dass das Upgrade einer Tabelle sicher ist?

Auto Upgrades wenden nur allgemein verfügbare Features an, die die Leistung nicht wesentlich beeinträchtigen oder die Kosten erhöhen. Es wartet ein 100-tägiges Beobachtungsfenster ab, setzt voraus, dass jeder zugreifende Client kompatibel ist, überspringt Tabellen, die nicht vollständig überprüft werden können, und ermöglicht es Ihnen, jedes Feature jederzeit pro Tabelle zu deaktivieren.

Wenn sich meine Tabelle geändert hat, wie kann ich feststellen, ob dies durch Auto Upgrades geschehen ist?

Jede von Auto Upgrades vorgenommene Änderung wird in der DESCRIBE HISTORY-Ausgabe der Tabelle und auf der Registerkarte „Verlauf“ im Catalog Explorer angezeigt und ist deutlich von Ihren eigenen Änderungen abgehoben. Für eine kontoweite Sichtbarkeit zeigt die Abfrage von system.storage.table_auto_upgrade_operations_history ebenfalls an, zu welchem Zeitpunkt ein Feature zu einer Tabelle hinzugefügt wurde.

Werden Auto Upgrades eine Tabelle beschädigen, die von meinen externen oder OSS-Tools gelesen wird?

Nein. Tabellen, auf die von externen oder OSS-Clients zugegriffen wird, sind derzeit nicht abgedeckt. Auto Upgrades werden nur dann aktiv, wenn überprüft werden kann, dass jeder Client, der auf eine Tabelle zugreift, das Feature unterstützt. In Zukunft werden wir dies auch auf Tabellen mit externem oder OSS-Zugriff ausweiten, sobald Auto Upgrades bestätigen können, dass diese Clients kompatibel sind.

Kosten Auto Upgrades etwas? Erhöhen sie meine DBU- oder Speicherkosten?

In der aktuellen Gated Public Preview berechnet Databricks nichts für Auto Upgrades selbst (die ALTER TABLE-Arbeit im Hintergrund), und wir hoffen, dies auch weiterhin kostenlos anbieten zu können. Weitere Informationen finden Sie in der Dokumentation zu Auto Upgrades.

Wie lange dauert es, bis meine Tabellen aktualisiert werden? Wann werde ich Änderungen sehen?

Auto Upgrades nutzen ein 100-tägiges Beobachtungsfenster, um seltene Workloads (z. B. monatliche Batch-Jobs, vierteljährliche Berichte, Ad-hoc-Analysen) zu erfassen, bevor sie aktiv werden. Sobald eine Tabelle als kompatibel verifiziert wurde, wird das Feature kurz darauf durch einen Hintergrundjob angewendet. Bitte beachten Sie auch, dass die Einführung eines Features beim ersten Mal schrittweise über Kunden und einen Prozentsatz von Tabellen hinweg erfolgt. Daher kann es bis zu 3–5 Monate dauern, bis es Ihre Tabellen mit kompatiblen Workloads erreicht.

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag