Serverless-Migrationen schneller, sicherer und mühelos machen
von Piyush Singh, Vijay Raja und Feng Lu
Das Serverless Compute in Databricks bietet einen einfacheren und schnelleren Weg, um Ihre Daten- und KI-Workloads auszuführen. Es nimmt Ihnen den Betriebsaufwand für die Verwaltung der Infrastruktur ab, indem Bereitstellung, Skalierung und Optimierung automatisch geregelt werden. So können sich Teams voll und ganz auf ihre geschäftlichen Ziele konzentrieren. Mit Serverless können Unternehmen schneller agieren, die Effizienz steigern und die Vorteile von Cloud-native Compute nutzen, ohne komplexe Cluster verwalten und warten zu müssen.
Unsere Serverless-Nutzung ist allein im letzten Jahr rasant gewachsen, und heute führen Tausende von Kunden Notebooks und Jobs darauf aus. Die meisten Teams verfügen jedoch immer noch über einen klassischen Cluster-Pool, den sie in die Serverless-Welt migrieren möchten, um die Kosten- und Betriebsvorteile zu nutzen, ohne die Infrastruktur selbst verwalten zu müssen. Die arbeitsintensive Migration einzelner Workloads hält unsere Kunden jedoch oft davon ab, die Serverless-Vorteile für ihre bestehenden Workloads zu nutzen.
Das kommt Ihnen sicher bekannt vor: Sie wählen einen Job aus, stellen ihn auf Serverless um und erhalten plötzlich einen Fehler, eine Inkompatibilität beim Zugriffsmodus, eine nicht greifende Spark-Konfiguration oder eine Bibliothek, die zwar auf dem klassischen Cluster, aber nicht in Serverless installiert ist. Was eigentlich an einem Nachmittag erledigt sein sollte, zieht sich über Wochen hin, und die meiste Zeit fließt in Übersetzungsarbeiten, die Sie schon oft zuvor erledigen mussten.
Das hat jetzt ein Ende! Heute freuen wir uns, die Einführung von Genie Migrate for Serverless (in Beta) anzukündigen, dem Databricks-Agenten, der Ihre Jobs und Notebooks einfach und mühelos von klassischem zu Serverless Compute migriert. Die Migration eines Workloads wird dadurch von einem langwierigen Rechercheprojekt zu einem einfachen Prüf- und Freigabeschritt.
Bisher war die Migration eines Workloads zu Serverless mit manuellem Aufwand verbunden. Das Wissen darüber, wie eine klassische Cluster-Konfiguration auf Serverless abgebildet wird, welche Bibliotheken aufgelöst werden, welche Spark-Konfigurationen weiterhin gelten und welchen Zugriffsmodus ein Workload benötigt, steckte im Kopf der Entwickler und war das Ergebnis von Trial-and-Error beim Ausführen des Notebooks oder Jobs sowie beim Analysieren der Fehlermeldungen.
Genie Migrate for Serverless nimmt Ihnen diese Übersetzungsarbeit ab und verlagert sie auf die Plattform – genau wie Serverless zuvor die Bereitstellung und Skalierung auf die Plattform verlagert hat. Was bei Ihnen verbleibt, ist das fachliche Urteilsvermögen: ob ein Workload jetzt migriert werden soll, ob die vorgeschlagenen Änderungen stimmig sind und ob der migrierte Lauf fehlerfrei verläuft. Der Agent übernimmt die Übersetzung selbst und schlägt die Änderungen als Diff vor, den Sie vor jeder Anwendung überprüfen können.
Um ein erfolgreiches Tool für die Serverless-Migration zu entwickeln, haben wir diese wichtigen Prinzipien in den Mittelpunkt gestellt:
Diese drei Anforderungen bestimmen die Funktionsweise des Migrationsagenten, und der folgende Arbeitsablauf definiert die Ausführung der Migration: Bewerten, was verschoben werden kann, das Ganze übersetzen und die Änderung reversibel anwenden.

Der Agent wird über den /compute migrate Slash-Befehl direkt in Genie für jeden Job oder jedes Notebook ausgeführt. Er ist vollständig verwaltet, und Sie benötigen keine Einrichtung, um mit dem Scannen zu beginnen. Da Databricks die Verwaltung übernimmt, liest der Agent Ihre Jobkonfiguration und den Workload-Code direkt in Ihrem eigenen Arbeitsbereich aus.
Schauen wir uns die oben genannten Bereiche etwas genauer an.
Bevor Sie etwas ändern, scannt der Agent Ihre Jobs und Notebooks und bewertet jeden Workload hinsichtlich seiner Serverless-Bereitschaft. Sie sehen auf einen Blick, welche Workloads ideale Kandidaten für eine Migration sind, anstatt den Cluster-Pool manuell prüfen zu müssen – das macht aufwendige manuelle Erkennungs- und Sortierarbeiten überflüssig.

Ein kurzer Hinweis zu externen Quellen: Wenn die Single Source of Truth eines Workloads außerhalb des Arbeitsbereichs liegt – beispielsweise bei einem Job, der über Databricks Asset Bundles verwaltet wird, oder einem Notebook in einem Git-Ordner –, kann der Agent diesen noch nicht migrieren. Die Unterstützung dafür folgt in Kürze.
Sobald Sie einen geeigneten Workload ausgewählt haben, schlägt der Migrationsagent die für Serverless erforderlichen Änderungen vor und stellt diese zur Überprüfung bereit, bevor etwas geschrieben wird. Es wird erst dann etwas angewendet, wenn Sie Ihre Freigabe erteilen.
Der Migrationsagent übersetzt im Wesentlichen die Komponenten, die sich zwischen klassischem und Serverless-Betrieb unterscheiden:
Jede Änderung, einschließlich der Code-Umschreibungen, wird als überprüfbarer Diff dargestellt. Vor der Anwendung zeigt der Agent einen direkten Vergleich zwischen dem, was sich ändert und was gleich bleibt – eine klare Vereinbarung, die Sie an ein Management-Team oder den Bereitschaftsdienst weitergeben können.
Sehen Sie sich die neueste Demo dazu an, wie Sie klassische Workloads ganz einfach mit Genie Migrate for Serverless migrieren können.
Wenn sich der Agent bei etwas nicht sicher ist – zum Beispiel, ob eine Spark-Konfiguration noch benötigt wird –, meldet er diese Konfiguration, anstatt sie zu entfernen. Eine Konfiguration kann bei einem statischen Scan ungenutzt erscheinen, obwohl ein zur Laufzeit geladener Listener darauf angewiesen ist. Ein stillschweigendes Entfernen würde die Telemetriedaten beeinträchtigen, auf die sich ein Team verlässt. Der Agent überlässt diese Entscheidung Ihnen.
Das Anwenden einer Migration ist der kritischste Schritt. Daher agiert Genie Migrate for Serverless hier besonders vorsichtig. Der Agent führt bereits jetzt deterministische Korrektheitsprüfungen durch, und tiefgreifendere Laufzeitvalidierungen folgen als Nächstes.
Wenn Sie sich gegen eine Migration entscheiden, werden geklonte Jobs oder vorgeschlagene Änderungen an Notebooks nicht übernommen.
Ein wichtiger Hinweis zur Vorsicht: Wenn Sie mit geänderten Versionen getestet haben, macht dies keine Daten rückgängig, die Serverless-Läufe zwischenzeitlich in Produktionstabellen geschrieben haben.
Aktuell ist die Validierung statisch. Sie bestätigt die Korrektheit der Übersetzung, ohne den Workload auszuführen, und gibt transparent an, was geprüft wurde und was nicht. Die tiefgreifendere Prüfung erfolgt als Nächstes über die Sandbox-Validierung. Damit ist der Agent in der Lage, den migrierten Workload in einer isolierten Sandbox auszuführen, ohne Ihre Produktionstabellen zu beeinträchtigen, und das Ergebnis mit der klassischen Baseline zu vergleichen – so erhalten Sie bereits vor dem Anwenden (und nicht erst danach) ein klares Signal zu Laufzeit und Korrektheit für einen kritischen Job.
Das Migrieren von Workloads in Genie funktioniert einzeln gut für eine Handvoll Jobs. Für eine größere Anzahl an Jobs können Sie Genie Migrate for Serverless im Hintergrund mit der Databricks CLI ausführen. Starten Sie eine Migration für mehrere Jobs über ein Skript mithilfe der Befehlsgruppe compute-migrations. Der Agent erstellt dann eine serverlose Arbeitskopie jedes Jobs ohne eine offene Genie-Sitzung. Ihr ursprünglicher Job wird erst geändert, wenn Sie die Migration prüfen und genehmigen. Durch die Genehmigung bleiben die ID, der Zeitplan und die Berechtigungen des Jobs erhalten. Die Massenmigration unterstützt derzeit Jobs (die Unterstützung für Notebooks folgt in Kürze) und erfordert die Databricks CLI Version 1.24.0 oder höher.
Führen wir uns die drei Hauptfunktionen von Genie Migrate for Serverless noch einmal vor Augen:
Hier ist eine kurze Zusammenfassung, welche Workloads sich derzeit gut für die Migration mit dem Agenten eignen und was in Zukunft geplant ist.

Sie können Workloads ab sofort mit Genie Migrate for Serverless auf Serverless umstellen. Gehen Sie dazu wie folgt vor:
/compute migrate in Genie für einen Job oder ein Notebook aus, um zu scannen, welche Elemente geeignet sind.Genie Migrate for Serverless ist ab sofort über den Befehl /compute migrate in Genie für jeden Job und jedes Notebook verfügbar. Wir entwickeln die Sandbox-Validierungsfunktion gemeinsam mit Preview-Kunden aktiv weiter und optimieren den Agenten kontinuierlich, um serverlose Migrationen schneller, einfacher und unkomplizierter zu machen.
(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag
Abonnieren Sie unseren Blog und erhalten Sie die neuesten Beiträge direkt in Ihren Posteingang.