Direkt zum Hauptinhalt
Plattform

Wir stellen Genie Migrate für Serverless vor

Serverless-Migrationen schneller, sicherer und mühelos machen

von Piyush Singh, Vijay Raja und Feng Lu

  • Genie Migrate for Serverless automatisiert die schwierigsten Teile der Migration klassischer Workloads zu Serverless — das Scannen Ihrer Umgebung, das Übersetzen von Compute-Konfigurationen und Bibliotheken sowie das reversible Anwenden von Änderungen mit einer 30-tägigen Rollback-Option.
  • Jede vorgeschlagene Änderung wird vor dem Schreiben als überprüfbarer Diff angezeigt, sodass die Migration zu einem einfachen Prüf- und Freigabeschritt anstelle wochenlangen manuellen Ausprobierens wird.
  • Sie können noch heute loslegen. Der Agent lässt Ihren Workload-Code unangetastet und kennzeichnet unsichere Apache Spark-Konfigurationen zur eigenen Entscheidung, anstatt sie einfach zu löschen, damit Sie die volle Kontrolle über Ihre Produktion behalten.

Das Serverless Compute in Databricks bietet einen einfacheren und schnelleren Weg, um Ihre Daten- und KI-Workloads auszuführen. Es nimmt Ihnen den Betriebsaufwand für die Verwaltung der Infrastruktur ab, indem Bereitstellung, Skalierung und Optimierung automatisch geregelt werden. So können sich Teams voll und ganz auf ihre geschäftlichen Ziele konzentrieren. Mit Serverless können Unternehmen schneller agieren, die Effizienz steigern und die Vorteile von Cloud-native Compute nutzen, ohne komplexe Cluster verwalten und warten zu müssen.

Unsere Serverless-Nutzung ist allein im letzten Jahr rasant gewachsen, und heute führen Tausende von Kunden Notebooks und Jobs darauf aus. Die meisten Teams verfügen jedoch immer noch über einen klassischen Cluster-Pool, den sie in die Serverless-Welt migrieren möchten, um die Kosten- und Betriebsvorteile zu nutzen, ohne die Infrastruktur selbst verwalten zu müssen. Die arbeitsintensive Migration einzelner Workloads hält unsere Kunden jedoch oft davon ab, die Serverless-Vorteile für ihre bestehenden Workloads zu nutzen.

Das kommt Ihnen sicher bekannt vor: Sie wählen einen Job aus, stellen ihn auf Serverless um und erhalten plötzlich einen Fehler, eine Inkompatibilität beim Zugriffsmodus, eine nicht greifende Spark-Konfiguration oder eine Bibliothek, die zwar auf dem klassischen Cluster, aber nicht in Serverless installiert ist. Was eigentlich an einem Nachmittag erledigt sein sollte, zieht sich über Wochen hin, und die meiste Zeit fließt in Übersetzungsarbeiten, die Sie schon oft zuvor erledigen mussten.

Das hat jetzt ein Ende! Heute freuen wir uns, die Einführung von Genie Migrate for Serverless (in Beta) anzukündigen, dem Databricks-Agenten, der Ihre Jobs und Notebooks einfach und mühelos von klassischem zu Serverless Compute migriert. Die Migration eines Workloads wird dadurch von einem langwierigen Rechercheprojekt zu einem einfachen Prüf- und Freigabeschritt.

Die Migration lag bisher in den Händen der Praxis

Bisher war die Migration eines Workloads zu Serverless mit manuellem Aufwand verbunden. Das Wissen darüber, wie eine klassische Cluster-Konfiguration auf Serverless abgebildet wird, welche Bibliotheken aufgelöst werden, welche Spark-Konfigurationen weiterhin gelten und welchen Zugriffsmodus ein Workload benötigt, steckte im Kopf der Entwickler und war das Ergebnis von Trial-and-Error beim Ausführen des Notebooks oder Jobs sowie beim Analysieren der Fehlermeldungen.

Genie Migrate for Serverless nimmt Ihnen diese Übersetzungsarbeit ab und verlagert sie auf die Plattform – genau wie Serverless zuvor die Bereitstellung und Skalierung auf die Plattform verlagert hat. Was bei Ihnen verbleibt, ist das fachliche Urteilsvermögen: ob ein Workload jetzt migriert werden soll, ob die vorgeschlagenen Änderungen stimmig sind und ob der migrierte Lauf fehlerfrei verläuft. Der Agent übernimmt die Übersetzung selbst und schlägt die Änderungen als Diff vor, den Sie vor jeder Anwendung überprüfen können.

Um ein erfolgreiches Tool für die Serverless-Migration zu entwickeln, haben wir diese wichtigen Prinzipien in den Mittelpunkt gestellt:

  • Keine fehlerhafte Produktion: Eine unbemerkte Regression bei einem geschäftskritischen Workload ist schlimmer als gar keine Migration. Deshalb bewertet der Agent jeden Workload vorab und kennzeichnet, welche Teile sicher verschoben werden können.
  • Kontrolle über jede Änderung: Die Möglichkeit zu sehen, was sich ändert und was nicht, jede vorgeschlagene Bearbeitung anzunehmen oder abzulehnen und darauf zu vertrauen, dass nichts an Code geändert wird, den Sie nicht freigegeben haben.
  • Ein unkomplizierter Rollback: Sollte der Serverless-Lauf fehlschlagen, führt ein Klick-Pfad in wenigen Schritten zurück zum Zustand vor der Migration.

Diese drei Anforderungen bestimmen die Funktionsweise des Migrationsagenten, und der folgende Arbeitsablauf definiert die Ausführung der Migration: Bewerten, was verschoben werden kann, das Ganze übersetzen und die Änderung reversibel anwenden.

Was Genie Migrate for Serverless leistet

  1. Bewerten: Scannen Sie Ihre Jobs und klassifizieren Sie Ihren Cluster-Pool, damit Sie wissen, was heute migriert werden kann, wo ein Administrator eingreifen muss und was noch nicht bereit für die Migration ist.
  2. Übersetzen: Der Agent schlägt die für Serverless erforderlichen Infrastruktur- und Codeänderungen vor – jeweils als markierter Diff (eine Ansicht nebeneinander, die zeigt, was sich ändert und was gleich bleibt) zur Überprüfung.
  3. Anwenden (reversibel): Validieren Sie die Übersetzung und wenden Sie diese an, ohne einen laufenden Workload zu unterbrechen. Ihr Original-Workload bleibt dabei intakt, sodass Sie problemlos einen Rollback durchführen können, falls der Serverless-Lauf nicht fehlerfrei ist.

image2.png

Der Agent wird über den /compute migrate Slash-Befehl direkt in Genie für jeden Job oder jedes Notebook ausgeführt. Er ist vollständig verwaltet, und Sie benötigen keine Einrichtung, um mit dem Scannen zu beginnen. Da Databricks die Verwaltung übernimmt, liest der Agent Ihre Jobkonfiguration und den Workload-Code direkt in Ihrem eigenen Arbeitsbereich aus.

Schauen wir uns die oben genannten Bereiche etwas genauer an.

Bewerten

Bevor Sie etwas ändern, scannt der Agent Ihre Jobs und Notebooks und bewertet jeden Workload hinsichtlich seiner Serverless-Bereitschaft. Sie sehen auf einen Blick, welche Workloads ideale Kandidaten für eine Migration sind, anstatt den Cluster-Pool manuell prüfen zu müssen – das macht aufwendige manuelle Erkennungs- und Sortierarbeiten überflüssig.

image1.png

Ein kurzer Hinweis zu externen Quellen: Wenn die Single Source of Truth eines Workloads außerhalb des Arbeitsbereichs liegt – beispielsweise bei einem Job, der über Databricks Asset Bundles verwaltet wird, oder einem Notebook in einem Git-Ordner –, kann der Agent diesen noch nicht migrieren. Die Unterstützung dafür folgt in Kürze.

Übersetzen

Sobald Sie einen geeigneten Workload ausgewählt haben, schlägt der Migrationsagent die für Serverless erforderlichen Änderungen vor und stellt diese zur Überprüfung bereit, bevor etwas geschrieben wird. Es wird erst dann etwas angewendet, wenn Sie Ihre Freigabe erteilen.

Der Migrationsagent übersetzt im Wesentlichen die Komponenten, die sich zwischen klassischem und Serverless-Betrieb unterscheiden:

  • Compute-Konfiguration: Die klassische Cluster-Konfiguration wird auf eine Serverless Compute-Auswahl abgebildet.
  • Umgebung und Bibliotheken: Die Bibliotheksliste wird mit der Serverless-Laufzeitumgebung abgeglichen und die Umgebungsdefinition für Serverless zusammengestellt.
  • Spark-Konfigurationen: Konfigurationen, die weiterhin gültig sind, werden übernommen. Konfigurationen, die nicht mehr gelten, werden angezeigt, damit Sie darüber entscheiden können, anstatt sie einfach im Stillen zu löschen.
  • Workload-Code: Wenn im Code Muster verwendet werden, die in Serverless nicht ausgeführt werden können – wie etwa APIs, die nicht mit Spark Connect kompatibel sind –, schreibt der Agent diese um und zeigt die Änderung als Diff an.

Jede Änderung, einschließlich der Code-Umschreibungen, wird als überprüfbarer Diff dargestellt. Vor der Anwendung zeigt der Agent einen direkten Vergleich zwischen dem, was sich ändert und was gleich bleibt – eine klare Vereinbarung, die Sie an ein Management-Team oder den Bereitschaftsdienst weitergeben können.

Sehen Sie sich die neueste Demo dazu an, wie Sie klassische Workloads ganz einfach mit Genie Migrate for Serverless migrieren können.

Wenn sich der Agent bei etwas nicht sicher ist – zum Beispiel, ob eine Spark-Konfiguration noch benötigt wird –, meldet er diese Konfiguration, anstatt sie zu entfernen. Eine Konfiguration kann bei einem statischen Scan ungenutzt erscheinen, obwohl ein zur Laufzeit geladener Listener darauf angewiesen ist. Ein stillschweigendes Entfernen würde die Telemetriedaten beeinträchtigen, auf die sich ein Team verlässt. Der Agent überlässt diese Entscheidung Ihnen.

Anwenden

Das Anwenden einer Migration ist der kritischste Schritt. Daher agiert Genie Migrate for Serverless hier besonders vorsichtig. Der Agent führt bereits jetzt deterministische Korrektheitsprüfungen durch, und tiefgreifendere Laufzeitvalidierungen folgen als Nächstes.

  • Validierung vor dem Anwenden: Der Agent prüft, ob die Übersetzung schlüssig ist, ob Bibliotheksabhängigkeiten zur Serverless-Laufzeitumgebung passen und ob die Konfiguration fehlerfrei übernommen wird. Auf diese Weise werden Fehler bereits vor der Ausführung des Workloads aufgedeckt und nicht erst während des morgigen SLAs.
  • Ein überwachter Erstdlauf: Da Änderungen an einem geklonten Job vorgenommen werden, können Sie den Klon einmal nach Bedarf ausführen, um vor der Übernahme in den Original-Job zu bestätigen, dass er in Serverless fehlerfrei läuft. Der erste Serverless-Lauf findet somit unter Ihrer direkten Aufsicht statt.

Wenn Sie sich gegen eine Migration entscheiden, werden geklonte Jobs oder vorgeschlagene Änderungen an Notebooks nicht übernommen.

Ein wichtiger Hinweis zur Vorsicht: Wenn Sie mit geänderten Versionen getestet haben, macht dies keine Daten rückgängig, die Serverless-Läufe zwischenzeitlich in Produktionstabellen geschrieben haben.

Aktuell ist die Validierung statisch. Sie bestätigt die Korrektheit der Übersetzung, ohne den Workload auszuführen, und gibt transparent an, was geprüft wurde und was nicht. Die tiefgreifendere Prüfung erfolgt als Nächstes über die Sandbox-Validierung. Damit ist der Agent in der Lage, den migrierten Workload in einer isolierten Sandbox auszuführen, ohne Ihre Produktionstabellen zu beeinträchtigen, und das Ergebnis mit der klassischen Baseline zu vergleichen – so erhalten Sie bereits vor dem Anwenden (und nicht erst danach) ein klares Signal zu Laufzeit und Korrektheit für einen kritischen Job.

Jobs in großen Mengen migrieren

Das Migrieren von Workloads in Genie funktioniert einzeln gut für eine Handvoll Jobs. Für eine größere Anzahl an Jobs können Sie Genie Migrate for Serverless im Hintergrund mit der Databricks CLI ausführen. Starten Sie eine Migration für mehrere Jobs über ein Skript mithilfe der Befehlsgruppe compute-migrations. Der Agent erstellt dann eine serverlose Arbeitskopie jedes Jobs ohne eine offene Genie-Sitzung. Ihr ursprünglicher Job wird erst geändert, wenn Sie die Migration prüfen und genehmigen. Durch die Genehmigung bleiben die ID, der Zeitplan und die Berechtigungen des Jobs erhalten. Die Massenmigration unterstützt derzeit Jobs (die Unterstützung für Notebooks folgt in Kürze) und erfordert die Databricks CLI Version 1.24.0 oder höher.

Das Gesamtbild

Führen wir uns die drei Hauptfunktionen von Genie Migrate for Serverless noch einmal vor Augen:

  • Bewerten: Identifiziert und klassifiziert die Eignung von Jobs für die serverlose Migration im gesamten Bestand.
  • Übersetzen: Schlägt Infrastruktur- und Codeänderungen als gekennzeichnete, überprüfbare Diffs vor.
  • Reversibel anwenden: Führt derzeit deterministische Validierungen durch, die Sandbox-Validierung folgt als Nächstes.

Hier ist eine kurze Zusammenfassung, welche Workloads sich derzeit gut für die Migration mit dem Agenten eignen und was in Zukunft geplant ist.

image4.png

Jetzt loslegen

Sie können Workloads ab sofort mit Genie Migrate for Serverless auf Serverless umstellen. Gehen Sie dazu wie folgt vor:

  1. Beta aktivieren: Aktivieren Sie Genie Migrate for Serverless in Ihren Workspace-Vorschau-Einstellungen und führen Sie dann /compute migrate in Genie für einen Job oder ein Notebook aus, um zu scannen, welche Elemente geeignet sind.
  2. Wählen Sie zuerst einen Workload mit geringem Risiko: Migrieren Sie einen unkritischen Job oder ein Notebook, um Vertrauen in den Ablauf aufzubauen, bevor Sie geschäftskritische Komponenten berühren.
  3. Vor dem Anwenden prüfen: Lesen Sie die Bereiche mit den Änderungen und den unveränderten Elementen durch und nehmen oder lehnen Sie jede vorgeschlagene Änderung ab.
  4. Ersten serverlosen Lauf beobachten: Überprüfen Sie, ob der migrierte Workload fehlerfrei läuft. Ihr Original bleibt erhalten, sodass Sie bei Problemen ein Rollback durchführen können.
  5. Arbeiten Sie sich von dort aus vor: Migrieren Sie den Rest des geeigneten Bestands und verwenden Sie die Banner für erforderliche Admin-Aktionen, um Workloads freizugeben, die noch eingerichtet werden müssen.

Genie Migrate for Serverless ist ab sofort über den Befehl /compute migrate in Genie für jeden Job und jedes Notebook verfügbar. Wir entwickeln die Sandbox-Validierungsfunktion gemeinsam mit Preview-Kunden aktiv weiter und optimieren den Agenten kontinuierlich, um serverlose Migrationen schneller, einfacher und unkomplizierter zu machen.

Weitere Informationen:

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag

Erhalten Sie die neuesten Beiträge in Ihrem Posteingang

Abonnieren Sie unseren Blog und erhalten Sie die neuesten Beiträge direkt in Ihren Posteingang.