Ir al contenido principal
Plataforma

Presentamos Genie Migrate para Serverless

Hacer que las migraciones a serverless sean más rápidas, seguras y sencillas

por Piyush Singh, Vijay Raja y Feng Lu

  • Genie Migrate for Serverless automatiza las partes más difíciles de trasladar cargas de trabajo clásicas a serverless: analiza tu parque, traduce configuraciones de cómputo y bibliotecas, y aplica cambios de forma reversible con una reversión de 30 días.
  • Cada cambio propuesto se muestra como una diferencia revisable antes de que se escriba nada, por lo que la migración se convierte en un paso de revisión y aprobación en lugar de semanas de prueba y error manual.
  • Puedes empezar hoy mismo. El agente no toca el código de tus cargas de trabajo y marca las configuraciones de Apache Spark inciertas para que decidas, en lugar de eliminarlas silenciosamente, lo que te mantiene en control de lo que se ejecuta en producción.

El cómputo serverless en Databricks ofrece una forma más sencilla y rápida de ejecutar tus cargas de trabajo de datos y IA. Elimina la carga operativa de administrar la infraestructura, gestionando automáticamente el aprovisionamiento, el escalado y la optimización para que los equipos puedan centrarse en sus resultados de negocio. Con serverless, las organizaciones pueden avanzar más rápido, mejorar la eficiencia y aprovechar los beneficios del cómputo nativo en la nube sin tener que administrar ni mantener cúmulos complejos.

Nuestro uso de serverless se ha multiplicado en el último año y, hoy en día, miles de clientes ejecutan notebooks y trabajos en él. La mayoría de los equipos todavía tienen un parque clásico que desean migrar al mundo serverless para obtener los beneficios de costos y operaciones sin tener que administrar la infraestructura por sí mismos. La tarea de mover cada carga de trabajo una por una a menudo impide que nuestros clientes aprovechen los beneficios de serverless en sus cargas de trabajo existentes.

Probablemente hayas visto esto antes. Seleccionas un trabajo, lo cambias a serverless y luego te encuentras con un error, una incompatibilidad en el modo de acceso, una configuración de Spark que no se aplica o una biblioteca que está instalada en el entorno clásico pero no en serverless. Lo que debería tomar una tarde se alarga durante semanas, y la mayor parte del tiempo se dedica a una traducción que ya has hecho muchas veces.

¡Se acabó! Hoy nos emociona anunciar el lanzamiento de Genie Migrate for Serverless (en versión Beta), el agente de Databricks que migra tus trabajos y notebooks del cómputo clásico al serverless de forma fácil y sin esfuerzo. La migración de una carga de trabajo se convierte en un paso de revisión y aprobación en lugar de un proyecto de investigación.

La migración solía estar en manos de los profesionales

Hasta ahora, migrar una carga de trabajo a serverless era un proceso manual. El conocimiento sobre cómo se mapea la configuración de un clúster clásico a serverless, qué bibliotecas se resuelven, qué configuraciones de Spark siguen aplicándose y qué modo de acceso necesita una carga de trabajo residía en la cabeza del profesional y en el proceso de prueba y error de ejecutar el notebook o trabajo y leer el fallo.

Genie Migrate for Serverless traslada esa traducción de ti hacia la plataforma, del mismo modo que serverless trasladó el aprovisionamiento y el escalado a la plataforma. Lo que sigue en tus manos es el criterio: decidir si migrar una carga de trabajo ahora, si los cambios propuestos se ven bien y si la ejecución migrada es correcta. El agente se encarga de la traducción y propone una diferencia (diff) que puedes revisar antes de que cambie nada.

Para construir una herramienta de migración serverless exitosa, tuvimos en cuenta estos principios fundamentales:

  • Sin interrupciones en producción: una regresión silenciosa en una carga de trabajo crítica para el negocio es peor que no hacer ninguna migración, por lo que el agente primero evalúa cada carga de trabajo e indica qué es seguro mover.
  • Control sobre cada cambio: la capacidad de ver qué va a cambiar y qué no, de aceptar o rechazar cada edición propuesta y de confiar en que nada toca el código que no hayas aprobado.
  • Un retorno limpio: si la ejecución en serverless falla, existe una forma de volver al estado anterior a la migración con unos pocos clics.

Esas tres necesidades definen cómo funciona el agente de migración, y el flujo de trabajo a continuación define cómo ejecuta la migración: evaluar qué se puede mover, traducirlo y aplicar el cambio de forma reversible.

Qué hace Genie Migrate for Serverless

  1. Evaluar: analiza tus trabajos y clasifica un parque para que sepas qué se puede mover hoy, qué necesita un administrador y qué aún no está listo para la migración.
  2. Traducir: propone los cambios de infraestructura y código que una carga de trabajo necesita para serverless, cada uno presentado como una diferencia etiquetada (una vista lado a lado de lo que cambia y lo que se mantiene igual) para que la revises.
  3. Aplicar (de forma reversible): valida la traducción y la aplica sin interrumpir una carga de trabajo en ejecución, manteniendo intacta tu carga de trabajo original para que puedas revertirla si la ejecución en serverless no es correcta.

image2.png

El agente se ejecuta desde el comando de barra diagonal /compute migrate dentro de Genie en cualquier trabajo o notebook. Está completamente gestionado y no necesitas ninguna configuración para empezar a analizar. Como Databricks lo administra, el agente lee la configuración de tu trabajo y el código de tu carga de trabajo dentro de tu propio espacio de trabajo.

Profundicemos un poco más en cada una de estas áreas mencionadas anteriormente.

Evaluar

Antes de tocar nada, el agente analiza tus trabajos y notebooks y marca cada carga de trabajo según su grado de preparación para serverless. Puedes ver qué cargas de trabajo son candidatas ideales para la migración en lugar de auditar el parque manualmente, lo que elimina el tedioso trabajo de descubrimiento y triaje manual.

image1.png

Una nota rápida sobre fuentes externas: si la fuente de verdad de una carga de trabajo se encuentra fuera del espacio de trabajo (por ejemplo, un trabajo administrado por Databricks Asset Bundles o un notebook en una carpeta de Git), el agente aún no puede migrarlo. El soporte para esto llegará pronto.

Traducir

Una vez que seleccionas una carga de trabajo elegible, el agente de migración propone los cambios que necesita para serverless y los presenta para su revisión antes de que se escriba nada. No se aplica nada hasta que lo apruebes.

El agente de migración traduce de manera efectiva las piezas que difieren entre el entorno clásico y el serverless:

  • Configuración de cómputo: la configuración del clúster clásico se mapea a una selección de cómputo serverless.
  • Entorno y bibliotecas: la lista de bibliotecas se resuelve con respecto al tiempo de ejecución de serverless y la definición del entorno se sintetiza para serverless.
  • Configuraciones de Spark: las configuraciones que siguen aplicándose se transfieren, y las que no, se muestran para que decidas sobre ellas en lugar de eliminarlas silenciosamente.
  • Código de la carga de trabajo: cuando el código utiliza patrones que no se ejecutan en serverless, como API incompatibles con Spark Connect, el agente los reescribe y muestra el cambio como una diferencia (diff).

Cada cambio, incluidas las reescrituras de código, se presenta como una diferencia revisable. Antes de aplicar los cambios, el agente muestra una comparación lado a lado de lo que cambiará y lo que no, un contrato explícito que puedes entregar a un gerente o al equipo de guardia.

Echa un vistazo a la última demostración sobre cómo migrar cargas de trabajo clásicas fácilmente usando Genie Migrate for Serverless.

Si el agente no está seguro de algo, por ejemplo, si una configuración de Spark sigue siendo necesaria, informa sobre dicha configuración en lugar de eliminarla. Una configuración puede parecer no utilizada en un análisis estático, pero un agente de escucha cargado en tiempo de ejecución puede depender de ella. Una eliminación silenciosa haría perder la telemetría en la que confía un equipo. El agente deja esa decisión en tus manos.

Aplicar

Aplicar una migración es el momento en el que estás más expuesto, por lo que Genie Migrate for Serverless es sumamente conservador en este aspecto. Actualmente realiza comprobaciones deterministas de corrección, y próximamente se incluirá una validación de tiempo de ejecución más profunda.

  • Validación antes de aplicar: el agente comprueba que la traducción sea coherente, que las dependencias de las bibliotecas se resuelvan con el tiempo de ejecución de serverless y que la configuración se aplique correctamente, para que los errores aparezcan antes de que se ejecute la carga de trabajo y no durante el SLA de mañana.
  • Una primera ejecución supervisada: dado que los cambios se aplican a un trabajo clonado, puedes ejecutar el clon una vez bajo demanda para confirmar que funciona correctamente en serverless antes de promoverlo a tu trabajo original. De este modo, la primera ejecución en serverless ocurre bajo tu supervisión y no de forma desatendida.

Si decides no migrar, los trabajos clonados o los cambios sugeridos en los notebooks no se aplicarán.

Una cosa que debes tener en cuenta: esto no deshace los datos que las ejecuciones en serverless hayan escrito en las tablas de producción mientras tanto si hiciste pruebas con las versiones modificadas.

Hoy en día, la validación es estática. Confirma que la traducción es correcta sin ejecutar la carga de trabajo y es transparente sobre lo que ha demostrado y lo que no. La comprobación más profunda llegará próximamente a través de Validación en sandbox. Con esto, el agente podrá ejecutar la carga de trabajo migrada en un sandbox aislado sin afectar tus tablas de producción y comparar su resultado con la línea base clásica, para que puedas ver una señal de tiempo de ejecución y corrección en un trabajo crítico antes de aplicarlo, y no después.

Migrar trabajos en bloque

Migrar una carga de trabajo a la vez en Genie funciona bien para unos pocos trabajos. Para un conjunto más grande, puedes ejecutar Genie Migrate for Serverless en segundo plano con Databricks CLI. Inicia una migración para varios trabajos desde un script usando el grupo de comandos compute-migrations, y el agente creará una copia de trabajo sin servidor de cada trabajo sin una sesión abierta de Genie. Tu trabajo original no cambiará hasta que revises y apruebes su migración, y al aprobarla se mantendrán el ID, la programación y los permisos del trabajo. La migración masiva admite trabajos actualmente (el soporte para notebooks llegará pronto) y requiere Databricks CLI versión 1.24.0 o superior.

El panorama completo

Juntemos nuevamente las tres capacidades clave de Genie Migrate for Serverless:

  • Evaluar: identifica y clasifica la elegibilidad de los trabajos para la migración sin servidor en todo el conjunto.
  • Traducir: propone cambios de infraestructura y código como diferencias etiquetadas y revisables.
  • Aplicar de forma reversible: realiza validación determinista actualmente, con validación de entorno de pruebas próximamente.

Aquí tienes un resumen rápido de qué cargas de trabajo son aptas para migrar hoy usando el agente y qué llegará en el futuro.

image4.png

Comienza hoy mismo

Puedes empezar a mover cargas de trabajo a entornos sin servidor hoy mismo usando Genie Migrate for Serverless. Así es como puedes empezar:

  1. Activa la versión beta: habilita Genie Migrate for Serverless en la configuración de vista previa de tu espacio de trabajo y luego ejecuta /compute migrate en Genie en un trabajo o notebook para escanear qué es elegible.
  2. Elige primero una carga de trabajo de bajo riesgo: migra un trabajo o notebook no crítico para ganar confianza en el flujo antes de tocar cualquier elemento crítico para el negocio.
  3. Revisa antes de aplicar: lee los paneles de lo que cambiará y lo que no cambiará, y acepta o rechaza cada cambio propuesto.
  4. Observa la primera ejecución sin servidor: confirma que la carga de trabajo migrada se ejecuta correctamente; tu original permanece intacta para que puedas revertirla si no es así.
  5. Expande desde ahí: migra el resto del conjunto elegible y utiliza los banners de acciones de administrador necesarias para desbloquear las cargas de trabajo que requieren configuración.

Genie Migrate for Serverless está disponible hoy a través del comando /compute migrate en Genie, en cualquier trabajo o notebook. Estamos dando forma activamente a la capacidad de validación en entornos de prueba con clientes de vista previa, y continuamos evolucionando el agente para hacer que las migraciones sin servidor sean más rápidas, simples y fáciles.

Más información:

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original

Recibe las últimas publicaciones en tu bandeja de entrada

Suscríbete a nuestro blog y recibe las últimas publicaciones directamente en tu bandeja de entrada.