Hacer que las migraciones a serverless sean más rápidas, seguras y sencillas
por Piyush Singh, Vijay Raja y Feng Lu
El cómputo serverless en Databricks ofrece una forma más sencilla y rápida de ejecutar tus cargas de trabajo de datos y IA. Elimina la carga operativa de administrar la infraestructura, gestionando automáticamente el aprovisionamiento, el escalado y la optimización para que los equipos puedan centrarse en sus resultados de negocio. Con serverless, las organizaciones pueden avanzar más rápido, mejorar la eficiencia y aprovechar los beneficios del cómputo nativo en la nube sin tener que administrar ni mantener cúmulos complejos.
Nuestro uso de serverless se ha multiplicado en el último año y, hoy en día, miles de clientes ejecutan notebooks y trabajos en él. La mayoría de los equipos todavía tienen un parque clásico que desean migrar al mundo serverless para obtener los beneficios de costos y operaciones sin tener que administrar la infraestructura por sí mismos. La tarea de mover cada carga de trabajo una por una a menudo impide que nuestros clientes aprovechen los beneficios de serverless en sus cargas de trabajo existentes.
Probablemente hayas visto esto antes. Seleccionas un trabajo, lo cambias a serverless y luego te encuentras con un error, una incompatibilidad en el modo de acceso, una configuración de Spark que no se aplica o una biblioteca que está instalada en el entorno clásico pero no en serverless. Lo que debería tomar una tarde se alarga durante semanas, y la mayor parte del tiempo se dedica a una traducción que ya has hecho muchas veces.
¡Se acabó! Hoy nos emociona anunciar el lanzamiento de Genie Migrate for Serverless (en versión Beta), el agente de Databricks que migra tus trabajos y notebooks del cómputo clásico al serverless de forma fácil y sin esfuerzo. La migración de una carga de trabajo se convierte en un paso de revisión y aprobación en lugar de un proyecto de investigación.
Hasta ahora, migrar una carga de trabajo a serverless era un proceso manual. El conocimiento sobre cómo se mapea la configuración de un clúster clásico a serverless, qué bibliotecas se resuelven, qué configuraciones de Spark siguen aplicándose y qué modo de acceso necesita una carga de trabajo residía en la cabeza del profesional y en el proceso de prueba y error de ejecutar el notebook o trabajo y leer el fallo.
Genie Migrate for Serverless traslada esa traducción de ti hacia la plataforma, del mismo modo que serverless trasladó el aprovisionamiento y el escalado a la plataforma. Lo que sigue en tus manos es el criterio: decidir si migrar una carga de trabajo ahora, si los cambios propuestos se ven bien y si la ejecución migrada es correcta. El agente se encarga de la traducción y propone una diferencia (diff) que puedes revisar antes de que cambie nada.
Para construir una herramienta de migración serverless exitosa, tuvimos en cuenta estos principios fundamentales:
Esas tres necesidades definen cómo funciona el agente de migración, y el flujo de trabajo a continuación define cómo ejecuta la migración: evaluar qué se puede mover, traducirlo y aplicar el cambio de forma reversible.

El agente se ejecuta desde el comando de barra diagonal /compute migrate dentro de Genie en cualquier trabajo o notebook. Está completamente gestionado y no necesitas ninguna configuración para empezar a analizar. Como Databricks lo administra, el agente lee la configuración de tu trabajo y el código de tu carga de trabajo dentro de tu propio espacio de trabajo.
Profundicemos un poco más en cada una de estas áreas mencionadas anteriormente.
Antes de tocar nada, el agente analiza tus trabajos y notebooks y marca cada carga de trabajo según su grado de preparación para serverless. Puedes ver qué cargas de trabajo son candidatas ideales para la migración en lugar de auditar el parque manualmente, lo que elimina el tedioso trabajo de descubrimiento y triaje manual.

Una nota rápida sobre fuentes externas: si la fuente de verdad de una carga de trabajo se encuentra fuera del espacio de trabajo (por ejemplo, un trabajo administrado por Databricks Asset Bundles o un notebook en una carpeta de Git), el agente aún no puede migrarlo. El soporte para esto llegará pronto.
Una vez que seleccionas una carga de trabajo elegible, el agente de migración propone los cambios que necesita para serverless y los presenta para su revisión antes de que se escriba nada. No se aplica nada hasta que lo apruebes.
El agente de migración traduce de manera efectiva las piezas que difieren entre el entorno clásico y el serverless:
Cada cambio, incluidas las reescrituras de código, se presenta como una diferencia revisable. Antes de aplicar los cambios, el agente muestra una comparación lado a lado de lo que cambiará y lo que no, un contrato explícito que puedes entregar a un gerente o al equipo de guardia.
Echa un vistazo a la última demostración sobre cómo migrar cargas de trabajo clásicas fácilmente usando Genie Migrate for Serverless.
Si el agente no está seguro de algo, por ejemplo, si una configuración de Spark sigue siendo necesaria, informa sobre dicha configuración en lugar de eliminarla. Una configuración puede parecer no utilizada en un análisis estático, pero un agente de escucha cargado en tiempo de ejecución puede depender de ella. Una eliminaci ón silenciosa haría perder la telemetría en la que confía un equipo. El agente deja esa decisión en tus manos.
Aplicar una migración es el momento en el que estás más expuesto, por lo que Genie Migrate for Serverless es sumamente conservador en este aspecto. Actualmente realiza comprobaciones deterministas de corrección, y próximamente se incluirá una validación de tiempo de ejecución más profunda.
Si decides no migrar, los trabajos clonados o los cambios sugeridos en los notebooks no se aplicarán.
Una cosa que debes tener en cuenta: esto no deshace los datos que las ejecuciones en serverless hayan escrito en las tablas de producción mientras tanto si hiciste pruebas con las versiones modificadas.
Hoy en día, la validación es estática. Confirma que la traducción es correcta sin ejecutar la carga de trabajo y es transparente sobre lo que ha demostrado y lo que no. La comprobación más profunda llegará próximamente a través de Validación en sandbox. Con esto, el agente podrá ejecutar la carga de trabajo migrada en un sandbox aislado sin afectar tus tablas de producción y comparar su resultado con la línea base clásica, para que puedas ver una señal de tiempo de ejecución y corrección en un trabajo crítico antes de aplicarlo, y no después.
Migrar una carga de trabajo a la vez en Genie funciona bien para unos pocos trabajos. Para un conjunto más grande, puedes ejecutar Genie Migrate for Serverless en segundo plano con Databricks CLI. Inicia una migración para varios trabajos desde un script usando el grupo de comandos compute-migrations, y el agente creará una copia de trabajo sin servidor de cada trabajo sin una sesión abierta de Genie. Tu trabajo original no cambiará hasta que revises y apruebes su migración, y al aprobarla se mantendrán el ID, la programación y los permisos del trabajo. La migración masiva admite trabajos actualmente (el soporte para notebooks llegará pronto) y requiere Databricks CLI versión 1.24.0 o superior.
Juntemos nuevamente las tres capacidades clave de Genie Migrate for Serverless:
Aquí tienes un resumen rápido de qué cargas de trabajo son aptas para migrar hoy usando el agente y qué llegará en el futuro.

Puedes empezar a mover cargas de trabajo a entornos sin servidor hoy mismo usando Genie Migrate for Serverless. Así es como puedes empezar:
/compute migrate en Genie en un trabajo o notebook para escanear qué es elegible.Genie Migrate for Serverless está disponible hoy a través del comando /compute migrate en Genie, en cualquier trabajo o notebook. Estamos dando forma activamente a la capacidad de validación en entornos de prueba con clientes de vista previa, y continuamos evolucionando el agente para hacer que las migraciones sin servidor sean más rápidas, simples y fáciles.
(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original
Suscríbete a nuestro blog y recibe las últimas publicaciones directamente en tu bandeja de entrada.