Alchemist: de Brickbuilder a una aplicación del Marketplace de Databricks

Durante casi seis años, T1A se ha asociado con Databricks en proyectos de migración de extremo a extremo de SAS a Databricks para ayudar a las empresas a modernizar su plataforma de datos. Como antiguo SAS Platinum Partner, poseemos un profundo conocimiento de las fortalezas, las peculiaridades y los problemas ocultos de la plataforma que surgen del comportamiento único del motor de SAS. Hoy en día, esa experiencia heredada se complementa con un equipo de Databricks Champions y una práctica dedicada de ingeniería de datos, lo que nos da la rara habilidad de hablar fluidamente tanto “SAS” como “Spark”.

Al principio de nuestro recorrido, observamos un patrón recurrente: las organizaciones querían dejar de usar SAS por diversas razones, pero todas las rutas de migración parecían dolorosas, arriesgadas o ambas cosas. Estudiamos el mercado, probamos varias opciones de herramientas y llegamos a la conclusión de que la mayoría de las soluciones eran poco potentes y trataban la migración de SAS como poco más que un “cambio de dialectos de SQL”. Esa brecha nos impulsó a construir nuestro propio transpilador, y Alchemist se lanzó por primera vez en 2022.

Alchemist es una potente herramienta que automatiza su migración de SAS a Databricks: 

• Analiza SAS y parsea tu código para proporcionar análisis detallados en todos los niveles, lo que cierra las brechas que dejan los generadores de perfiles básicos y te brinda una comprensión clara de tu carga de trabajo
• Convierte código SAS a Databricks utilizando las mejores prácticas diseñadas por nuestros arquitectos y expertos en Databricks, lo que ofrece un código limpio y legible sin complejidad innecesaria
• Admite todos los formatos comunes, incluyendo código SAS (archivos .sas), archivos de proyecto de SAS EG y trabajos de SAS DI en formato .spk, extrayendo tanto el código como metadatos valiosos
• Proporciona resultados flexibles y configurables con funciones de plantillas personalizadas para cumplir incluso con los requisitos de arquitectura más estrictos
• Integra capacidades de IA y LLM para estructuras de código atípicas, logrando una tasa de conversión del 100% en cada archivo.
• Se integra fácilmente con frameworks o pipelines de CI/CD para automatizar todo el flujo de migración, desde el análisis hasta la validación final y el despliegue.

Alchemist, junto con todas nuestras herramientas, ya no es solo un acelerador de migración; es el motor principal y el impulsor de la migración en nuestros proyectos.

Entonces, ¿qué es Alchemist a fondo?

Analizador Alchemist 

Antes que nada, Alchemist no es solo un transpilador, es una potente herramienta de evaluación y análisis. El Analizador de Alchemist analiza y examina rápidamente cualquier lote de código y genera un perfil completo de las características de su código SAS. En lugar de dedicar semanas a la revisión manual, los clientes pueden obtener un panorama completo de los patrones y la complejidad del código en cuestión de minutos.

El panel de análisis es gratuito y ahora está disponible de dos maneras:

• Databricks Marketplace: T1A Alchemist
• Versión SaaS: https://live.getalchemist.io/
• Versión local: guía de inicio rápido en https://app.getalchemist.io/main

Este análisis proporciona información sobre el tamaño del alcance de la migración, destaca elementos únicos, detecta integraciones y ayuda a evaluar las preferencias del equipo para diferentes patrones programáticos. También clasifica los tipos de cargas de trabajo, nos ayuda a predecir las tasas de conversión de la automatización y estima el esfuerzo necesario para la validación de la calidad de los resultados.

Más que una simple descripción general de alto nivel, Alchemist Analyzer ofrece una vista de tabla detallada (la llamamos DDS) que muestra cómo se utilizan los procedimientos y las opciones, el linaje de datos y cómo los componentes del código dependen unos de otros. 

Este nivel de detalle ayuda a responder preguntas tales como:

• ¿Qué caso de uso deberíamos seleccionar para el MVP para demostrar mejoras rápidamente?
• ¿Cómo deberíamos priorizar la migración de código? Por ejemplo, ¿migrar primero los datos de uso frecuente o priorizar los productores de datos críticos?
• Si refactorizamos una macro específica o cambiamos una estructura de origen, ¿qué otros segmentos de código se verán afectados?
• Para liberar espacio en disco o para dejar de usar un componente SAS costoso, ¿qué medidas debemos tomar primero?

Debido a que el Analizador expone cada dependencia, flujo de control y punto de contacto de datos, nos da una comprensión real del código, lo que nos permite hacer mucho más que una conversión automatizada. Podemos identificar con precisión dónde validar los resultados, dividir los monolitos en bloques de migración significativos, descubrir patrones repetibles y optimizar las pruebas de extremo a extremo, capacidades que ya hemos utilizado en múltiples proyectos de clientes.

Transpilador Alchemist

Comencemos con un breve resumen de las capacidades de Alchemist:

• Fuentes: proyectos de SAS EG (.egp), código base de SAS (.sas), trabajos de SAS DI (.spk)
• Destinos: notebooks de Databricks, código Python de PySpark, pipelines de Prophecy, etc.
• Cobertura: Cobertura y precisión de casi el 100 % para SQL, procedimientos y transformaciones comunes, pasos de datos y código de macros.
• Posconversión con LLM: Identifica sentencias problemáticas y las ajusta usando un LLM para mejorar el código final.
• Plantillas: Funciones para redefinir el comportamiento del convertidor a fin de cumplir con las visiones de refactorización o de la arquitectura de destino.

El transpilador Alchemist funciona en tres pasos:

1. Analizar código: El código se analiza en un Árbol de sintaxis abstracta (AST) detallado, que describe completamente su lógica.
2. Reconstrucción de código: Según el dialecto de destino, se aplica una regla específica a cada nodo del AST para reconstruir la transformación en el motor de destino, paso a paso, de nuevo en el código.
3. Analizar resultado y refinar: Se analiza el resultado. Si alguna sentencia encuentra errores, se puede convertir usando un LLM. Este proceso incluye proporcionar la sentencia original junto con todos los metadatos relevantes sobre las tablas utilizadas, el contexto de cálculo y los requisitos del código.

Todo esto suena prometedor, pero ¿cómo se manifiesta en un escenario de migración real? 

Compartamos algunas métricas de una migración reciente de múltiples unidades de negocio en la que movimos cientos de flujos de SAS Enterprise Guide a Databricks. Estos flujos manejaban la generación de informes diarios y la consolidación de datos, realizaban comprobaciones de negocio rutinarias y eran mantenidos en gran medida por equipos de análisis. Las entradas típicas incluían archivos de texto, libros de trabajo XLSX y varias tablas RDBMS; las salidas variaban desde extractos de Excel/CSV y alertas por correo electrónico hasta resúmenes parametrizados en pantalla. La migración se ejecutó con Alchemist v2024.2 (una versión anterior a la que está disponible ahora), por lo que los usuarios de hoy pueden esperar tasas de automatización aún más altas y una calidad de resultados más rica.

Para darles algunas cifras, medimos estadísticas de una porción de 30 flujos de EG aleatorios migrados con Alchemist.

Debemos comenzar con unas breves aclaraciones:

1. Al hablar de la tasa de conversión, nos referimos al porcentaje del código original que se ha transformado automáticamente en código ejecutable en Databricks. Sin embargo, la verdadera precisión de esta conversión solo se puede determinar después de ejecutar pruebas en los datos y validar los resultados.
2. Las métricas se recopilan en la versión anterior de Alchemist y, sin plantillas, se han desactivado las configuraciones adicionales y el uso de LLM. 

Así que obtuvimos una tasa de conversión de casi el 75 % con una precisión de casi el 90 % (el 90 % de los pasos del flujo pasaron la validación sin cambios):

Con la última versión de Alchemist, que incluye conversión impulsada por IA, logramos una tasa de conversión del 100 %. Sin embargo, los resultados proporcionados por la IA siguieron presentando el mismo problema de falta de precisión. Esto convierte a la validación de datos en el siguiente "pozo sin fondo" para la migración.

Por cierto, vale la pena destacar que una preparación exhaustiva del código, los mapeos de objetos y otras configuraciones es fundamental para el éxito de las migraciones. El código dañado, el mapeo de datos incorrecto, los problemas con la migración de la fuente de datos, el código desactualizado y otros problemas relacionados con la preparación suelen ser difíciles de identificar y aislar; sin embargo, afectan significativamente los plazos de la migración.

Flujo de trabajo de validación de datos y enfoque agéntico

Con la conversión de código automatizada e impulsada por IA ahora cercana a “un solo clic”, el verdadero cuello de botella se ha desplazado a la validación comercial y la aceptación del usuario. En la mayoría de los casos, esta fase consume entre el 60 % y el 70 % del cronograma general de migración y representa la mayor parte del riesgo y el costo del proyecto. A lo largo de los años, hemos experimentado con múltiples técnicas de validación, marcos de trabajo y herramientas para acortar la “fase de validación” sin perder calidad.

Los desafíos empresariales típicos que enfrentamos con nuestros clientes son:

• ¿Cuántas pruebas se necesitan para garantizar la calidad sin ampliar el alcance del proyecto?
• ¿Cómo lograr el aislamiento de las pruebas para que midan solo la calidad de la conversión, mientras siguen siendo repetibles y determinísticas? Comparación de igual a igual.
• Automatización de todo el ciclo: preparación de pruebas, ejecución, análisis de resultados y correcciones
• Identificar con precisión el paso, la tabla o la función que causa una discrepancia, lo que permite a los ingenieros solucionar los problemas una vez y seguir adelante

Hemos establecido esta configuración: 

• Generación automática de pruebas basada en muestras de datos reales recopiladas automáticamente en SAS
• Pruebas aisladas en 4 fases:
  • Pruebas unitarias - prueba aislada de cada instrucción convertida
  • Prueba E2E: prueba completa de un pipeline o notebook, con datos copiados de SAS
  • Validación de la fuente real: prueba completa en el entorno de prueba con fuentes de destino
  • Prueba similar a la de producción: una prueba completa en un entorno similar al de producción que utiliza fuentes reales para medir el rendimiento, validar la implementación, recopilar métricas estadísticas de resultados y ejecutar varios escenarios de uso
• “Vibe testing”: los agentes de IA tuvieron un buen desempeño al corregir y ajustar las pruebas unitarias y las pruebas E2E. Esto se debe a su contexto limitado, a los rápidos resultados de validación y a la iterabilidad mediante el muestreo de datos. Sin embargo, los agentes fueron menos útiles en las dos últimas fases, donde se requiere una gran pericia y experiencia.
• Informes. Los resultados deben consolidarse en informes claros y reproducibles, listos para una revisión rápida por parte de los principales interesados. Por lo general, no tienen mucho tiempo para validar el código migrado y solo están listos para aceptar y probar el caso de uso completo.

Rodeamos este proceso con frameworks, scripts y plantillas para lograr velocidad y flexibilidad. No intentamos crear un producto "listo para usar" porque cada migración es única, con diferentes entornos, requisitos y niveles de participación del cliente. Sin embargo, la instalación y la configuración deben ser rápidas. 

La combinación de la sofisticación técnica de Alchemist y nuestra metodología probada ha ofrecido consistentemente resultados medibles: una tasa de automatización de la conversión de casi el 100 %, reducciones del 70 % en el tiempo de validación e implementación. 

Finalización de la migración

La verdadera medida de cualquier solución de migración no radica en sus características, sino en su impacto real en las operaciones del cliente. En T1A, nos enfocamos en algo más que el aspecto técnico de la migración. Sabemos que la migración no termina cuando el código se convierte y se prueba. La migración se completa cuando todos los procesos de negocio se migran y consumen datos de la nueva plataforma, cuando los usuarios de negocio se incorporan y cuando ya están aprovechando las ventajas de trabajar en Databricks. Por eso, no solo migramos, sino que también ofrecemos soporte avanzado de proyectos posteriores a la migración con nuestros especialistas para garantizar una incorporación más fluida del cliente, que incluye lo siguiente:

• Monitoreo personalizado para su plataforma de datos
• Talleres educativos personalizables y adaptados a diferentes públicos
• Equipos de soporte con niveles de compromiso flexibles para atender las solicitudes de los usuarios técnicos y de negocio
• Talleres para compartir mejores prácticas
• Asistencia en la creación de un centro de especialización dentro de su empresa.

Todos estos, parametrizados desde el análisis integral del código y la transpilación automatizada hasta los marcos de validación impulsados por IA y el soporte posmigración, han sido probados rigurosamente en múltiples migraciones empresariales. Y estamos listos para compartir nuestra experiencia con ustedes. 

Nuestros casos de éxito

Así que, es hora de resumir. Durante los últimos años, hemos aplicado este enfoque integrado en diversas organizaciones de los sectores de la salud y los seguros, cada una con desafíos únicos, requisitos regulatorios y cargas de trabajo críticas para el negocio.

Hemos estado aprendiendo, desarrollando nuestras herramientas y mejorando nuestro enfoque, y ahora estamos aquí para compartir nuestra visión y metodología con usted. Aquí puede ver solo una parte de las referencias de nuestro proyecto, y estamos listos para compartir más si lo solicita. 

¿Y ahora qué?

Recién comenzamos a adoptar un enfoque agéntico, pero reconocemos su potencial para automatizar actividades rutinarias. Esto incluye preparar configuraciones y mapeos, generar datos de prueba personalizados para alcanzar la cobertura total del código y crear plantillas automáticamente para cumplir con las reglas de arquitectura, entre otras ideas.

Por otro lado, vemos que las capacidades actuales de la IA aún no son lo suficientemente maduras para manejar ciertas tareas y escenarios de alta complejidad. Por lo tanto, anticipamos que el camino más eficaz a seguir se encuentra en la intersección de la IA y las metodologías programáticas.

Únase a nuestro próximo seminario web: "Mejores prácticas para la migración de SAS: lecciones de más de 20 proyectos empresariales" →

Compartiremos en detalle lo que aprendimos, lo que sigue y cuáles son las mejores prácticas para la migración de ciclo completo a Databricks. O, mira la demostración de nuestro enfoque de migración → y muchos otros materiales sobre migración en nuestro canal.

¿Está listo para acelerar su migración de SAS?

Empieza con cero riesgo: obtén tu evaluación gratuita hoy

Analice su entorno de SAS en minutos →

Carga tu código SAS para un análisis instantáneo y completo. Descubra la complejidad de la migración, identifique victorias rápidas y obtenga estimaciones de dimensionamiento automatizadas, totalmente gratis y sin necesidad de registrarse.

Da el siguiente paso

Para organizaciones listas para la migración ([email protected]):

• Reserva una consulta estratégica: una sesión de 45 minutos para revisar los resultados de tu análisis y elaborar un plan de migración personalizado

• Solicite una Prueba de Concepto - Valide nuestro enfoque con una migración piloto de sus flujos de trabajo más críticos

Para la planificación en etapas iniciales:

• Descarga la lista de verificación de preparación para la migración → Guía de autoevaluación para evaluar el nivel de preparación de tu organización

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original