Presentamos Genie Code

Nos complace anunciar Genie Code, la incorporación más reciente a la familia Databricks Genie. En los últimos seis meses, las herramientas de codificación basadas en agentes han cambiado fundamentalmente la ingeniería de software; Genie Code trae esa misma transformación a los equipos de datos. Genie Code puede realizar de forma autónoma tareas complejas, como crear pipelines, depurar errores, implementar dashboards y mantener los sistemas de producción.

A diferencia de los agentes que se centran únicamente en escribir código, Genie Code también funciona como un agente de producción proactivo. Supervisa sus canalizaciones de Lakeflow y modelos de IA en segundo plano, clasifica las fallas, gestiona las actualizaciones rutinarias de DBR e investiga las anomalías antes de que su equipo se dé cuenta.

Hace todo esto integrándose profundamente con Unity Catalog para que entienda los datos, la semántica y las políticas de gobernanza de su empresa. Genie Code supera significativamente a un agente de codificación líder por más del doble en tareas de ciencia de datos del mundo real.

Auge del trabajo de datos agéntico

Las herramientas de codificación con agentes han transformado la ingeniería de software, llevando a los desarrolladores más allá del autocompletado y hacia el desarrollo impulsado por agentes. Con un solo prompt, los ingenieros ahora pueden crear la estructura inicial de las características, refactorizar el código y desplegar prototipos en segundos. Este cambio ha sido impulsado por los avances en los LLM y por los sistemas agénticos que pueden interpretar el complejo contexto de las bases de código de software modernas.

La mayoría de los agentes del mercado se enfocan en el código como producto final. Sin embargo, para los equipos de datos, el código es solo un medio para manipular y comprender los datos subyacentes. Es precisamente por eso que los agentes centrados en el software suelen tener problemas con el trabajo de datos. En un ecosistema de datos, el contexto reside no solo en el script, sino también en los patrones de uso, el linaje y la semántica de negocio. 

Acceder a este contexto es vital porque hay mucho en juego. Los dashboards impulsan las decisiones empresariales, los pipelines potencian los sistemas de producción y los modelos de machine learning influyen en los resultados del mundo real. Para los equipos de datos, la velocidad y el impulso que ofrecen los agentes deben combinarse con una precisión, reproducibilidad y gobernanza absolutas.

Genie Code es un agente de IA creado específicamente para los datos. Aprovecha Unity Catalog para seleccionar automáticamente los datos y el contenido más relevantes mientras trabajas. Crea índices de búsqueda personalizados, instrucciones personalizadas, almacenes de conocimiento y extrae patrones de uso del linaje de datos. Lo mejor de todo es que se vuelve más inteligente cuanto más lo usa tu equipo. Esta profunda integración en Unity Catalog es muy superior a cualquier sistema que simplemente lee los datos desde el exterior.

Hemos visto el impacto de Genie y Genie Code de primera mano en Databricks, tanto en usuarios técnicos como no técnicos. Nuestro equipo de ventas lo utiliza para obtener una imagen completa de cada cliente antes de las reuniones, resumiendo en segundos las métricas clave de consumo, los tickets de soporte y las interacciones recientes. Los gerentes de producto utilizan Genie Code para crear dashboards a partir de un boceto a mano de tablas y gráficos. Nuestro equipo de finanzas realiza análisis de presupuesto contra gastos reales y modelos avanzados de ROI. Nuestro equipo directivo responde a preguntas sobre datos en tiempo real durante los debates estratégicos, lo que reduce el seguimiento y acelera las decisiones complejas. En toda la empresa, estas herramientas han cambiado nuestra forma de trabajar con los datos.

Qué hace Genie Code:

• Actúa como un ingeniero experto en machine learning: Genie Code maneja flujos de trabajo de ML completos de principio a fin. Razona sobre problemas complejos para planificar, escribir e implementar modelos, mientras registra los experimentos en MLflow y ajusta los endpoints de servicio para obtener el máximo rendimiento.
• Amplia experiencia en ingeniería de datos: Mientras que un ingeniero novato podría escribir un script que funcione con datos de prueba, Genie Code diseña como un arquitecto sénior. Tiene en cuenta las diferencias entre los entornos de staging y de producción, crea flujos de trabajo para la captura de datos de cambios y aplica las expectativas de calidad de los datos.
• Mantiene y optimiza de forma proactiva: Genie Code supervisa las canalizaciones de Lakeflow y los modelos de IA en segundo plano para clasificar los errores e investigar las anomalías. Analiza de forma autónoma los rastros de los agentes para corregir las alucinaciones y ajusta la asignación de recursos antes de que intervenga una persona.
• Comprende el contexto empresarial: Integrado con Unity Catalog, Genie Code aplica las políticas de gobernanza y los controles de acceso existentes. Comprende la semántica empresarial y los requisitos de auditoría, y federa los datos de la empresa, incluidos los datos de plataformas externas.
• Mejora con el tiempo: Genie Code se vuelve más inteligente cuanto más lo usan los equipos. A través de la memoria persistente, actualiza automáticamente las instrucciones internas basándose en interacciones pasadas y preferencias de codificación. En tareas internas de ciencia de datos, Genie Code supera a los principales agentes de codificación en un 77.1 % frente a un 32.1 % en calidad.

Con Genie Code, los equipos de datos pasan de darle instrucciones a un copiloto a delegar trabajo real: crear pipelines, depurar errores, entregar dashboards y mantener sistemas de producción, de forma autónoma y de principio a fin.

En SiriusXM, Genie Code lo admite todo, desde la creación de notebooks y SQL complejo hasta el razonamiento sobre las relaciones entre tablas y la depuración de pipelines. Actúa como un socio de desarrollo práctico que ayuda a nuestros equipos de datos a entregar un trabajo de alta calidad en menos tiempo. — Bernie Graham, vicepresidente de Ingeniería de Datos, Sirius XM

Agente de la más alta calidad para el trabajo con datos e IA

Genie Code no es impulsado por un único modelo. Es un sistema agéntico que enruta tareas a través de múltiples modelos y herramientas, seleccionando automáticamente el mejor modelo para cada trabajo, ya sea un LLM de vanguardia, un modelo de código abierto o un modelo personalizado alojado en Databricks. Esto elimina la necesidad de que los usuarios cambien manualmente entre modelos o adivinen cuál producirá el mejor resultado.

Genie Code también está profundamente integrado con las API de Databricks, lo que le permite identificar los activos de datos correctos, recopilar un contexto enriquecido y generar consultas de mayor calidad. Databricks Research ajusta continuamente el sistema y realiza benchmarks con los últimos modelos de los principales laboratorios de IA junto con los modelos personalizados que se ejecutan en la plataforma.

En nuestra reciente evaluación comparativa de rendimiento en tareas de ciencia de datos y análisis del mundo real recopiladas de usuarios internos, Genie Code superó significativamente a un agente de codificación líder equipado con los servidores del Protocolo de Contexto del Modelo (MCP) de Databricks.

• Genie Code: 77.1 % de tareas resueltas
• Agente de codificación líder + Databricks MCP: 32.1 % de tareas resueltas

Genie Code admite el ciclo de vida completo del trabajo con datos.

Entrenar y evaluar modelos de aprendizaje automático

Genie Code actúa como un ingeniero de ML dedicado e integrado en tu flujo de trabajo. Pídele que "entrene un modelo de pronóstico que prediga las ventas en @sales_table" y razonará a través de todo el pipeline: 

• Identificación y creación de perfiles de atributos
• Dividir correctamente los conjuntos de datos de entrenamiento, validación y prueba
• Entrene múltiples tipos de modelos y compárelos, ejecutando barridos de hiperparámetros para entrenar el mejor modelo posible.
• Evalúa los resultados a través de métricas como AUC, F1, RMSE y R²
• Generar gráficos para la importancia de los features, matrices de confusión y curvas ROC
• Realiza un seguimiento de los experimentos en MLflow
• Recomendar mejoras basadas en los diagnósticos del modelo

Una vez desplegado en Databricks Model Serving, Genie Code se mantiene activo: puede comprobar el estado del endpoint, analizar trazas y recomendar optimizaciones. Puede leer más sobre esto en la sección “From Code to Production: Observability with Genie Code” a continuación.

Genie Code cambia la forma en que operan nuestros equipos de datos. En lugar de unir manualmente notebooks, pipelines y modelos, podemos delegar flujos de trabajo complejos a un socio de IA que comprenda nuestros datos, gobernanza, contexto de negocio y bibliotecas internas, como los productos de inteligencia artificial de Repsol. Acelera todo, desde la previsión de series temporales hasta la implementación en producción, sin sacrificar el rigor ni el control. — Emilio Martín Gallardo, científico de datos principal, Gestión y Análisis de Datos, Repsol

Crear pipelines de datos listos para producción

Genie Code es tu ingeniero de datos experto, diseñado para ayudarte a diseñar y evolucionar pipelines de datos confiables.

• Crea canalizaciones a partir de lenguaje natural: Describe lo que necesitas y Genie Code genera una canalización declarativa de Spark completa con ingestión, transformaciones y expectativas de calidad de los datos incorporadas.
• Extienda los pipelines existentes: agregue datasets, modifique transformaciones, escriba flujos de AutoCDC, configure Auto Loader y aplique expectativas de calidad de datos, todo dentro del contexto de su pipeline actual.
• Comprende el comportamiento de la canalización: Inspecciona los resultados, rastrea el flujo de datos hacia las tablas descendentes y detecta cambios inesperados en el número de filas o en los esquemas.

Genie Code nos ha llevado más allá de la codificación asistida hacia una verdadera ingeniería de datos agéntica. Puede analizar nuestros pipelines de Lakeflow, proponer cambios en múltiples archivos con diffs, ejecutar corridas con salvaguardas e iterar a través de las fallas hasta que se resuelvan los problemas. Se siente menos como una función de autocompletar y más como un colaborador integrado en nuestro flujo de trabajo. — Nishit Gajjar, líder técnico, proveedor de tecnología de infraestructura global

Crea dashboards con definiciones semánticas reutilizables

Genie Code puede generar visualizaciones, configurar filtros y organizar diseños de dashboards de varias páginas, todo con definiciones semánticas reutilizables. Conecta esas definiciones con filtros, cálculos y diseños que se adaptan al crecimiento de los dashboards, lo que ayuda a los equipos a avanzar más rápido y a mantener la consistencia.

Con Genie Code, nuestros equipos entregan análisis impulsados por IA y flujos de trabajo automatizados en semanas, no en meses. Los agentes low-code nos ayudan a avanzar más rápido mientras nos mantenemos alineados con la gobernanza, lo que permite a los equipos de proyectos e ingeniería obtener insights en lenguaje natural a partir de datos complejos sin ralentizar la entrega. — Russell Singer, arquitecto principal de datos, Bechtel Corporation

Planificación y ejecución autónomas de varios pasos 

Proporcione un objetivo de alto nivel, como "Identificar los riesgos de retraso de los vuelos y crear un dashboard de monitoreo". Genie Code razona los requisitos, formula un plan de varios pasos y lo ejecuta en todos los Databricks Notebooks, AI/BI Dashboards y Lakeflow en un único hilo de conversación.

Lo que estamos viendo en Danfoss es que Genie Code cambia los roles dentro de un equipo de datos, lo que respalda nuestro enfoque estratégico en la digitalización y la IA. Los científicos de datos todavía proporcionan dirección y revisión, pero los ingenieros, analistas y expertos en el dominio ahora pueden trabajar activamente en notebooks con el asistente y contribuir a los flujos de trabajo de análisis avanzados. Convierte la ciencia de datos en una actividad de equipo mucho más colaborativa. — Radu Dragusin, ingeniero principal, Datos e IA, Danfoss

Análisis exploratorio de datos con búsqueda contextual profunda

Genie Code utiliza la popularidad, el linaje, las muestras de código y los metadatos de Unity Catalog para encontrar los conjuntos de datos más relevantes para cualquier análisis. Esta búsqueda contextual profunda elimina el esfuerzo manual de buscar datos y garantiza que tu trabajo se base en las tablas más precisas y usadas con mayor frecuencia dentro de tu organización.

Estoy realmente fascinado. Genie Code se siente como un vistazo al futuro de cómo se hace el trabajo con datos. — Sameer Yasser, ingeniero de datos sénior, Sundt Construction

Personalización y extensibilidad

Genie Code es una plataforma flexible diseñada para adaptarse a los estándares específicos de tu equipo y a tu stack tecnológico externo. Existen tres formas principales de ampliar sus capacidades:

1. Herramientas externas a través del Protocolo de Contexto del Modelo (MCP)
   Genie Code es compatible con el Protocolo de Contexto del Modelo (MCP), un estándar abierto que le permite interactuar de forma segura con sus herramientas externas, API y documentación. Esto permite flujos de trabajo autónomos que se extienden más allá del espacio de trabajo de Databricks.

Por ejemplo, cuando se te asigna una tarea de Jira para entrenar un nuevo modelo de ML, Genie Code puede recopilar automáticamente el contexto de la misma, realizar la tarea y actualizar el ticket con los resultados.

Conecte Genie a su Confluence, Google Drive, GitHub o Notion interno a través de MCP para que pueda hacer referencia a los runbooks y diccionarios de datos específicos de su equipo al momento de solucionar problemas.

2. Skills del agente: Defina capacidades específicas del dominio para enseñar a Genie Code a realizar tareas complejas de forma consistente. Ya sea una forma específica en que su empresa gestiona el enmascaramiento de PII o un marco personalizado para la validación de datos, las Skills garantizan que la IA siga las mejores prácticas de su organización en todo momento. Las Skills siguen el formato abierto de Agent Skills.
3. Memoria: Genie Code se vuelve más inteligente cuanto más lo usas. A través de la memoria persistente, el agente actualiza automáticamente sus instrucciones internas basándose en tus interacciones pasadas. Aprende tus preferencias de codificación, recuerda qué datasets usas con más frecuencia y conserva el contexto entre sesiones.

Del código a la producción: observabilidad con Genie Code

Escribir código es solo el primer paso. Mantenerlo es el verdadero desafío. Genie Code actúa como un agente de observabilidad para mantener saludables sus flujos de trabajo de datos e IA. Si bien miles de clientes utilizan Databricks para ofrecer aplicaciones de IA sofisticadas, la depuración de esos modelos en producción suele ser la parte del ciclo de vida que más tiempo consume.

Genie Code ahora se integra directamente con Databricks Model Serving y MLflow 3.0 para automatizar este proceso. En lugar de buscar manualmente en los registros y seguimientos, puedes usar Genie para lo siguiente:

• Verificaciones del estado de los endpoints: obtenga un informe de estado completo sobre el cómputo, el manejo de solicitudes y los registros del servidor en un solo prompt.

• Análisis de calidad del agente: detecte problemas sutiles como alucinaciones, llamadas incorrectas a herramientas y patrones de frustración del usuario en trazas complejas de agentes en tiempo real.

• Resolución de problemas de producción: cuando ocurren incidentes, Genie hace una referencia cruzada de los registros y las métricas del servidor para automatizar la primera ronda de diagnóstico y reducir el tiempo de resolución.
• Optimización de endpoints: Obtén recomendaciones sobre concurrencia aprovisionada, configuraciones de hardware y escalado automático según las mejores prácticas de Databricks.

Agentes en segundo plano que mantienen saludables las cargas de trabajo

Genie Code está diseñado para funcionar en segundo plano, de modo que sus datos permanezcan íntegros incluso después de cerrar su laptop. Puede desplegar múltiples agentes en paralelo para encargarse del trabajo operativo que normalmente consume la semana de un ingeniero de datos. Estos agentes en segundo plano van más allá del soporte reactivo y se acercan al mantenimiento proactivo al encargarse de tareas repetitivas, como responder a fallas de trabajos y gestionar actualizaciones de rutina. Cuando un pipeline falla, el agente identifica la causa raíz y sugiere una solución solo después de validarla en un entorno de sandbox seguro. 

Por ejemplo, si una canalización de producción falla debido a una falta de coincidencia del esquema, como una columna que cambia de INT (150) a STRING (“150 USD”), Genie Code identificará la falla y reparará automáticamente la canalización rota. 

Los agentes en segundo plano estarán disponibles próximamente. 

Basado en Unity Catalog: seguridad y gobernanza integradas

Genie Code está desarrollado directamente sobre Unity Catalog. Esta integración garantiza que el agente siga las mismas reglas de seguridad y gobernanza que el resto de la plataforma Databricks.

Cuando Genie Code busca datos, solo muestra los activos a los que el usuario está autorizado a acceder. Cuando crea una canalización, se adhiere a los controles de linaje y acceso existentes.

• Historial de revisiones nativo: Cada edición se registra a través del sistema de control de versiones de Databricks. Puedes revertir los cambios en notebooks, consultas, archivos y pipelines de Lakeflow con total confianza.
• Guardrails integrados: Genie Code está diseñado para solicitar confirmación de forma proactiva antes de ejecutar código que pueda modificar las tablas subyacentes.
• Aplicación del control de acceso: Genie Code nunca expone los activos de datos que un usuario no tiene permiso para ver.
• Registro de auditoría exhaustivo: Su organización mantiene una visibilidad total sobre cómo se utiliza Genie Code a través de la infraestructura de auditoría existente.

Disponible hoy en tu Workspace

Genie Code está disponible de forma general en su workspace de Databricks ahora mismo. Puede encontrar el panel de Genie Code en sus notebooks, el editor de SQL y el editor de Lakeflow Pipelines hoy mismo, sin necesidad de una configuración compleja.

Más información

Si deseas obtener más información sobre Genie Code:

• Visita nuestra página web para entender las principales características y casos de uso de Genie Code y aprender cómo funciona en la plataforma Databricks
• Mira la demostración para ver a Genie Code planificar y ejecutar flujos de trabajo de datos reales de principio a fin
• Lea la documentación para empezar a usar Genie Code en su propio espacio de trabajo hoy mismo

Nos emociona ver lo que construirás con Genie Code y cómo los agentes autónomos redefinirán la forma en que tus equipos de datos trabajan en Databricks.

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original