Cómo la ingeniería de datos agéntica cambia la forma en que construimos, y lo que una empresa de salud aprendió al hacerlo en la realidad
por Navdeep Alam y Zhe Sun
Ya conoces esa sensación. Tu equipo tiene una gran idea para un pipeline impulsado por AI: tal vez sea un nuevo producto de datos, tal vez un agente que automatiza un flujo de trabajo que nadie quiere hacer manualmente. El patrocinador ejecutivo está entusiasmado. El líder de ingeniería esboza una arquitectura en una pizarra. Y luego... pasan las semanas. Es necesario aprovisionar entornos. El contexto se pierde entre los equipos. Para cuando el prototipo está listo, el patrocinador ejecutivo ya se ha dedicado a otra cosa, el equipo ha perdido el impulso y la iniciativa muere silenciosamente detrás de algo más nuevo.
Esa brecha, entre el "vamos a probar esto" y un prototipo funcional, es lo que llamamos el impuesto del prototipado. Y está acabando con más roadmaps de AI que cualquier limitación de los modelos.
El cuello de botella no es la velocidad con la que tus ingenieros escriben código, sino la eficiencia de R&D de la organización en su conjunto. El R&D tradicional está diseñado para que lo naveguen los humanos: hizo posible el desarrollo de software a gran escala, pero no se creó para agentes de AI. Tres fuerzas acumulan este impuesto:
Estas fricciones explican algo que los desarrolladores reportan constantemente: los agentes de AI se sienten transformadores en proyectos personales, pero decepcionantes en bases de código de producción. El agente no se volvió más tonto. Simplemente, la base de código no fue diseñada para que la navegara.
Ese es el impuesto del prototipado. La mayoría de los roadmaps de AI que hemos visto pagan alguna versión de él. Los equipos que están tomando la delantera son los que han descubierto cómo dejar de pagar.
Los equipos que toman la delantera no están usando mejores agentes. Les están dando a sus agentes un mejor punto de partida: uno basado en la semántica del negocio, no solo en la sintaxis. Cuando el agente ya tiene ese contexto, cambian dos aspectos de la forma en que construyes.
La intención se convierte en la especificación. Una descripción clara de lo que quieres es suficiente para empezar, y la antigua capa de traducción (donde los humanos convertían la intención en requisitos técnicos antes de que nadie pudiera construir) se integra en la propia sesión de construcción. La gobernanza se incorpora al ciclo: el linaje, los controles de acceso y las restricciones de cumplimiento están activos mientras se realiza la construcción, en lugar de descubrirse a posteriori cuando alguien pregunta: "espera, ¿realmente podemos usar estos datos?"
Nada de esto cambia quién es el propietario del resultado. Cambia la forma en que se asume esa propiedad. El desarrollador pasa de ser autor a arquitecto, revisor y guía: pasa menos tiempo escribiendo y más decidiendo. El agente es un multiplicador del criterio, no un reemplazo.
Esta es la inversión que importa: en el desarrollo tradicional, te alineas antes de construir. Escribes una especificación, distribuyes un documento de diseño, realizas una reunión de requisitos... y todo eso es una simulación de la realidad. Luego implementas, te encuentras con algo inesperado, redefines el alcance, vuelves a implementar. Pasan las semanas.
En el desarrollo agéntico, la alineación ocurre a través de la construcción. Escribes tus suposiciones, el agente construye un MVP funcional en horas y la especificación surge del código que funciona, no al revés. El documento de diseño se vuelve preciso por construcción, porque se deriva de la realidad, no de la imaginación.
Comprime la fase inicial, mantén la rigurosidad al final. El camino a producción no cambia: el mismo CI/CD, la misma revisión de código, el mismo rigor. No hay una vía rápida para el código generado por AI. Lo que cambia es que los prototipos llegan a la fase de consolidación y envío antes de que se pierda el impulso.
Tres métricas te indican si el impuesto del prototipado realmente se está reduciendo, o si simplemente tuviste un buen taller.
Qué mide | Métrica | Por qué importa |
Velocidad de la compresión | Tiempo de prototipado: de la idea al MVP demostrable | Indicador adelantado. Si esto no se está reduciendo, el ciclo no está funcionando. |
Calidad de la compresión | Tasa de aceptación al primer intento: % de criterios de aceptación cumplidos sin un ciclo de retrabajo | Demuestra que el agente construyó lo correcto, no solo algo rápido. |
Durabilidad del resultado | Tasa de PoC a producción: % enviado a través de CI/CD en un plazo de 90 días | Indicador retrasado. Demuestra que los prototipos no son solo demostraciones que mueren. |
Realiza un seguimiento de las tres por equipo, establece una línea base ahora y observa la tendencia a lo largo de un trimestre. Si el tiempo de prototipado disminuye pero la tasa de PoC a producción no lo acompaña, estás generando demostraciones, no enviando productos.
Los agentes de codificación generales son realmente buenos con la sintaxis, los archivos y las API. Lo que no conocen es tu negocio: tus esquemas y lo que significan, tu modelo de gobernanza, tus patrones de despliegue. Así que van a ciegas, una prueba a la vez, consumiendo tokens y tiempo para reconstruir el contexto que la plataforma ya posee.
Tenemos cifras sobre lo costosa que es esa búsqueda. En un benchmark de 401 tareas de datos reales, un agente de datos nativo de la plataforma alcanzó un 77% de precisión frente al 56–72% de los principales agentes de codificación generales, a aproximadamente la mitad del costo por tarea. La relación calidad-precio que se esperaría simplemente no existía. La experiencia se traduce en precisión, velocidad y costo, todo a la vez.
En Databricks, esto se presenta como Genie Code, un agente de datos autónomo integrado directamente en Unity Catalog, combinado con Genie Ontology, una capa semántica gobernada que le da al agente un significado de negocio, no solo nombres de columnas. El agente lee lo que significa una tabla en lugar de inferirlo, y hereda tus controles de acceso y gobernanza de forma predeterminada.
En ningún lugar importa más el punto de partida que en las industrias reguladas. Cuando los datos son sensibles y la gobernanza no es negociable, el enfoque de "explorar y adivinar" de un agente de codificación general no solo hace perder tiempo, sino que genera riesgos de cumplimiento.
Abacus Insights procesa datos de salud de más de 65 millones de miembros bajo controles aislados (air-gapped) de nivel HIPAA. Es exactamente el entorno donde el enfoque de "explorar y adivinar" deja de ser una pérdida de tiempo y pasa a ser un riesgo: no puede tocar PHI de manera informal, no puede adivinar el modelo de gobernanza y cada suposición errónea se convierte en un problema de cumplimiento en lugar de una solución rápida.
Su equipo ha puesto en producción agentes de mapeo de datos y pipelines, con Genie Code como la herramienta diaria a la que recurren sus ingenieros, porque ya comprende sus datos y opera dentro de su gobernanza, en lugar de necesitar que se le explique todo desde cero. Y ya están viendo mejoras significativas de eficiencia en su trabajo de inteligencia de datos. El beneficio se refleja en los números: la incorporación de nuevos clientes ahora alcanza el primer valor en aproximadamente la mitad de tiempo, y el esfuerzo manual en el mapeo de datos y la construcción de pipelines se ha reducido en cerca de un 40%.
"Nuestros ingenieros de datos trabajan a una escala muy seria: miles de millones de registros de reclamaciones médicas, con decenas de millones de registros ingeridos cada día. Genie Code cambió la ecuación para nosotros. Ya comprende nuestros esquemas, nuestra gobernanza y nuestros requisitos de aislamiento de red (air-gapped). Nuestros ingenieros no pasan la mitad de su tiempo explicándole el entorno a una herramienta; lo dedican al problema real. Un 40% menos de esfuerzo manual es solo el punto de partida. A medida que profundizamos en nuestro esfuerzo de desarrollo impulsado por agentes, estamos seguros de que esto se convertirá en un cambio de orden de magnitud en la rapidez con la que pasamos de un nuevo cliente al primer valor".- Nav Alam, CTO, Abacus Insights
El impuesto del prototipado es real, es medible y es opcional. Los equipos que han descubierto esto no esperan a alinearse antes de construir: se alinean construyendo y realizan envíos antes de que se pierda el impulso.
(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original
Suscríbete a nuestro blog y recibe las últimas publicaciones directamente en tu bandeja de entrada.