Presentamos Agent Bricks: Agentes Autooptimizados Usando Tus Datos

El año pasado, la promesa de la inteligencia de datos – construir IA que pueda razonar sobre tus datos – llegó con Mosaic AI, una plataforma integral para construir, evaluar, monitorear y asegurar sistemas de IA. Desde entonces, miles de nuestros clientes han implementado inteligencia de datos en producción, construyendo agentes específicos de dominio impulsados por sus datos empresariales:

• Mastercard implementó asistentes digitales para acelerar la incorporación de clientes
• AT&T protege a los clientes de telefonía móvil contra el fraude y el daño
• Crisis Text Line creó agentes de IA especializados en salud mental para entrenar a la próxima generación de consejeros de crisis
• Block implementó goose, un asistente de codificación de IA basado en el contexto empresarial

Sin embargo, la inmadurez de la tecnología generativa significó que el camino a producción seguía siendo desafiante. Construir agentes de alta calidad a menudo era demasiado complejo, por varias razones:

• La evaluación es difícil: Muchas tareas de IA empresariales son difíciles de evaluar, tanto para humanos como para jueces automatizados de LLM. Los puntos de referencia académicos, como los exámenes de matemáticas, no se tradujeron a casos de uso del mundo real. Construir evaluaciones matizadas a menudo requería etiquetado manual costoso. Como resultado, los proyectos prometedores se estancaron en ciclos de ajuste interminables, con las partes interesadas perdiendo confianza debido a un progreso poco claro.
• Demasiadas perillas: Los agentes son sistemas de IA complejos con muchos componentes, cada uno con sus propias perillas. Desde ajustar prompts hasta estrategias de fragmentación de índices, pasando por opciones de modelos y parámetros de ajuste fino, cada ajuste crea efectos desconocidos en todo el sistema. Lo que debería ser una mejora iterativa rápida se convierte en un ensayo y error manual costoso y tedioso, lo que ralentiza el tiempo de producción.
• Costo y calidad: Incluso después de que los equipos resuelven los problemas anteriores y construyen un agente de alta calidad, a menudo se sorprenden al descubrir que el agente es demasiado caro para escalar a producción. Por lo tanto, los equipos se estancan en un largo proceso de optimización de costos, o se ven obligados a hacer concesiones entre costo y calidad.

Agent Bricks: Agentes de auto-optimización para tus tareas de dominio

Basándonos en nuestras experiencias anteriores trabajando con clientes para implementar IA en producción, hemos pasado el último año repensando cómo construir agentes. Hoy, presentamos Agent Bricks, un nuevo producto que cambia la forma en que las empresas desarrollan agentes específicos de dominio. En lugar de gestionar la abrumadora complejidad del desarrollo de agentes, los equipos pueden centrarse en lo más importante: definir el propósito de su agente y proporcionar orientación estratégica sobre la calidad a través de comentarios en lenguaje natural. Agent Bricks se encarga del resto, generando automáticamente conjuntos de evaluación y auto-optimizando la calidad.

Así es como funciona:

1. Declara tu tarea. Selecciona tu tarea, define en lenguaje natural una descripción de alto nivel de lo que quieres que el agente logre y conecta tus fuentes de datos.

2. Evaluación automática: Agent Bricks creará automáticamente puntos de referencia de evaluación específicos para tu tarea, lo que puede implicar la generación sintética de nuevos datos o la construcción de jueces personalizados de LLM. 

   

3. Optimización automática: Agent Bricks busca y combina inteligentemente varias técnicas de optimización, como la ingeniería de prompts, el ajuste fino de modelos, los modelos de recompensa o la optimización adaptativa en tiempo de prueba (TAO) para lograr alta calidad.
4. Costo y calidad: Agent Bricks asegura que los agentes no solo sean altamente efectivos sino también rentables. Los usuarios pueden elegir entre modelos optimizados para costos o para calidad. En muchos casos, la solución final es de mayor calidad y menor costo en comparación con otros enfoques de bricolaje.

Con Agent Bricks, elimina las conjeturas a través de evaluaciones automáticas. Optimizamos automáticamente las perillas, para que puedas confiar en el rendimiento de tu agente y saber que estás operando a máxima eficiencia. El resultado final es que ahora puedes implementar agentes de alta calidad y rentables en producción. Agent Bricks está optimizado para casos de uso comunes de la industria, incluida la extracción de información estructurada, la asistencia confiable de conocimiento, la transformación de texto personalizada y los sistemas orquestados de agentes múltiples.

Construye agentes de alta calidad con Agent Bricks

Agent Bricks es excepcionalmente capaz de medir, construir y mejorar continuamente la calidad. Al construir agentes conversacionales sobre documentos, por ejemplo, medimos la calidad promedio en varios puntos de referencia de preguntas y respuestas. En comparación con otros productos en este espacio, Agent Bricks construyó agentes significativamente de mayor calidad (Figura 1). No solo eso, con la capacidad de aprendizaje continuo, el rendimiento sigue mejorando con el tiempo. 

Para la comprensión de documentos, Agent Bricks construye sistemas de mayor calidad y menor costo, en comparación con LLMs propietarios optimizados para prompts (Figura 2). Podemos lograr un sistema que es de mayor calidad en un punto de referencia de análisis de documentos, pero hasta 10 veces menos costoso.  

Más allá de estos puntos de referencia, nuestros clientes también pueden construir agentes de calidad con Agent Bricks:

"Agent Bricks nos permitió duplicar nuestra precisión médica en comparación con los LLMs comerciales estándar, al tiempo que cumplimos con los altos estándares internos de Flo Health para precisión clínica, seguridad, privacidad y protección." — Roman Bugaev, CTO, Flo Health

“Agent Bricks superó significativamente nuestra implementación original de código abierto tanto en métricas de precisión de LLM-como-juez como de evaluación humana.” — Joel Wasson, Enterprise Data & Analytics, Hawaiian Electric

“[Agent Bricks] aceleró nuestras capacidades de IA en toda la empresa, guiándonos a través de mejoras de calidad en el ciclo de retroalimentación y identificando opciones de menor costo que funcionan igual de bien.” — Chris Nishnick, Director de IA, Lippert

Impulsado por la última investigación en aprendizaje de agentes

Agent Bricks puede lograr estos resultados porque está impulsado por la investigación de nuestro equipo de Databricks Mosaic AI Research. Hay un zoológico de métodos para mejorar la calidad de los agentes, y se publica nueva investigación a un ritmo vertiginoso. Nuestro equipo tanto selecciona la investigación existente como desarrolla nuevas innovaciones que luego son utilizadas por Agent Bricks durante la fase de evaluación y optimización automática. Si bien tenemos un amplio conjunto de métodos, hoy nos complace destacar una de nuestras innovaciones: Agent Learning from Human Feedback (ALHF).

Agent Learning from Human Feedback (ALHF)

Un desafío clave para la calidad es la capacidad de dirigir el comportamiento del agente a partir de la retroalimentación. Esto es particularmente difícil porque la retroalimentación a menudo solo se proporciona con un pulgar hacia arriba o hacia abajo, y no está claro cuáles de los muchos componentes y perillas dentro de un sistema de agente deben ajustarse para respetar la retroalimentación. El enfoque actual, que es empaquetar todas las instrucciones en un único y masivo prompt de LLM, es frágil y no se generaliza a un sistema de agente más complejo.

Con ALHF, hemos resuelto esto con dos enfoques. Primero, podemos recibir el rico contexto de la guía en lenguaje natural (por ejemplo, ignorar todos los datos anteriores a mayo de 1990). Segundo, basándonos en esta guía en lenguaje natural, nuestros algoritmos traducen inteligentemente la guía en optimizaciones técnicas: refinando el algoritmo de recuperación, mejorando los prompts, filtrando la base de datos vectorial o incluso modificando el patrón agentivo.

Este enfoque democratiza el desarrollo de agentes, permitiendo que los expertos de dominio contribuyan directamente a la mejora del sistema sin una profunda experiencia técnica en infraestructura de IA.

"La capacidad de evaluar y mejorar continuamente la precisión es una capacidad clave para Experian, especialmente en una industria altamente regulada." — James Lin, Head of AI ML Innovation, Experian

El Camino a Seguir: De Laboratorio a Producción en Días, No en Meses

Los clientes iniciales ya están experimentando la transformación que Agent Bricks ofrece: mejoras de precisión que duplican los puntos de referencia de rendimiento y reducen los plazos de desarrollo de semanas a un solo día. Lo que es más importante, están logrando algo que parecía imposible hace solo unos meses: sistemas de IA sostenibles y escalables que brindan valor comercial constante.

Agent Bricks representa más que una evolución en las herramientas: es un cambio fundamental hacia el desarrollo de IA maduro y listo para producción. A medida que los sistemas de agentes se vuelven cada vez más centrales para las operaciones empresariales, los enfoques de “chequeo de ambiente” del pasado simplemente no escalarán. Las organizaciones necesitan un enfoque robusto y sistemático para construir y optimizar agentes inteligentes que puedan manejar la complejidad y los requisitos de las aplicaciones comerciales del mundo real.

Clientes que usan Agent Bricks

Muchos clientes de Databricks ya han creado Agentes de IA con Agent Bricks, y todos esperamos ver lo que pueden hacer en el futuro.

Mira el video con Experian y Flo Health

“Con Agent Bricks, nuestros equipos pudieron analizar más de 400,000 documentos de ensayos clínicos y extraer puntos de datos estructurados, sin escribir una sola línea de código. En poco menos de 60 minutos, tuvimos un agente funcional que puede transformar datos complejos no estructurados en datos utilizables para análisis.” — Joseph Roemer, Jefe de Datos e IA, TI Comercial, AstraZeneca

“Agent Bricks nos permitió construir un agente rentable en el que podíamos confiar en producción. Con una evaluación personalizada, desarrollamos con confianza un agente de extracción de información que analizó calendarios legislativos no estructurados, ahorrando 30 días de optimización manual de prueba y error.” — Ryan Jockers, Director Adjunto de Informes y Análisis del Sistema Universitario de Dakota del Norte

Prueba Agent Bricks Hoy

¿Listo para cerrar la brecha entre la “calidad de demostración” y la “calidad de producción”? Agent Bricks ya está disponible en versión beta.

Comienza ahora:

• Lee la documentación
• Mira la presentación principal
• Mira a los clientes describir los beneficios de usar Agent Bricks
• Descubre el Recorrido por el Producto para explorar cómo Databricks Agent Bricks te permite crear agentes de IA inteligentes y sin código que se optimizan automáticamente utilizando tus propios datos

El futuro de la IA empresarial no se trata de gestionar la complejidad, sino de centrarse en los resultados que importan mientras Agent Bricks se encarga del resto.

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original