Mejora la calidad de respuesta de tu aplicación RAG con datos estructurados en tiempo real

La Generación Aumentada por Recuperación (RAG) es un mecanismo eficiente para proporcionar datos relevantes como contexto en las aplicaciones de IA generativa. La mayoría de las aplicaciones de RAG suelen utilizar índices vectoriales para buscar contexto relevante a partir de datos no estructurados, como documentación, wikis y tickets de soporte. Ayer, anunciamos la vista previa pública de Databricks Vector Search, que ayuda exactamente con eso. Sin embargo, la calidad de la respuesta de la IA generativa puede mejorarse aumentando estos contextos basados en texto con datos estructurados relevantes y personalizados. Imagina una herramienta de IA generativa en un sitio web de venta minorista en el que los clientes pregunten: "¿Dónde está mi pedido reciente?". Esta IA debe entender que la consulta es sobre una compra específica, luego recopilar información de envío actualizada de los artículos de línea, antes de usar los LLM para generar una respuesta. El desarrollo de estas aplicaciones escalables demanda un trabajo sustancial, que integra tecnologías para el manejo de datos tanto estructurados como no estructurados con capacidades de IA generativa.

Nos complace anunciar la versión preliminar pública de Databricks Feature & Function Serving, un servicio en tiempo real de baja latencia diseñado para servir datos estructurados desde Databricks Data Intelligence Platform. Puede acceder instantáneamente a features de ML precalculadas, así como realizar transformaciones de datos en tiempo real al servir cualquier función de Python desde Unity Catalog. Los datos recuperados pueden utilizarse en motores de reglas en tiempo real, aplicaciones de ML clásico y de IA generativa.

El uso de Feature and Function Serving (AWS)(Azure) para datos estructurados, en coordinación con Databricks Vector Search (AWS)(Azure) para datos no estructurados, simplifica significativamente la puesta en producción de aplicaciones de IA generativa. Los usuarios pueden crear e implementar estas aplicaciones directamente en Databricks y aprovechar las canalizaciones de datos, la gobernanza y otras características empresariales existentes. Los clientes de Databricks de diversos sectores utilizan estas tecnologías junto con marcos de código abierto para crear potentes aplicaciones de IA generativa, como las que se describen en la siguiente tabla.

Servir datos estructurados a aplicaciones RAG

Para demostrar cómo los datos estructurados pueden mejorar la calidad de una aplicación de IA generativa, usamos el siguiente ejemplo de un chatbot de planificación de viajes. El ejemplo muestra cómo las preferencias del usuario (p. ej., "vista al mar" o "apto para familias") se pueden combinar con información no estructurada de hoteles para buscar coincidencias. Normalmente, los precios de los hoteles cambian dinámicamente según la demanda y la estacionalidad. Una calculadora de precios integrada en la aplicación de Gen AI asegura que las recomendaciones se encuentren dentro del presupuesto del usuario. La aplicación de IA generativa que impulsa el bot usa Databricks Vector Search y Databricks Feature and Function Serving como componentes básicos para servir las preferencias personalizadas del usuario, el presupuesto y la información de hoteles mediante la API de agentes de LangChain.

*Bot de planificación de viajes que tiene en cuenta las preferencias y el presupuesto del usuario

Puede encontrar el notebook completo de esta aplicación de RAG Chain como se muestra arriba. Esta aplicación se puede ejecutar localmente dentro del notebook o implementarse como un endpoint accesible mediante una interfaz de usuario de chatbot.

Acceda a sus datos y  funciones como endpoints en tiempo real

Con Feature Engineering in Unity Catalog, ya puede usar cualquier tabla con una clave principal para servir características para el entrenamiento y el servicio. Model Serving de Databricks admite el uso de funciones de Python para calcular características bajo demanda. Los endpoints de características y funciones, creados con la misma tecnología que utiliza internamente Databricks Model Serving, se pueden usar para acceder a cualquier característica precalculada o para calcularlas bajo demanda. Con una sintaxis simple, puede definir una función de especificación de característica en Unity Catalog que puede codificar el grafo acíclico dirigido para computar y servir características como un punto de conexión REST.

Esta función de especificación de características se puede servir en tiempo real como un endpoint de REST. Todos los endpoints están accesibles en la pestaña de navegación izquierda "Serving", incluidos features, funciones, modelos entrenados personalizados y modelos fundacionales. Aprovisione el endpoint con esta API

El endpoint también se puede crear mediante un flujo de trabajo de la UI, como se muestra a continuación.

Ahora se puede acceder a las características en tiempo real consultando el endpoint:

Para servir datos estructurados a aplicaciones de IA en tiempo real, los datos precalculados deben implementarse en bases de datos operativas. Los usuarios ya pueden utilizar almacenes en línea externos como fuente de features precalculadas; por ejemplo, DynamoDB y Cosmos DB se utilizan comúnmente para servir features en Databricks Model Serving. Las Online Tables de Databricks (AWS)(Azure) agregan una nueva funcionalidad que simplifica la sincronización de características precalculadas a un formato de datos optimizado para las búsquedas de datos de baja latencia. Puedes sincronizar cualquier tabla con una clave primaria como una tabla en línea y el sistema configurará una canalización automática para garantizar la actualización de los datos.

Cualquier tabla de Unity Catalog con claves primarias se puede usar para servir características en aplicaciones de Gen AI usando Databricks Online Tables.

Próximos pasos

Use este ejemplo de notebook ilustrado anteriormente para personalizar sus aplicaciones RAG

Inscríbete en un webinar sobre IA generativa de Databricks disponible on-demand.

Feature and Function Serving (AWS)(Azure) está disponible en versión preliminar pública. Consulte la documentación de la API y los ejemplos adicionales.

Las Online Tables de Databricks (AWS)(Azure) están disponibles como versión preliminar pública cerrada (Gated Public Preview). Usa este formulario para registrarte en la capacitación.

Lea el resumen de los anuncios (creación de aplicaciones RAG de alta calidad) realizados a principios de esta semana.

Ruta de aprendizaje para ingenieros de IA generativa: toma cursos a tu propio ritmo, a pedido y dirigidos por un instructor sobre IA generativa

¿Busca resolver casos de uso de IA generativa? ¡Compite en el Hackathon de IA Generativa de Databricks y AWS! Regístrate aquí.

¿Tiene un caso de uso que le gustaría compartir con Databricks? Contáctenos en [email protected]