Presentamos ai_decide: tome decisiones rápidas con sus datos gobernados

Hoy lanzamos una nueva Databricks AI Function ai_decide que toma decisiones rápidas sobre tus datos gobernados.

Vemos que muchos equipos utilizan LLM para tareas que no requieren un razonamiento complejo ni generación de texto. ¿A qué categoría pertenece este ticket de soporte? ¿Este documento necesita revisión humana? ¿Qué modelo debería procesar este prompt?

Estas preguntas impulsan muchos de los flujos de trabajo empresariales a gran escala de nuestros clientes, desde el procesamiento de millones de documentos hasta el control de la lógica de aplicaciones en tiempo real. Sin embargo, el uso de LLM para estas decisiones estructuradas y más pequeñas implica pagar una latencia y un costo adicionales que se acumulan a escala empresarial. Un modelo de decisión como Jev de TypeSafe AI cierra esa brecha: en lugar de generar texto, toma una entrada no estructurada y un conjunto de preguntas, y devuelve directamente las decisiones y sus probabilidades.

ai_decide es una nueva Databricks AI Function impulsada por un modelo de decisión. Evalúa una o más preguntas con respecto a un texto en una fracción de segundo y, para cada pregunta, devuelve una probabilidad, una opción de un criterio con nombre o una puntuación en una escala ordenada. Debido a que ai_decide está optimizado para tomar decisiones rápidas, ofrece una menor latencia y un menor costo que un LLM en tareas similares.

Prueba ai_decide hoy

ai_decide ya está disponible en Databricks en versión Beta. Llámala desde SQL para tomar decisiones estructuradas a escala sobre tus datos o a través de la REST API para aplicaciones y agentes en tiempo real. Para los equipos que ya están desarrollando con la API de TypeSafe AI, la función ai_decide es directamente compatible.

¿No sabes por dónde empezar? Si tienes datos no estructurados y necesitas clasificarlos, puntuarlos o decidir qué sucede a continuación, ai_decide es una excelente opción. Aquí tienes algunos casos de uso que puedes probar hoy mismo:

Analiza las opiniones de los clientes para identificar problemas recurrentes de los productos

Recibes miles de opiniones de productos cada mes. Los clientes describen desde instrucciones de configuración confusas hasta cargos de facturación incorrectos.

Con ai_decide, puedes etiquetar cada opinión con su problema principal y si el cliente desea devolver el producto en una sola consulta SQL. Agrupa esas etiquetas por producto y mes para realizar un seguimiento de las quejas recurrentes y ver qué problemas aparecen con más frecuencia junto con las devoluciones reportadas.

Dirige los prompts de los usuarios al modelo adecuado

Supongamos que eres una empresa de software que está creando un asistente de IA. Tus usuarios le piden al asistente que haga de todo, desde reescribir una frase hasta diseñar una arquitectura de base de datos. Tienes varios modelos disponibles con diferentes costos y capacidades, y deseas elegir el modelo adecuado para cada solicitud.

Utiliza ai_decide para determinar el nivel de razonamiento y la dificultad del prompt. Luego, dirige la solicitud al modelo correspondiente.

Un resultado de ejemplo response.answers:

Evalúa las respuestas generadas por IA con un juez

Supongamos que diriges una tienda minorista en línea con un asistente de soporte de IA. Antes de lanzar una nueva versión, deseas evaluar sus respuestas con respecto a tu política de reembolsos. Tienes un conjunto de preguntas de clientes, respuestas generadas y políticas de referencia.

Utiliza ai_decide como juez para verificar si una respuesta cumple con la política y puntuar qué tan completamente aborda la solicitud del cliente.

Aquí tienes una fila de resultado de ejemplo, que muestra response.answers:

Determina la siguiente acción en aplicaciones en tiempo real

Debido a que ai_decide devuelve una decisión en una fracción de segundo, es lo suficientemente rápido como para impulsar una aplicación en tiempo real, donde cada decisión depende del estado del momento anterior.

Para demostrarlo, creamos una demostración en vivo de Snake, alojada en Databricks Apps. ai_decide juega el juego: en cada tick, la aplicación envía el tablero actual a ai_decide y pregunta, ¿hacia qué dirección debe moverse la serpiente a continuación?

Debido a que todo el ciclo de decisión se completa en una fracción de segundo, puedes colocar ai_decide detrás de cualquier decisión en tiempo real que deba tomar un agente o una aplicación: qué herramienta invocar, qué rama tomar, qué acción sigue a continuación.

Comenzar 

ai_decide ya está disponible en versión Beta. Úsalo en SQL para clasificar, puntuar y tomar decisiones sobre datos gobernados a escala, o llama a la REST API para agregar decisiones rápidas a aplicaciones y agentes en tiempo real. Más allá de la función administrada, existe un ecosistema amplio y en crecimiento de modelos de decisión de pesos abiertos, y puedes servir y ejecutar cualquiera de ellos directamente en SQL en Databricks. Consulta nuestro reciente tutorial de open-Jev aquí.

Explore la documentación de SQL de ai_decide o comience a usar la API REST.

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original