AI/BI Genie ya está disponible de forma general

El pasado junio, anunciamos Databricks AI/BI, nuestra entrada en la categoría de Business Intelligence, construida sobre IA que comprende profundamente tus datos, semántica y patrones de uso, y arquitectada desde cero para aprovechar la Plataforma de Inteligencia de Datos.  AI/BI no solo ofrece una experiencia de BI convencional a través de Dashboards, sino que también presenta Genie, una experiencia de análisis conversacional que permite a todos responder sus propias preguntas de datos en lenguaje natural.  Hoy, estamos encantados de compartir que AI/BI Genie ahora se unirá a AI/BI Dashboards como Generalmente Disponible en todas las nubes.

¿Qué es Genie?

En esencia, AI/BI Genie permite a los usuarios hacer preguntas en lenguaje natural y obtener información instantánea de los datos. Los usuarios de negocio pueden hacer preguntas como “¿Cómo está mi pipeline de ventas?” y Genie responderá con una combinación de resúmenes de texto, datos tabulares y visualizaciones.  Con cada respuesta, Genie también proporciona una explicación de cómo llegó a la respuesta para dar confianza a los usuarios en ese resultado.

Nuestro objetivo con Genie es ofrecer una experiencia de análisis conversacional que realmente funcione como se anuncia en el mundo real: respuestas confiables, precisas y relevantes dentro del contexto único de tu organización. Este es un desafío incluso para los LLM más recientes y avanzados, ya que no comprenden el contexto o la semántica únicos específicos de los datos y el negocio de cada organización.

AI/BI Genie resuelve este problema al permitir que los analistas empaqueten datos (como tablas y vistas) junto con semántica (como definiciones de métricas, consultas de ejemplo, instrucciones de texto y activos certificados) en un espacio Genie enfocado en un tema específico, por ejemplo, el pipeline de ventas.

El espacio Genie actúa como una tienda de conocimiento local, combinando la semántica extraída de los activos existentes en la Plataforma de Inteligencia de Datos con la curación y retroalimentación proporcionada por analistas expertos.  En esencia, este sistema permite a los analistas de datos escalar su impacto creando un agente conocedor que puede responder preguntas de datos tal como lo harían ellos. Empodera a los usuarios de negocio para que obtengan respuestas por sí mismos que no están cubiertas por los dashboards e informes existentes, liberando a los analistas para que se concentren en trabajos de mayor valor.

Actualizaciones desde el anuncio

Desde que anunciamos AI/BI Genie el pasado junio, hemos estado trabajando arduamente para introducir más capacidades, calidad de respuesta confiable y experiencias de usuario refinadas basadas en los comentarios de nuestros clientes en vista previa.  Aquí hay algunos puntos destacados:

• Precisión de primer nivel: La calidad de la respuesta es la máxima prioridad para el equipo de producto de Genie, y nuestro enfoque ha sido abordar problemas del mundo real expuestos por miles de clientes activos.  Por ejemplo, agregamos el concepto de diccionarios de valores, que, como se muestra en el ejemplo a continuación, permiten a Genie hacer coincidir semánticamente una solicitud de “primer grupo de nivel” con el valor literal “grupo de soporte de primera línea” según lo que hay en los datos subyacentes. Genie ahora también puede manejar conjuntos de datos mucho más grandes (sin restricciones de recuento de columnas), instrucciones complejas y ha pasado por múltiples ciclos de actualizaciones de modelos. 

• Vistas de métricas de Unity Catalog: Genie está construido de forma nativa en la Plataforma de Inteligencia de Datos, y continuamos expandiendo esa base. Por ejemplo, hemos agregado soporte para Métricas de Unity Catalog, lo que permite a los clientes utilizar modelos de datos gobernados y confiables para garantizar la precisión en casos de uso críticos. Con AI/BI Genie, Unity Catalog sirve como la única fuente de verdad tanto para los datos como para la semántica, eliminando la necesidad de modelado redundante.
• Soporte para evaluación y benchmarks: Los ingenieros cualificados te dirán que cualquier esfuerzo de IA debe comenzar con una fase de evaluación.  No hacerlo significa fracasar en producción. Las experiencias de análisis conversacional no son diferentes: cuando creas un nuevo espacio Genie, en realidad estás creando un nuevo sistema de IA para un dominio específico. Es por eso que hemos agregado funciones como Benchmarks y Ask for Review. Los Benchmarks de Genie son preguntas de prueba curadas con respuestas SQL esperadas que permiten a los autores evaluar y mejorar sistemáticamente la precisión de las respuestas de Genie con el tiempo, mientras que ‘Ask for Review’ permite a los usuarios finales marcar respuestas específicas para su verificación o corrección por parte de los administradores del espacio, fomentando la confianza y la colaboración entre los usuarios de negocio y los equipos de datos.

• Análisis ad hoc con carga de archivos de Genie: Un patrón de análisis común que descubrimos durante el período de vista previa fue la necesidad de combinar una hoja de cálculo local (como una lista de clientes potenciales de una campaña) con un conjunto de datos administrado en Unity Catalog (como cuentas y contactos de Salesforce) para completar una tarea ad hoc.  Con Genie File Upload, puedes simplemente arrastrar y soltar archivos de Excel o CSV en Genie y completar cualquier análisis integral a través del lenguaje natural.

• Genie en todas partes: Los Dashboards y Genie funcionan mejor juntos, por eso cada Dashboard de AI/BI incluye un espacio Genie integrado. Los Dashboards muestran qué datos están disponibles para la exploración, mientras que Genie permite a los usuarios ir más allá de los límites de las segmentaciones, filtros y combinaciones predefinidos, todo dentro de la misma experiencia. Además, con las nuevas APIs de Conversación de Genie, los desarrolladores pueden integrar Genie de manera similar en herramientas de colaboración como Slack, Microsoft Teams o aplicaciones internas personalizadas. Esto abre nuevas formas para que los usuarios de negocio accedan al análisis conversacional en el flujo de trabajo, sin cambiar de contexto ni iniciar sesión en una interfaz separada.

También hemos entregado una variedad de otras mejoras, desde visualizaciones mejoradas hasta una interfaz de usuario rediseñada para guiar a los usuarios finales a través de su análisis.  Planeamos continuar con este alto nivel de velocidad de funciones después del GA; por favor, consulta las notas de la versión de AI/BI y mantente atento a más blogs a medida que continuamos agregando funciones con el tiempo.

Éxito en el mundo real con Genie

Hemos estado encantados con la rápida adopción de Genie; más de 4000 clientes adoptaron AI/BI Genie durante su vista previa para democratizar los datos y empoderar a sus usuarios no técnicos.  Aquí hay una muestra de lo que algunos de nuestros clientes en vista previa han compartido con nosotros sobre Genie:

Genie está cambiando la forma en que empoderamos a los equipos en HP. Con su intuitiva interfaz de lenguaje natural, permitimos a los usuarios acceder instantáneamente a datos críticos, sin necesidad de codificación, lo que hace que las información basadas en datos sean más rápidas y eficientes. — Bruce Hillsberg, VP, Data Engineering & Insights, Technology & Innovation, HP Inc

Los usuarios consultaban constantemente a los analistas para preguntar: “Oye, ¿cómo se compararon las ventas de la región suroeste con el año anterior?”. La idea de poder simplemente preguntarle a Genie, en lugar de buscar al analista adecuado y esperar que obtengan la respuesta correcta, ha sido muy emocionante para el negocio. — Shahmeer Mirza, Senior Director of Data, AI/ML, and R&D, 7-Eleven

Los ejecutivos y otros líderes de línea de negocio en marketing y finanzas pueden usar Genie para acceder a los datos que necesitan simplemente usando inglés claro. Absolutamente increíble. — Felix Baker, Head of Data Services, SEGA Europe

Tenemos muchos otros clientes que han visto un éxito tremendo con Genie, incluyendo Premier Inc, Magic Orange, The AA, y Casas Bahia, por nombrar algunos. Nos entusiasma permitir que más organizaciones se unan a ellos al hacer que Genie esté disponible de forma general.

Almacén de conocimiento de próxima generación

El corazón de Genie es su almacén de conocimiento: un modelo semántico vivo que el sistema de IA de Genie consulta cada vez que responde una pregunta. Ahora estamos lanzando la próxima generación de nuestro almacén de conocimiento, que permite a los autores curar el conocimiento con una granularidad mucho mayor y con mucho menos esfuerzo. Los autores pueden agregar conocimiento directamente a los activos de datos, incluyendo sinónimos a nivel de columna y valores de muestra, así como contexto a nivel de tabla, como uniones de claves primarias/externas o métricas certificadas y más. El sistema de IA compuesto de Genie puede recuperar las piezas de conocimiento adecuadas para cada pregunta para proporcionar respuestas precisas a las preguntas de los usuarios.

Incluso con estas mejoras, curar la semántica sigue siendo una tarea ardua. Para facilitar significativamente este proceso, Genie ahora realiza minería y extracción de conocimiento.

La minería de conocimiento (arriba) permite a Genie examinar el linaje de Unity Catalog y el historial de consultas, preservando las garantías de gobernanza de Unity Catalog, para sugerir nuevas instrucciones o resaltar patrones recurrentes que merecen ser promovidos al almacén de conocimiento, reduciendo drásticamente la curación manual para los propietarios del espacio.

También tenemos muchos clientes que utilizan Genie para casos de uso completamente nuevos donde no hay una referencia previa para iniciar el almacén de conocimiento. Para manejar estos casos, hemos mejorado la extracción de conocimiento de Genie para que la curación ocurra como parte del uso regular. Durante cada sesión de chat, Genie extrae información semántica, propone fragmentos de conocimiento concisos y, una vez que el usuario los aprueba, los confirma en el almacén.

Junto con el monitoreo de actividad incorporado y los bucles de retroalimentación, el uso diario se convierte en un pipeline de aprendizaje continuo que mantiene el modelo semántico de Genie preciso sin revisiones periódicas.

Investigación Profunda de Genie

Si bien la disponibilidad general de Genie es un hito importante, no estamos frenando nuestro viaje para reimaginar la inteligencia de negocios (BI) con un enfoque centrado en la IA. Nos entusiasma anunciar la vista previa de Genie Deep Research, un nuevo modo en Genie diseñado para abordar preguntas más complejas y de varios pasos. Hasta ahora, Genie se ha optimizado para preguntas de "qué sucedió" (por ejemplo, "¿Cuál es nuestro pipeline de ventas?"). Responder preguntas de "por qué" y "cómo" (por ejemplo, "¿Por qué han bajado las ventas?" o "¿Cómo podemos aumentar nuestro pipeline?") requería que los usuarios formularan sus propias hipótesis y le pidieran a Genie que probara cada una individualmente. Con Deep Research, Genie aprovechará los últimos avances en investigación de LLM para abordar estos tipos de preguntas produciendo un plan de investigación y analizando múltiples hipótesis en paralelo antes de resumir los resultados.

Al igual que con el resto de Genie, Deep Research se basará y extenderá el almacén de conocimiento de Genie para ofrecer resultados precisos y confiables. Genie también proporcionará explícitamente citas para las conclusiones que extraiga y ofrecerá experiencias sencillas de un clic para examinar cualquier trabajo realizado a lo largo del camino. Deep Research estará disponible como una característica experimental para los clientes de Genie a finales de este verano.

Llevando AI/BI Genie a sus equipos de negocio

Una de las pocas preocupaciones que hemos escuchado de los clientes sobre la implementación generalizada de Genie es que el acceso a AI/BI ha requerido hasta la fecha navegar por el espacio de trabajo técnico de Databricks, una experiencia que puede resultar intimidante para los usuarios de negocio no técnicos. Como parte de nuestros anuncios de Data and AI Summit, también presentamos Databricks One, una nueva experiencia que brinda a los equipos de negocio acceso simple y seguro a Dashboards de AI/BI y espacios de Genie, así como a Databricks Apps. Al igual que AI/BI, Databricks One está disponible gratuitamente para todos los clientes de Databricks SQL.

Más información

AI/BI Genie y Dashboards ya están disponibles para los clientes de Databricks SQL sin licencias adicionales. Si desea obtener más información, puede consultar la página web de AI/BI Genie y comenzar explorando el siguiente contenido:

1. Documentación: Profundice en los detalles con nuestra documentación.
2. Demos: Vea nuestros videos de demostración, realice recorridos por el producto y obtenga tutoriales prácticos para ver estos AI/BI en acción.
3. Capacitación: Comience con capacitación gratuita del producto a través de Databricks Academy
4. eBook: Descargue el eBook Business Intelligence Meets AI

Si no es un cliente existente de Databricks, también puede probar Genie y otros productos de Databricks registrándose para una prueba gratuita.

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original