AI/BI Genie ya está disponible de forma general

En junio pasado, anunciamos Databricks AI/BI, nuestra entrada en la categoría de Business Intelligence, construido en torno a la IA que comprende profundamente sus datos, la semántica y los patrones de uso, y diseñado desde cero para aprovechar la Data Intelligence Platform. AI/BI no solo ofrece una experiencia de BI convencional a través de Dashboards, sino que también cuenta con Genie, una experiencia de análisis conversacional que permite a todos responder sus propias preguntas sobre datos a través del lenguaje natural. Hoy, nos complace compartir que AI/BI Genie ahora se unirá a AI/BI Dashboards como disponible de forma general en todas las nubes.

¿Qué es Genie?

En esencia, AI/BI Genie permite a los usuarios hacer preguntas en lenguaje natural y obtener información instantánea de los datos. Los usuarios empresariales pueden hacer preguntas como "¿Cómo está mi pipeline de ventas?" y Genie responderá con una combinación de resúmenes de texto, datos tabulares y visualizaciones. Con cada respuesta, Genie también proporciona una explicación de cómo llegó a la respuesta para dar a los usuarios confianza en ese resultado.

Nuestro objetivo con Genie es ofrecer una experiencia de análisis conversacional que realmente funcione como se anuncia en el mundo real: respuestas fiables que sean precisas y relevantes dentro del contexto único de su organización. Este es un desafío incluso para los LLM más recientes y mejores, ya que no comprenden el contexto único o la semántica específica de los datos y el negocio de cada organización.

AI/BI Genie resuelve este problema al permitir a los analistas empaquetar datos (como tablas y vistas) junto con la semántica (como definiciones de métricas, consultas de muestra, instrucciones de texto y activos certificados) en un espacio de Genie centrado en un tema específico, por ejemplo, el pipeline de ventas.

El espacio de Genie actúa como un almacén de conocimiento local, que combina la semántica extraída de los activos existentes en la Data Intelligence Platform con la selección y los comentarios proporcionados por analistas expertos. En esencia, este sistema permite a los analistas de datos escalar su impacto mediante la creación de un agente experto que puede responder a las preguntas sobre datos tal como lo harían ellos. Permite a los usuarios empresariales responder por sí mismos a las preguntas que no están cubiertas por los dashboards e informes existentes, lo que libera a los analistas para que se centren en trabajos de mayor valor.

Actualizaciones desde el anuncio

Desde que anunciamos AI/BI Genie en junio pasado, hemos estado trabajando arduamente para introducir más capacidades, una calidad de respuesta confiable y experiencias de usuario refinadas basadas en los comentarios de nuestros clientes de vista previa. Aquí hay algunos aspectos destacados:

• La mejor precisión de su clase: La calidad de la respuesta es la máxima prioridad para el equipo de producto de Genie, y nuestro enfoque ha estado en abordar los problemas del mundo real que surgieron de miles de clientes activos. Por ejemplo, agregamos el concepto de diccionarios de valores, que, como se muestra en el ejemplo a continuación, permite a Genie hacer coincidir semánticamente una solicitud de "grupo de primer nivel" con el valor literal "grupo de soporte de primera línea" según lo que hay en los datos subyacentes. Genie ahora también puede manejar conjuntos de datos mucho más grandes (sin restricciones de conteo de columnas), instrucciones complejas y ha pasado por múltiples ciclos de actualizaciones de modelos.

• Vistas de métricas de Unity Catalog: Genie está construido de forma nativa en la Data Intelligence Platform, y continuamos expandiéndonos sobre esa base. Por ejemplo, hemos agregado soporte para Métricas de Unity Catalog, lo que permite a los clientes utilizar modelos de datos confiables y gobernados para garantizar la precisión de los casos de uso críticos. Con AI/BI Genie, Unity Catalog sirve como la única fuente de verdad tanto para los datos como para la semántica, lo que elimina la necesidad de modelado redundante.
• Soporte para evaluación y puntos de referencia: Los ingenieros capacitados le dirán que cualquier esfuerzo de IA debe comenzar con una fase de evaluación. No hacerlo significa fracaso en la producción. Las experiencias de análisis conversacional no son diferentes: cuando crea un nuevo espacio de Genie, realmente está creando un nuevo sistema de IA para un dominio específico. Es por eso que hemos agregado características como Puntos de referencia y Solicitar revisión. Los puntos de referencia de Genie son preguntas de prueba seleccionadas con respuestas SQL esperadas que permiten a los autores evaluar y mejorar sistemáticamente la precisión de las respuestas de Genie a lo largo del tiempo, mientras que 'Solicitar revisión' permite a los usuarios finales marcar respuestas específicas para su verificación o corrección por parte de los administradores del espacio, fomentando la confianza y la colaboración entre los usuarios empresariales y los equipos de datos.

• Análisis ad hoc con la carga de archivos de Genie: Un patrón de análisis común que descubrimos durante el período de vista previa fue la necesidad de combinar una hoja de cálculo local (como una lista de clientes potenciales de una campaña) con un conjunto de datos administrado en Unity Catalog (como cuentas y contactos de Salesforce) para completar una tarea ad hoc. Con Carga de archivos de Genie, simplemente puede arrastrar y soltar archivos de Excel o CSV en Genie y completar cualquier análisis integral a través del lenguaje natural.

• Genie en todas partes: Los dashboards y Genie funcionan mejor juntos, por lo que cada AI/BI Dashboard incluye un espacio de Genie integrado. Los dashboards muestran qué datos están disponibles para la exploración, mientras que Genie permite a los usuarios ir más allá de los límites de los segmentos, filtros y combinaciones predefinidos, todo dentro de la misma experiencia. Además, con las nuevas API de conversación de Genie, los desarrolladores pueden incrustar de manera similar Genie en herramientas de colaboración como Slack, Microsoft Teams o aplicaciones internas personalizadas. Esto abre nuevas formas para que los usuarios empresariales accedan al análisis conversacional en el flujo de trabajo, sin cambiar de contexto o iniciar sesión en una interfaz separada.

También hemos entregado una variedad de otras mejoras, desde visualizaciones mejoradas hasta una interfaz de usuario rediseñada para guiar a los usuarios finales a través de su análisis. Planeamos continuar con este alto nivel de velocidad de funciones posterior a la disponibilidad general; consulte las notas de la versión de AI/BI y esté atento a más blogs a medida que continuamos agregando funciones con el tiempo.

Éxito en el mundo real con Genie

Nos ha entusiasmado la rápida adopción de Genie; más de 4000 clientes adoptaron AI/BI Genie durante su vista previa para democratizar los datos y empoderar a sus usuarios no técnicos. Aquí hay una muestra de lo que algunos de nuestros clientes de vista previa han compartido con nosotros sobre Genie:

Genie está cambiando la forma en que empoderamos a los equipos en HP. Con su interfaz intuitiva de lenguaje natural, estamos permitiendo a los usuarios acceder instantáneamente a datos críticos, sin necesidad de codificación, lo que hace que la información basada en datos sea más rápida y eficiente. — Bruce Hillsberg, vicepresidente de ingeniería e información de datos, tecnología e innovación, HP Inc

Los usuarios constantemente hacían ping a los analistas para preguntar: ¿Cómo se veían las ventas para la región suroeste en comparación con el año anterior? La idea de poder simplemente preguntarle a Genie, en lugar de buscar al analista adecuado y esperar que obtenga la respuesta correcta, ha sido muy emocionante para el negocio. — Shahmeer Mirza, director sénior de datos, AI/ML e I+D, 7-Eleven

Los ejecutivos y otros líderes de LOB en marketing y finanzas pueden usar Genie para acceder a los datos que necesitan simplemente usando inglés sencillo. Absolutamente increíble. — Felix Baker, jefe de servicios de datos, SEGA Europe

Tenemos muchos otros clientes que han tenido un tremendo éxito con Genie, incluidos Premier Inc, Magic Orange, The AA y Casas Bahia, por nombrar algunos. Estamos entusiasmados de permitir que más organizaciones se unan a ellos haciendo que Genie esté disponible de forma general.

Almacén de conocimiento de próxima generación

El corazón de Genie es su almacén de conocimiento: un modelo semántico vivo que el sistema de IA de Genie consulta cada vez que responde una pregunta. Ahora estamos lanzando la próxima generación de nuestro almacén de conocimiento, que permite a los autores seleccionar el conocimiento con mucha más granularidad y con mucho menos esfuerzo. Los autores pueden agregar conocimiento directamente a los activos de datos, incluidos los sinónimos a nivel de columna y los valores muestreados, así como el contexto a nivel de tabla, como las uniones de clave primaria/externa o las métricas certificadas, y más. El sistema de IA compuesto de Genie puede recuperar las piezas de conocimiento correctas para cada pregunta para proporcionar respuestas precisas a las preguntas de los usuarios.

Incluso con estas mejoras, la selección de la semántica sigue siendo una tarea ardua. Para facilitar significativamente este proceso, Genie ahora realiza minería y extracción de conocimiento.

La minería de conocimiento (arriba) permite a Genie examinar el linaje de Unity Catalog y el historial de consultas, al tiempo que preserva las garantías de gobernanza de Unity Catalog, para sugerir nuevas instrucciones o resaltar patrones recurrentes que merecen ser promovidos al almacén de conocimiento, lo que reduce la selección manual para los propietarios del espacio.

También tenemos muchos clientes que aprovechan Genie para casos de uso completamente nuevos donde no hay una referencia previa para iniciar el almacén de conocimiento. Para manejar estos casos, hemos mejorado la extracción de conocimiento de Genie para que la selección se produzca como parte del uso regular. Durante cada sesión de chat, Genie extrae información semántica, propone fragmentos de conocimiento concisos y, una vez que el usuario los aprueba, los envía al almacén.

Junto con la supervisión de la actividad integrada y los bucles de retroalimentación, el uso diario en sí mismo se convierte en un pipeline de aprendizaje continuo que mantiene el modelo semántico de Genie preciso sin revisiones periódicas.

Investigación profunda de Genie

Si bien la disponibilidad general de Genie es un hito importante, no estamos desacelerando nuestro viaje para reimaginar BI con un enfoque de IA primero. Nos complace anunciar la vista previa de Genie Deep Research, un nuevo modo en Genie diseñado para abordar preguntas más complejas de varios pasos. Hasta ahora, Genie se ha optimizado para preguntas de "qué pasó" (por ejemplo, "¿Cuál es nuestro pipeline de ventas?"). Responder a las preguntas de "por qué" y "cómo" (por ejemplo, "¿Por qué bajaron las ventas?" o "¿Cómo podemos aumentar nuestro pipeline?") requería que los usuarios formularan sus propias hipótesis y le pidieran a Genie que probara cada una individualmente. Con Deep Research, Genie aprovechará los últimos avances en la investigación de LLM para abordar este tipo de preguntas produciendo un plan de investigación y analizando múltiples hipótesis en paralelo antes de resumir los resultados.

Al igual que con el resto de Genie, Deep Research se basará y ampliará el almacén de conocimiento de Genie para ofrecer resultados precisos y confiables. Genie también proporcionará explícitamente citas para las conclusiones que sacó y proporcionará experiencias fáciles con un solo clic para examinar cualquier trabajo realizado en el camino. Deep Research estará disponible como una característica experimental para los clientes de Genie a finales de este verano.

Llevar AI/BI Genie a sus equipos empresariales

Una de las pocas preocupaciones que hemos escuchado de los clientes sobre la implementación generalizada de Genie es que el acceso a AI/BI hasta la fecha ha requerido navegar por el espacio de trabajo técnico de Databricks, una experiencia que puede resultar intimidante para los usuarios empresariales no técnicos. Como parte de nuestros anuncios de Data and AI Summit, también estamos presentando Databricks One, una nueva experiencia que brinda a los equipos empresariales acceso simple y seguro a los AI/BI Dashboards y los espacios de Genie, así como a las aplicaciones de Databricks. Al igual que AI/BI, Databricks One está disponible gratuitamente para todos los clientes de Databricks SQL.

Más información

AI/BI Genie y Dashboards ahora están disponibles para los clientes de Databricks SQL sin necesidad de licencias adicionales. Si desea obtener más información, puede consultar la página web de AI/BI Genie y comenzar explorando el siguiente contenido:

1. Documentación: Profundice en los detalles con nuestra documentación.
2. Demos: Mire nuestros videos de demostración, realice recorridos de productos y obtenga tutoriales prácticos para ver estos AI/BI en acción.
3. Capacitación: Comience con la capacitación gratuita sobre productos a través de Databricks Academy
4. eBook: Descargue el Business Intelligence Meets AI eBook

Si no es un cliente existente de Databricks, también puede probar Genie y otros productos de Databricks registrándose para una prueba gratuita.

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original