Analítica basada en IA: creación de visualizaciones de datos con lenguaje natural frente a SQL

Richard Tomlinson, quien lidera el marketing de productos para los productos de inteligencia de negocios y analítica de Databricks, ha dedicado su carrera a promover tecnología que domina los datos para ayudar a las personas a tomar mejores decisiones e impulsar la innovación. En esta conversación, nos habla de cómo las consultas en lenguaje natural para visualizaciones finalmente pueden ofrecer más que SQL, cómo garantizar que la analítica impulsada por IA sea confiable y por qué el contexto empresarial es clave.

Por qué las consultas en lenguaje natural para visualizaciones no han cumplido las expectativas

Las consultas en lenguaje natural para visualizaciones existen desde hace una década. ¿Por qué no han cumplido su promesa?

Richard Tomlinson: La promesa ha existido desde los inicios de la analítica basada en búsquedas, pero sistemáticamente se quedó corta porque los sistemas podían analizar la pregunta, pero no podían entender el negocio.

Las generaciones anteriores de NL-to-SQL trataban el problema como una pura traducción de lenguaje a esquema: mapear palabras a columnas, generar una consulta y devolver un gráfico. Eso funciona para búsquedas simples, pero se desmorona ante la complejidad de los datos empresariales. En la vida real, es posible que existan definiciones contrapuestas de una misma métrica entre distintos equipos, uniones ambiguas entre tablas, reglas de negocio que residen en la cabeza de las personas en lugar de en los metadatos y ninguna forma de decidir qué fuente es la autorizada cuando dos números entran en conflicto.

Los LLM no eran el cuello de botella; el contexto lo era. Incluso cuando los modelos mejoraron drásticamente, seguían adivinando el significado a partir de nombres de tablas sin procesar y encabezados de columnas, razón por la cual la misma pregunta hecha dos veces podía dar dos respuestas diferentes.

Lo que cambió no son solo los mejores modelos, sino el reconocimiento de que se necesita una capa semántica gobernada debajo del modelo de lenguaje que le diga al agente qué significa "ingresos" para este equipo, qué tabla es la fuente certificada, cómo se definen los años fiscales y qué filtros deben aplicarse siempre. Sin eso, las consultas en lenguaje natural eran una demostración que impresionaba en una sala de conferencias, pero no con datos empresariales reales.

Generar respuestas confiables para cada usuario

El lenguaje natural ha abierto la analítica impulsada por IA a todo el mundo. Pero ¿cómo asegurarse de que las personas no especializadas obtengan respuestas en las que puedan confiar?

Richard Tomlinson: Permitir que más personas hagan preguntas es la parte fácil. Lo difícil es lograr que las respuestas sean lo suficientemente confiables como para tomar medidas. Tres cosas deben cumplirse en la base.

En primer lugar, los datos en sí deben estar gobernados. Se necesitan datos limpios y bien organizados, estructurados en función de cómo funciona realmente el negocio, donde las categorías sean consistentes en toda la empresa, cada registro esté claramente definido y no haya clientes ni productos duplicados. Todo debe asegurarse mediante controles de acceso detallados para que cada usuario vea solo aquello a lo que está autorizado.

En segundo lugar, el significado de esos datos debe ser explícito y legible por máquina, no estar enterrado en el conocimiento colectivo informal o en la hoja de cálculo de alguien. Se necesitan definiciones de métricas gobernadas, términos de negocio documentados, relaciones de claves primarias y foráneas claramente definidas y fuentes certificadas, todo registrado en un sistema como Unity Catalog donde un agente de IA pueda consumirlos en el momento de la consulta.

En tercer lugar, debe haber una capa de confianza y verificación, con la capacidad de rastrear cada respuesta generada por IA hasta las definiciones, fuentes y permisos que la produjeron. Esto permite a un usuario de negocio inspeccionar por qué el sistema dijo lo que dijo, no solo qué fue lo que dijo. Esa es la base de Genie One: datos gobernados, semántica explícita y procedencia inspeccionable. Sin esto, solo se le está dando a todo el mundo una forma más rápida de obtener la respuesta equivocada.

Cómo la fundamentación semántica cambia las reglas del juego

¿Qué es la fundamentación semántica y cómo contribuye a crear visualizaciones de datos efectivas basadas en lenguaje natural?

Richard Tomlinson: La fundamentación semántica es el proceso de anclar la interpretación que hace un agente de IA de una pregunta a las definiciones, relaciones y reglas de negocio reales de la organización, en lugar de dejar que el modelo infiera el significado a partir de los nombres de las columnas y esperar lo mejor.

En la práctica, esto significa que antes de generar una sola línea de SQL, el agente ya sabe que los "ingresos netos" utilizan un cálculo aprobado específico, que deben obtenerse de una tabla financiera certificada en lugar de un resumen de marketing, que los trimestres fiscales comienzan en febrero y que los usuarios de prueba gratuita se excluyen de las métricas de retención, por ejemplo.

En Databricks, Genie Ontology proporciona una capa de contexto unificada que combina conocimiento modelado explícitamente —como vistas de métricas, páginas gobernadas, dominios y fuentes certificadas— con contexto aprendido automáticamente sobre cómo funciona realmente la organización. Ese contexto se extrae directamente de paneles de control, consultas, notebooks y otros activos empresariales.

Cada elemento de contexto aprendido, denominado Ontology Snippet, lleva una puntuación de autoridad basada en su fuente, frecuencia de uso, actualización y estado de certificación. En el momento de la consulta, un sistema de clasificación evalúa los fragmentos competidores en función de su relevancia y autoridad, resuelve los conflictos y entrega únicamente el contexto que el usuario tiene permitido ver.

Una visualización creada mediante este proceso no es solo un gráfico atractivo. Está fundamentada en las mismas definiciones y lógica que utilizarían los expertos en el dominio de la organización, lo que marca la diferencia entre una respuesta verosímil y una confiable.

Una buena gobernanza lo hace todo posible

¿Cuál es el papel de la gobernanza en la creación exitosa de visualizaciones de datos utilizando lenguaje natural en lugar de SQL?

Richard Tomlinson: La gobernanza es la infraestructura de soporte que hace posible la analítica en lenguaje natural a escala empresarial, no una casilla de verificación de cumplimiento que se añade a posteriori.

Cuando un usuario de negocio hace una pregunta en lenguaje natural, el sistema debe tomar una serie de decisiones que dan forma a la respuesta, entre ellas, qué tablas consultar, qué uniones usar, qué definición de métrica aplicar y qué filas y columnas tiene permitido ver un usuario específico. En un mundo con SQL, un analista capacitado toma esas decisiones. En un mundo con lenguaje natural, el agente de IA las toma, lo que significa que la gobernanza debe guiar cada decisión que toma el agente, no aplicarse después del hecho.

Unity Catalog proporciona esa base con controles de acceso detallados, filtros de filas y máscaras de columnas aplicados por usuario, señales de certificación que le dicen al agente qué activos avala la organización y etiquetas de obsolescencia que lo alejan de las fuentes desactualizadas.

La gobernanza también se extiende a la propia capa semántica. Los Ontology Snippets siguen los mismos permisos de Unity Catalog que los datos que describen, por lo que el agente solo utiliza el contexto empresarial que el usuario tiene permitido ver. Con la gobernanza adecuada, las organizaciones pueden ofrecer analítica en autoservicio a una audiencia mucho más amplia con total confianza, porque las barreras de protección las aplica el propio sistema.

Mantener el hilo de las conversaciones centrado

¿Cómo mantiene la analítica impulsada por IA el seguimiento del contexto en una conversación continua, incluidas las preguntas de seguimiento?

Richard Tomlinson: Este es uno de los desafíos técnicos más subestimados en la analítica conversacional, y es donde fallan la mayoría de los sistemas de NL-to-SQL. Cuando un usuario pregunta "¿Cuáles fueron las ventas del último trimestre?" y luego hace el seguimiento con "Desglosa eso por región", por ejemplo, el sistema debe entender que "eso" se refiere a la métrica, la ventana de tiempo y los filtros de la consulta anterior, y utilizar ese contexto en su respuesta.

Genie conserva el contexto conversacional dentro de un hilo manteniendo el estado de la conversación. Los metadatos de tablas y columnas, las instrucciones proporcionadas por los editores de agentes y el contexto de los turnos conversacionales anteriores ayudan a interpretar la siguiente pregunta. Si la pregunta de seguimiento es ambigua, Genie puede hacer una pregunta de aclaración en lugar de adivinar.

Genie también puede recurrir a conversaciones pasadas para elaborar respuestas. Un usuario puede hacer referencia a un trabajo anterior ("¿Recuerdas cuando hablamos del ARR del último trimestre? Desglosemos eso por región") y el sistema traslada ese contexto a la conversación actual sin necesidad de que el usuario cambie de página.

La combinación de fundamentación semántica y filtrado de conversaciones mantiene la coherencia de las respuestas a medida que las conversaciones se alargan. La ontología proporciona definiciones estables que persisten a lo largo de los turnos, de modo que "ingresos" significa lo mismo en el quinto turno que en el primero. Mientras tanto, la gestión de conversaciones selecciona el contexto relevante en lugar de añadirlo todo de forma simple, lo que terminaría por saturar la ventana de contexto y provocaría el tipo de desviación que experimentan los usuarios en sistemas menos sofisticados.

Llevar Genie a las herramientas de uso diario con gobernanza integrada

¿Cómo pueden las organizaciones integrar Genie en las aplicaciones y herramientas de IA que sus equipos ya utilizan, y cómo se aplican los permisos de acceso a los datos?

Richard Tomlinson: Databricks ofrece múltiples formas de integración. La Genie Conversation API permite a los desarrolladores integrar la consulta de datos en lenguaje natural directamente en sus propias aplicaciones, chatbots y marcos de trabajo de agentes. A través de la API, los usuarios pueden hacer preguntas, recuperar el SQL generado y los resultados de las consultas, y obtener respuestas en conversaciones de varios turnos que recuerdan el contexto anterior.

Las organizaciones también pueden utilizar Genie desde los asistentes de IA en los que ya confían, como Claude, ChatGPT, Microsoft Copilot o Cursor, a través del servidor Genie One MCP. Las respuestas utilizan las mismas definiciones de negocio y permisos de datos que dentro de Databricks.

Los Genie Agents también se pueden integrar en otras aplicaciones manteniendo los permisos intactos. Las consultas se ejecutan en un SQL warehouse utilizando las credenciales configuradas por el autor del agente, pero Unity Catalog determina qué puede ver cada usuario final en función de sus derechos de acceso. Los filtros de filas, las máscaras de columnas y los privilegios a nivel de tabla se aplican por usuario.

El patrón de autenticación recomendado para integraciones externas es OAuth en nombre de otro (OBO), donde el asistente externo actúa en nombre del usuario y Genie aplica los permisos de esa persona a cada solicitud. De este modo, dos personas pueden hacer la misma pregunta al mismo chatbot y obtener respuestas adecuadas basadas únicamente en los datos que tienen permiso para ver, sin necesidad de una configuración especial para cada usuario.

Una conexión directa a la base de datos simplemente entrega datos. Una integración de analítica gobernada controla quién ve qué métricas y cómo se calculan.

Cumplir la promesa de la analítica en lenguaje natural

Durante mucho tiempo, la analítica en lenguaje natural ha prometido que cualquiera podría hacer una pregunta y obtener una visualización de datos. En realidad, a menudo los resultados no eran lo suficientemente fiables como para tomar medidas. A medida que la IA asume decisiones que tradicionalmente tomaban los analistas, el contexto subyacente se vuelve crítico. Las respuestas confiables dependen de datos gobernados, definiciones compartidas, permisos claros y una forma de verificar cómo se generó cada respuesta. Los sistemas también deben realizar un seguimiento del contexto a medida que las conversaciones continúan e incorporar la analítica impulsada por IA a las herramientas que los empleados ya utilizan. Con esa base establecida, las organizaciones pueden proporcionar con confianza a los empleados de toda la empresa acceso a analítica en la que pueden confiar, sin importar dónde trabajen, para ayudarlos a tomar decisiones inteligentes.

Descubra cómo Genie transforma las preguntas de negocio en respuestas gobernadas y acciones.

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original