Por qué los análisis agénticos comienzan con una capa de datos bien gobernada

A medida que la IA cambia la forma en que los ejecutivos interactúan con los datos, la analítica está saliendo de la era del dashboard y entrando en un modelo operativo mucho más dinámico. Las interfaces de lenguaje natural, las perspectivas impulsadas por IA y los flujos de trabajo agénticos prometen un acceso más amplio a la inteligencia, pero también exponen un problema con el que muchas organizaciones han convivido durante años: definiciones fragmentadas, métricas inconsistentes y modelos de gobernanza que nunca fueron diseñados para la escala de la IA.

Para desglosar lo que eso significa en la práctica, hablé con Nick Eayrs, Vicepresidente de Ingeniería de Campo para Asia-Pacífico y Japón en Databricks. Con casi 25 años de liderazgo en múltiples regiones, Eayrs tiene una visión amplia de cómo las perspectivas de datos pueden ser un acelerador dentro de las organizaciones y qué se necesita para tener éxito en la nueva era de la analítica agéntica. Ese bagaje le da una visión amplia de cómo las estrategias de datos e IA se desarrollan en los mercados, modelos operativos y niveles de madurez empresarial.

El hilo conductor de nuestra conversación fue su convicción de que la IA no está eliminando la necesidad de semántica y gobernanza. Las está haciendo mucho más importantes. En su opinión, las organizaciones no obtendrán resultados de IA confiables hasta que arreglen la capa de datos debajo de ellas: las definiciones de negocio, el linaje, los controles de acceso y los estándares abiertos que permiten que la inteligencia escale sin colapsar bajo el costo y la complejidad.

La IA está Reescribiendo las Reglas de la Analítica

Catherine Brown: ¿Por qué la IA ejerce una presión sobre la semántica y la gobernanza en la analítica de una manera que la BI tradicional nunca tuvo que afrontar?

Nick Eayrs: La BI tradicional era realmente un mundo de dashboards estáticos e informes predefinidos. Los usuarios de negocio tenían que navegar por interfaces bastante complejas y, si tenían una pregunta de seguimiento o querían explorar algo más a fondo, generalmente necesitaban soporte especializado. Había muy poco autoservicio real.

La capa semántica debajo de la BI tradicional también era relativamente estática y lenta de cambiar. Si el negocio necesitaba una nueva definición de ingresos, pérdida de clientes o valor de vida del cliente, eso generalmente significaba volver a TI o a equipos especializados para actualizar la capa semántica y reconstruir los informes. Era un modelo muy predeterminado.

La IA cambia eso por completo. Ya no tiene que ser estática, y ya no tiene que ser puramente descriptiva. La BI tradicional a menudo es analítica de espejo retrovisor. Te dice lo que sucedió. Con la IA, puedes empezar a predecir lo que podría suceder, preguntar por qué sucedió y entender qué hacer a continuación. Puedes razonar sobre muchos más datos por ti mismo y generar perspectivas en tiempo real.

Pero la semántica no desaparece en ese mundo. Si acaso, importan más. La IA y los agentes todavía se informan con los datos que tienen debajo. Eso nos remite al viejo principio de basura entra, basura sale. Cuantos más datos confiables y de alta calidad tengas, con el contexto de negocio adecuado en torno a tus productos, servicios, taxonomía y terminología, mejor será la experiencia de IA.

Si alguien pregunta: “¿Por qué no alcanzamos nuestros objetivos del tercer trimestre?”, el sistema necesita entender qué significan “objetivos” en esa organización, a qué período se refiere el usuario y cómo se definen esas métricas. Sin ese contexto semántico, el sistema solo está adivinando. Puede producir respuestas genéricas, pero no confiables.

Hay otro punto importante aquí también. En la visión de Databricks, la capa semántica debe ser abierta e interoperable. Los proveedores de BI tradicionales a menudo bloquean el modelo semántico en su propia herramienta, lo que significa que todo tiene que pasar por esa interfaz. Eso se convierte en una gran limitación. Si quieres que las experiencias de IA y agénticas escalen, un fuerte ejemplo personalizado en APJ sería Takeda. Con las bases de datos correctas y las salvaguardias implementadas, pudieron desarrollar múltiples casos de uso de IA en funciones comerciales, de I+D, de fabricación y de back office.

Catherine: ¿Puede hablar más específicamente sobre la presión de gobernanza que la IA ejerce sobre la analítica?

Nick: Tanto en el lado de BI como en el lado de IA, la gobernanza se reduce a la confianza, el linaje y la trazabilidad.

Si estás produciendo dashboards o perspectivas de inteligencia de negocio, necesitas entender cómo se construyeron. ¿Qué datos subyacentes se utilizaron? ¿Cómo se definieron las métricas? Si no lo sabes, entonces no puedes confiar en lo que estás viendo.

Lo mismo ocurre en el lado de la IA. No confiarás en la salida de un modelo, un agente o una aplicación agéntica si no puedes entender cómo se derivó esa salida. ¿De qué tabla provino? ¿Qué características se utilizaron? ¿Qué modelo sirvió a la inferencia? Ese linaje de extremo a extremo es esencial.

También hay una dimensión de cumplimiento. En industrias altamente reguladas, cada vez se requerirá que las organizaciones demuestren esa trazabilidad. Si una decisión impulsada por IA se expone externamente a consumidores, ciudadanos o pacientes, debes poder respaldarla y auditar cómo se creó. La IA está ejerciendo más presión sobre la analítica porque las expectativas en torno a la confianza y la trazabilidad están aumentando.

Las Métricas Fragmentadas Están Ralentizando las Decisiones

Catherine: ¿Cuáles son los patrones de métricas conflictivas más comunes que ve y qué les cuestan a las organizaciones?

Nick: El mayor problema es la fragmentación. La mayoría de las organizaciones tienen múltiples herramientas de BI en su infraestructura, y cada una de esas herramientas puede tener su propio modelo semántico y su propia interpretación de las métricas de negocio. Eso significa que terminas sin una única fuente de verdad y mucha lógica duplicada que puede no estar alineada.

Un dashboard podría definir los ingresos de una manera. Otra herramienta puede definirlo de manera diferente. Alguien en finanzas puede estar trabajando con otra versión en Excel. En ese punto, la confianza comienza a erosionarse muy rápidamente. La toma de decisiones se ralentiza porque la gente ya no debate la decisión en sí. Debaten qué número es el correcto.

Por Qué los Modelos de BI Tradicionales Fallan a Escala de IA

Catherine: ¿Por qué la lógica del dashboard, cuando está atrapada en las herramientas, colapsa a escala de IA?

Nick: Las herramientas de BI tradicionales a menudo extraen datos de los sistemas de origen, los agregan para un resultado de informes específico, los mueven a un almacenamiento propietario y luego superponen semántica y dashboards propietarios sobre eso. Todo queda bloqueado en la herramienta.

Eso se convierte en un problema real en un mundo de IA porque los usuarios siempre tienen preguntas de seguimiento. Quieren profundizar. Quieren exponer esa lógica a otros sistemas. Quieren que los científicos de datos o los equipos de aprendizaje automático se basen en ella. Si todo está atrapado en una capa propietaria, eso no funciona bien. Tienes que volver constantemente a la fuente, extraer más datos, transformarlos nuevamente y reconstruir la lógica. Se vuelve repetitivo y costoso.

Si, en cambio, todo se construye sobre formatos de datos abiertos e interfaces abiertas, entonces BI, IA, notebooks, agentes y equipos de ciencia de datos pueden trabajar desde la misma base gobernada. Almacenas y procesas los datos una vez. Todos pueden interactuar con ellos en lenguaje natural. Todos pueden basarse en ellos. Ese es un modelo mucho mejor para la escala.

También hay una carga de ingeniería significativa en la forma antigua de hacerlo. Terminas manteniendo muchos pipelines de sincronización y mucho código personalizado solo para mantener alineados los sistemas fragmentados. Esa complejidad se vuelve muy difícil de justificar.

Cómo se Ve una Capa Semántica Legible por Máquina

Catherine: ¿Cómo se ve una capa semántica legible por máquina en la práctica?

Nick: Primero, las métricas de negocio deben tratarse como un pilar fundamental. Eso significa que las definiciones de cosas como ingresos, pérdida de clientes o valor de vida del cliente deben definirse explícitamente, certificarse y ser reutilizables en toda la organización.

Segundo, esas métricas deben ser accesibles a través de lenguajes estándar, principalmente SQL, y deben ser consumibles no solo por herramientas de BI, sino también por interfaces de IA, notebooks y agentes. Si no son accesibles y reutilizables, realmente no has resuelto el problema.

Tercero, necesitas apertura e interoperabilidad. No quieres empujar toda tu lógica de negocio a un sistema del que no puedes sacarla. Los estándares abiertos importan porque te dan opcionalidad y una estrategia de salida segura si alguna vez necesitas cambiar de sistemas o proveedores.

También necesitas gobernanza habilitada para IA. En un mundo agéntico, puedes tener miles de modelos o agentes interactuando con la capa semántica todo el tiempo. Mantener actualizados los metadatos, comentarios y métricas de negocio es un gran desafío si todo se hace manualmente. La IA puede ayudar a generar y mantener esos metadatos para que la capa semántica siga siendo utilizable a escala.

Y luego, por supuesto, necesitas inteligencia conversacional y contextual para que los agentes y las aplicaciones puedan interactuar con esa capa a través de APIs e interfaces de lenguaje natural.

Catherine: ¿Dónde encaja la evaluación en esto? ¿La certificación de los datos ocurre primero, y luego vienen la capa de IA y las evaluaciones?

Nick: Sí. Las bases de datos vienen primero. Necesitas tener los metadatos, la lógica de negocio, los comentarios y las métricas de negocio en su lugar antes de que la IA pueda usar esos datos de manera efectiva.

Luego construyes la capa de IA o agéntica sobre ella. Después de eso, los marcos de evaluación entran en juego para validar si las salidas están alineadas con las expectativas y para refinar lo que está haciendo el sistema. Pero la capa de evaluación no es un sustituto de tener las bases correctas. Depende de esas bases.

Por Qué los Modelos de BI por Usuario Limitan la Adopción y el Valor

Catherine: ¿Dónde limitan activamente los modelos de BI por asiento la adopción y la creación de valor?

Nick: El objetivo de la democratización de datos e IA debería ser poner la inteligencia en manos de cada trabajador del conocimiento de la organización. Un modelo por asiento va directamente en contra de ese objetivo.

Restringe la democratización porque obliga a las organizaciones a elegir qué usuarios, equipos o unidades de negocio obtienen acceso. También restringe la innovación porque ahora se decide qué proyectos pueden avanzar en función de la disponibilidad de licencias en lugar del valor empresarial.

Eso también afecta la creación de valor. Los mejores resultados a menudo provienen cuando diversos equipos se unen en torno a un problema empresarial. Si solo un subconjunto de esos equipos puede acceder al sistema, se limita la colaboración y se limita la capacidad de la organización para crear valor.

El otro problema es la eficiencia. En un modelo basado en el consumo, pagas por lo que usas. Si el uso aumenta, pagas por el uso incrementado. Si cae a cero, pagas cero. Ese es un modelo mucho más racional que pagar por licencias por asiento que pueden estar infrautilizadas o sobrerprovisionadas.

Catherine: Algunas organizaciones podrían argumentar que los límites de licencias actúan efectivamente como una capa de gobernanza. ¿Qué dirías a eso?

Nick: Si intentas gobernar el acceso a los datos restringiendo las licencias, fracasarás. Ese es el punto de control incorrecto.

La buena gobernanza comienza en la capa de plataforma y datos. Comienza con controles basados en roles y atributos, con autenticación y autorización vinculadas a tus sistemas de identidad, y con una clara segregación y clasificación de los activos de datos. Resuelves los permisos y la aplicación de políticas de antemano.

Si haces eso correctamente, entonces puedes implementar el acceso de manera amplia y, al mismo tiempo, asegurarte de que las personas solo vean lo que se supone que deben ver. Usar licencias por asiento como mecanismo de gobernanza no es escalable y no es un sustituto de realizar el trabajo de gobernanza subyacente.

La forma más rápida de mejorar la confianza y reducir los costos

Catherine: ¿Cuál es la medida arquitectónica más rápida que las organizaciones pueden tomar para mejorar la confianza y reducir los costos de análisis al mismo tiempo?

Nick: La medida más importante es establecer una capa semántica unificada basada en una sólida base de gobernanza.

Eso comienza con la decisión del catálogo. ¿Cómo vas a gobernar tus activos de datos e IA? Una vez que tengas un catálogo implementado, puedes definir tus semánticas allí, certificar las métricas de negocio allí y crear una única fuente de verdad. En el modelo de Databricks, esa fuente de verdad es abierta e interoperable, lo que importa mucho.

Una vez que haces eso, suceden algunas cosas. Obtienes confianza porque tienes linaje, gobernanza, auditabilidad y definiciones certificadas. Obtienes simplificación porque evitas la duplicación innecesaria y la ETL repetida. Y reduces la carga de TI porque ya no reconstruyes la lógica cada vez que alguien hace una nueva pregunta.

El patrón de implementación es bastante claro. Primero, asegúrate de que los cimientos de datos sean correctos. Segundo, construye la capa semántica y certifica las métricas de negocio. Tercero, añade IA y luego usa marcos de evaluación para monitorear y refinar esos resultados. Esa secuencia importa. NTT Docomo es un gran ejemplo de esto. Habiendo utilizado Databricks Lakehouse, Unity Catalog y flujos de trabajo para automatizar el análisis de registros, redujeron el tiempo de procesamiento manual de 66 horas por mes a 6 horas y mejoraron la eficiencia del análisis en un 90 por ciento. Ese es un fuerte ejemplo de gobernanza y cimientos que permiten una toma de decisiones mucho más rápida.

Por qué APJ se está moviendo más rápido en la monetización de datos e IA

Catherine: ¿Qué están haciendo las empresas de APJ de manera diferente o más rápida en cuanto a la monetización de la capa de datos para la IA?

Nick: APJ es un mercado fascinante porque es increíblemente diverso. Estás tratando con países, idiomas, niveles de madurez y entornos regulatorios muy diferentes. Pero uno de los patrones comunes es que las organizaciones tienden a moverse muy rápidamente en la transformación digital, y muchos gobiernos de la región tienen estrategias nacionales de IA claras en marcha.

Lo que vemos de los clientes es que a menudo comienzan con la capa de gobernanza y cimientos de datos, y luego avanzan rápidamente a aplicaciones nativas de IA una vez que esa base está en su lugar. Esa secuenciación importa.

También vemos ese patrón en industrias como los servicios financieros, donde los clientes están consolidando análisis sobre una capa de datos gobernada y luego democratizando el acceso.

Otro ejemplo es Net One Systems en Japón. Una vez que tuvieron la base implementada, construyeron una herramienta de conocimiento infundida con IA integrada con otros sistemas y lograron una reducción del 75 por ciento en el tiempo de respuesta a las consultas de soporte, ahorrando 10.000 horas de mano de obra por año.

Una de las cosas que es especialmente única en APJ es la dimensión multilingüe. Los clientes están construyendo capacidades en japonés, mandarín, cantonés, tailandés y otros idiomas locales. Eso es poderoso, pero solo funciona si la capa de datos subyacente está bien gobernada y estructurada para soportarla.

Los clientes de APJ tienden a acertar rápidamente con los cimientos, luego giran rápidamente hacia el desarrollo de aplicaciones centradas en IA sobre ellos. En muchos casos, se están moviendo más rápido que otras regiones.

Pensamientos finales

El punto de Nick es tanto técnico como estratégico. Las organizaciones que crean valor a partir de la IA no están tratando los análisis, la semántica y la gobernanza como conversaciones separadas. Las están tratando como una sola base. Para los ejecutivos, eso importa porque la recompensa no es solo una mejor arquitectura. Es una toma de decisiones más rápida, un acceso más amplio a la información y un menor costo de análisis a escala. La IA no solucionará una capa de datos fragmentada. La expondrá. Las empresas que pasen más rápido de la experimentación a la inteligencia confiable serán las que definan sus métricas claramente, las gobiernen centralmente y las hagan lo suficientemente abiertas como para que los análisis y la IA se basen en la misma verdad.

Para obtener más información sobre cómo crear un modelo operativo eficaz, descargue el Modelo de Madurez de IA de Databricks.

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original