La gobernanza de la IA es la estrategia: por qué las iniciativas de IA exitosas comienzan con el control, no con el código

La IA se está integrando en los flujos de trabajo, las interacciones con los clientes y la toma de decisiones empresariales en todas las organizaciones. Para las juntas directivas y los CEO, ese cambio modifica la conversación. La pregunta central ya no es “¿Qué tan rápido podemos adoptar la IA?”, sino más bien: “¿Podemos gobernarla lo suficientemente bien como para confiar en ella a escala?”

Lexy Kassan, una líder sénior de tecnología responsable de la estrategia y la gobernanza de la IA empresarial en Databricks, aporta una profunda experiencia operando en la intersección de los datos, la IA y la transformación empresarial. Su perspectiva no se basa en la teoría, sino en las realidades de implementar sistemas generativos y agénticos dentro de grandes organizaciones, donde el tono, el sesgo, el monitoreo y la responsabilidad no son riesgos abstractos, sino requisitos operativos.

A continuación, se presenta una conversación sobre por qué la gobernanza es un requisito previo para escalar la IA empresarial de alta calidad.

La gobernanza de la IA genera resultados confiables y relevantes

Catherine Brown: Cuando los ejecutivos dicen que están “haciendo gobernanza de la IA”, ¿qué malinterpretan sobre lo que realmente se necesita para escalar la IA a la producción?

Lexy Kassan: Generalmente, cuando escucho que las organizaciones abordan la gobernanza de la IA, se convierte en un esfuerzo de: “Tenemos una política, tenemos un montón de procesos documentados y tenemos personas que aprobarán las cosas”. Mientras alguien haya marcado las casillas y seguido los pasos, entonces todo está bien”.

Siendo realistas, la gobernanza impacta las iniciativas de IA tanto en la fase de desarrollo como en el éxito continuo a escala. Una gobernanza sólida conduce a una IA en producción que es confiable y que continúa mejorando y apoyando a la organización según lo diseñado. La escala no se logra obteniendo aprobaciones. La escala se logra al operar la IA de forma continua. Y eso requiere mucho más que solo el equipo de datos e IA.

La gobernanza de la IA para generar confianza a escala requiere tres cosas: comunicación, colaboración e iteración. Comunicar las expectativas tanto desde la perspectiva de la política y la mitigación de riesgos como de la intención y el uso empresarial. Colaborar entre expertos en la materia, expertos técnicos, expertos en riesgos y seguridad, y otros para abordar las inquietudes y lograr sistemas confiables. E iterar a lo largo del tiempo para que los sistemas de IA sigan siendo relevantes, confiables y valiosos.

La gobernanza como habilitadora del valor de la IA

Catherine: ¿En qué momento la gobernanza de la IA deja de ser una cuestión de cumplimiento y se convierte en un requisito operativo para el negocio?

Lexy: La gobernanza ha pasado por una transformación en los últimos años, sobre todo debido a la IA. Hace cinco o diez años, la gobernanza se enmarcaba a menudo como mitigación de riesgos y cumplimiento. Casi se la consideraba la antítesis de la innovación. Ahora, la gobernanza se entiende mejor en su forma más auténtica: como la habilitadora de la realización de valor. Sin gobernanza, es muy difícil confiar en los datos o en la IA. Y sin confianza, nadie la usa. Y del uso es de donde proviene el valor.

Si nadie confía en tu IA, has invertido recursos y no has obtenido ningún valor. 

Entonces, la gobernanza ya es un requisito si se quiere una adopción generalizada y operar a escala.

La sobrecarga de procesos ralentiza la innovación

Catherine: ¿Qué ocurre cuando las organizaciones simplemente añaden la IA a sus procesos de revisión existentes en lugar de rediseñar el modelo operativo?

Lexy: Aquí es donde suele ocurrir que se añaden demasiados procesos.

Las organizaciones dicen: “En lugar de identificar un camino más fácil para la IA, simplemente tomaremos los procesos que ya tenemos (evaluaciones de privacidad, revisiones de arquitectura, revisiones de seguridad) y les añadiremos más cosas”. Al final, tienes comités desconectados que quizás se reúnen una vez al mes. Estás superponiendo la IA sobre una gobernanza lenta en lugar de rediseñar la gobernanza para la IA.

Si se tarda seis meses en aprobar algo y las capacidades de la IA evolucionan mensualmente, estructuralmente, te estás preparando para quedarte atrás. La gobernanza no debería significar más sobrecarga. Debería significar identificar un camino definido, una arquitectura y un marco que ya mitiguen el riesgo para que no tengas que empezar de cero cada vez.

Pasar del conocimiento a la acción cambia el perfil de riesgo

Catherine: ¿Cómo cambia la conversación sobre la gobernanza cuando los sistemas de IA pasan de generar conocimientos a tomar acciones a través de agentes y aplicaciones?

Lexy: Cuando pensamos en incorporar la IA en un proceso, a menudo pensamos en un continuo que va del control a la confianza. En un extremo, tienes procesos totalmente controlados por humanos. En el otro extremo, tienes sistemas agénticos totalmente automatizados. Cuando la IA pasa de generar conocimiento a tomar acción, lo que está en juego cambia. Cedes más control y, por lo tanto, debes poder depositar más confianza en el sistema. 

Para alcanzar los niveles de confianza necesarios para la acción de los agentes, la mayor parte de la responsabilidad de la gobernanza de la IA debe transferirse a los expertos en la materia del negocio. Tener un enfoque por etapas para las pruebas, la retroalimentación, el desarrollo de barreras de protección y la evaluación ayuda a generar confianza en que los agentes actuarán adecuadamente la gran mayoría de las veces. Y esta responsabilidad continúa en producción, donde la retroalimentación adicional y la ingeniería de prompts mantienen los sistemas por el buen camino. 

Eso cubre el lado del contenido y la acción, pero ¿qué hay de la parte técnica? Ahí es donde los mecanismos de respaldo del sistema, la resiliencia y la robustez se vuelven críticos. ¿Qué pasa si la IA está caída? ¿Qué pasa si necesita reentrenar un modelo o refactorizar una cadena? La gobernanza incluye la planificación para esos escenarios. ¿A qué recurre? ¿A quién recurre? ¿Cómo se ve eso?

Responsabilidad antes de la producción

Catherine: ¿Qué decisiones deben tomar los equipos de liderazgo de antemano sobre la responsabilidad, las vías de escalamiento y la supervisión humana antes de que la IA llegue a producción?

Lexy: Cada vez más, vemos que las organizaciones piensan en los agentes casi como si fueran empleados. Hay empresas que incorporan agentes a las herramientas de gestión de la fuerza laboral, los asignan a gerentes y hacen a estos responsables de su desempeño. Se puede aplicar el pensamiento de la gestión del desempeño a los agentes tal como se haría con un empleado humano. ¿Qué tan bien se está desempeñando? ¿Se mantiene dentro de los límites? ¿Produce los resultados para los que fue diseñado? En ciertos aspectos, es más fácil corregir a los agentes (se pueden cambiar las instrucciones o reentrenar los modelos), pero también es diferente. Los agentes no tienen las mismas motivaciones que los humanos.

Los equipos de liderazgo deben decidir cómo se medirá el rendimiento, cómo se evaluará la confianza y qué se necesita para retirar algo de producción, y qué se necesita para restablecerlo. La confianza es fácil de perder y mucho más difícil de recuperar. Eso se aplica a la IA igual que a las personas.

Escalar de forma responsable sin perder velocidad

Catherine: En todas las organizaciones con las que trabajas, ¿qué patrones distinguen a los equipos que escalan la IA de forma responsable y, al mismo tiempo, se mueven con rapidez?

Lexy: El primero es el camino pavimentado del que hablé antes. Llegan a un punto en el que no tienen que debatir la tecnología cada vez. Tienen una arquitectura gobernada con trazabilidad, auditabilidad y responsabilidad incorporadas. Eso les permite avanzar rápidamente porque las barreras de protección ya están ahí.

La segunda es incorporar directamente al proceso a los expertos en la materia del negocio. El escalamiento es más rápido cuando no hay un constante ida y vuelta entre los equipos de negocio y de tecnología para traducir los requisitos. El negocio aporta el contexto: qué se considera bueno, qué es válido y qué no es válido.

La gobernanza ya no es solo cosa de los tecnólogos. Se trata de que el negocio y la tecnología se unan bajo un marco compartido.

La confianza debe diseñarse y medirse

Catherine: ¿Cómo deberían los ejecutivos pensar en la confianza —como algo que se debe diseñar, medir y gestionar— tanto internamente como con los clientes?

Lexy: La confianza es difícil de medir directamente. Por lo tanto, nos basamos en proxies. Medimos la calidad de los datos, el rendimiento del sistema, la adopción y el uso. Evaluamos si el sistema se mantiene dentro de los límites definidos y produce resultados aceptables.

Puedes pensar en ello como la gestión del rendimiento de una persona. ¿Cuánto dependen los demás de ellos? ¿Qué tan productivos son? ¿Con qué constancia cumplen las expectativas?

Puede que la confianza en sí misma sea difícil de cuantificar, pero el desempeño, la consistencia y el cumplimiento de los estándares son medibles. Con el tiempo, esas mediciones ayudan a generar confianza.

La gobernanza se consolida cuando existen bucles de retroalimentación

Catherine: Si un CEO le pidiera un cambio concreto para realizar en los próximos 90 días a fin de garantizar que la gobernanza de la IA realmente se consolide, ¿qué le recomendaría?

Lexy: Asegúrate de que haya retroalimentación, ya sea en el uso o en la comprensión de por qué algo no se está utilizando. Si las personas interactúan con la IA, ¿proporcionan retroalimentación sobre la calidad de los resultados? ¿Evalúan los resultados? Y si nadie interactúa directamente con ella, entonces, aun así, debemos evaluar esos resultados. ¿Quién forma parte de ese ciclo de revisión?

La gobernanza se afianza cuando los comentarios generan un cambio significativo. Cuando las personas ven que sus aportes mejoran el sistema y su propia forma de trabajar, se involucran.

Y, en última instancia, asegúrate de priorizar el valor. Construye lo que vale la pena construir. Luego, establece ese camino pavimentado para que sea más fácil decir que sí a la próxima iniciativa valiosa de IA.

La gobernanza es la condición para el escalamiento

La gobernanza de la IA a menudo se presenta como un mecanismo de control. En la práctica, es una disciplina operativa. Escalar la IA no se trata de agregar más juntas de revisión o más documentación. Se trata de incorporar barreras de protección en la arquitectura, establecer circuitos de retroalimentación y diseñar sistemas que sean confiables a lo largo del tiempo.

Para los equipos de liderazgo, la conclusión es sencilla: la gobernanza no es lo que ralentiza la IA, sino una gobernanza mal diseñada. Cuando la gobernanza se integra en la plataforma, se alinea con la propiedad del negocio y se refuerza a través de la medición y la retroalimentación, se convierte en la condición que permite que la IA escale de manera responsable y sostenible.

Explore el informe de Databricks, Delivering a Secure Data and AI Strategy, para ver cómo las empresas líderes están incorporando la gobernanza, la seguridad y la confianza directamente en sus modelos operativos de IA.

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original