¿Qué es la gobernanza de la IA? Una guía clara para una IA responsable

¿Qué es la gobernanza de la IA?

La gobernanza de la IA es el conjunto de marcos, políticas y procesos que utilizan las organizaciones para garantizar que los sistemas de inteligencia artificial se desarrollen, implementen y operen de manera responsable a lo largo de su ciclo de vida. El término se refiere a cualquier mecanismo de supervisión que aborde consideraciones éticas, cumplimiento normativo, gestión de riesgos y responsabilidad por las decisiones y resultados impulsados por la IA.

A medida que los sistemas de IA se integran cada vez más en las operaciones empresariales y sociales, las prácticas de gobernanza sólidas se volvieron esenciales. Las organizaciones se enfrentan a una presión cada vez mayor por parte de los reguladores, los clientes y las partes interesadas para demostrar que su IA funciona de forma transparente, justa y segura. Sin una gobernanza estructurada, las organizaciones pueden arriesgarse a multas regulatorias, sesgo algorítmico, violaciones de privacidad y erosión de la confianza de las partes interesadas y/o del cliente. En resumen, una gobernanza eficaz de la IA proporciona barreras de protección que permiten la innovación a la vez que gestiona sistemáticamente estos riesgos.

Esta guía explora los principios y marcos básicos que definen la gobernanza de la IA, examina cómo las organizaciones pueden construir y personalizar estructuras de gobernanza y aborda los desafíos prácticos de implementarla en los sistemas de IA tradicionales y generativos.

Definición de la gobernanza de la IA: principios básicos y alcance

¿Qué se entiende por la gobernanza de la IA?

La gobernanza de la IA se extiende a lo largo de todo el ciclo de vida de la IA, desde el desarrollo inicial y el entrenamiento hasta la implementación, la supervisión, el mantenimiento y, finalmente, la retirada. A diferencia de la gobernanza tradicional de TI, la gobernanza de la IA debe abordar los desafíos únicos que plantean los sistemas que aprenden de los datos, toman decisiones autónomas y generan resultados novedosos.

En esencia, la gobernanza de la IA establece la rendición de cuentas para los procesos de toma de decisiones de la IA. Por ejemplo, cuando un sistema de IA recomienda el rechazo de un préstamo, señala contenido para su eliminación o influye en las decisiones de contratación, los sistemas de gobernanza determinan quién es responsable de esos resultados y cómo las organizaciones pueden revisar, explicar y apelar esas decisiones. En resumen, este marco de rendición de cuentas es lo que conecta los sistemas técnicos con políticas organizacionales más amplias y objetivos empresariales.

La gobernanza de la IA también aborda los impactos sociales más grandes. Los sistemas capacitados con datos históricos pueden perpetuar sesgos contra los grupos protegidos, mientras que la aparición de aplicaciones de IA plantea preguntas sobre el desplazamiento de empleos, la erosión de la privacidad y una mayor concentración de poder tecnológico. Los marcos de gobernanza son los mecanismos que ayudan a las organizaciones a abordar estas consideraciones mediante el establecimiento de procesos de revisión ética, mecanismos de participación de las partes interesadas y protocolos de evaluación de impacto en los flujos de trabajo de desarrollo e implementación de la IA.

La gobernanza eficaz conecta los controles técnicos (como pruebas de modelos, monitorización del rendimiento o validación de datos) con las estructuras organizacionales (comités de supervisión, definiciones claras de roles, procedimientos de escalada) y mecanismos de rendición de cuentas más amplios (pruebas de auditoría, estándares de documentación, transparencia de las partes interesadas).

Conceptos clave: marco, principios y pilares

La gobernanza de la IA se basa en varios pilares que trabajan juntos para crear una supervisión integral. Estos pilares abordan la estructura organizativa, el cumplimiento normativo, las consideraciones éticas, la infraestructura técnica y la seguridad a lo largo del ciclo de vida de la IA.

Los Principios de IA de la Organización para la Cooperación y el Desarrollo Económico (OCDE) proporcionan un marco fundamental reconocido por 47 países. Estos principios establecidos por primera vez en 2019 y actualizados en 2024 establecen valores que los sistemas de IA deben respetar, incluidos la inclusión, la sostenibilidad y el fomento del bienestar humano, y a la vez, respetar los derechos humanos, los valores democráticos y el estado de derecho. El marco también incluye principios clave adicionales como transparencia y explicabilidad, solidez y seguridad, y responsabilidad. El objetivo de la OCDE era proporcionar a las organizaciones pautas a la hora de desarrollar sus propias estructuras de gobernanza. Hoy en día, más de 1000 iniciativas de políticas de IA en más de 70 jurisdicciones siguen estos principios.

Por muy importantes e innovadores que sean los principios de la OCDE, existen otras directrices éticas que informan las estructuras de gobernanza, como los siguientes:

• Centricidad humana: esto coloca el bienestar y la dignidad humana en el centro del diseño de la IA.
• Equidad: esto requiere identificar y mitigar los sesgos de manera proactiva.
• Inclusión: garantiza que los sistemas de IA presten servicio a poblaciones diversas de manera equitativa.

La colección de estos principios establece un marco teórico/conceptual sobre el cual se puede construir una gobernanza concreta de la IA. Sin embargo, es importante señalar que la relación entre los marcos de gobernanza de la IA, las prácticas responsables de IA y las consideraciones éticas sigue una jerarquía clara. Por ejemplo, los principios éticos proporcionan los valores fundamentales, mientras que las prácticas responsables de la IA traducen esos valores en mejores prácticas técnicas y operativas. Finalmente, los marcos de gobernanza proporcionan las estructuras organizacionales, políticas y mecanismos de aplicación que garantizan que dichas prácticas se sigan de forma consistente.

Es fundamental comprender la diferencia entre principios y marcos. Los principios son valores rectores, que son declaraciones sobre lo que importa y por qué. Los marcos son estructuras operativas. Piensa en estas como las políticas, procedimientos, roles y puntos de control que convierten los principios en práctica. Por ejemplo, "equidad" es un principio. El marco de gobernanza expresa ese principio a través de un protocolo de prueba de sesgo con métricas definidas, cadencias de revisión y procedimientos de remediación.

Marcos esenciales para la gobernanza de la IA

Revisión de los principales marcos de gobernanza de la IA

Hay varios marcos establecidos que proporcionan puntos de partida para las organizaciones que crean programas de gobernanza. Aunque sus objetivos son similares, cada uno ofrece diferentes enfoques y prioridades diseñados para adaptarse a diversos tipos de organizaciones y entornos normativos.

1. Los principios de IA de la OCDE enfatizan cinco valores fundamentales: crecimiento inclusivo, desarrollo sostenible, bienestar, transparencia, solidez, seguridad y rendición de cuentas. Estos principios influyen en los enfoques regulatorios en todo el mundo y proporcionan una base que se fundamenta en los valores que las organizaciones pueden adoptar. Lo fundamental es que los principios no son vinculantes, lo que permite a los gobiernos y organizaciones implementarlos en su contexto particular sin dejar de cumplir con un estándar global más amplio.

2. La Ley de IA de la UE adopta un enfoque regulatorio basado en el riesgo. Esta ley clasifica los sistemas de IA según su impacto potencial e incluye cuatro niveles de riesgo:

   a. Riesgo inaceptable: sistemas prohibidos como el puntaje social

   b. Alto riesgo: incluidos los sistemas en infraestructura crítica, utilización y aplicación de la ley. Estos principios enfrentan requisitos estrictos para la gobernanza de datos, documentación, transparencia, supervisión humana y precisión.

   c. Riesgo limitado: exige transparencia.

   d. Riesgo mínimo: No regulado

3. El marco de gestión de riesgos de IA del NIST (Instituto Nacional de Normas y Tecnología) proporciona un enfoque estructurado para gestionar los riesgos de la IA a lo largo del ciclo de vida. El marco organiza las actividades en cuatro funciones: gobernar, mapear, medir y gestionar. El marco se desarrolló a través de la colaboración de más de 240 organizaciones de la industria privada, el mundo académico, la sociedad civil y el gobierno, y es particularmente útil para las organizaciones que buscan un enfoque centrado en el riesgo que se integre con los procesos de gestión de riesgos empresariales existentes. El NIST diseñó el marco para que fuera voluntario, preservara los derechos, no fuera específico de ningún sector y fuera independiente de los casos de uso.
4. ISO/IEC 42001 ofrece especificaciones técnicas para los sistemas de administración de la IA, y se centra en la calidad, la fiabilidad y la gestión del ciclo de vida. Como el primer estándar certificado del mundo para sistemas de gestión de IA, el estándar especifica los requisitos para establecer, implementar, mantener y mejorar continuamente un sistema de gestión de IA dentro de las organizaciones.

Además de estos marcos generales de IA, las organizaciones individuales también están desarrollando marcos internos integrales que abordan los retos de gobernanza a lo largo del ciclo de vida de la IA. Aunque se adhieren a principios generales, cualquier marco debe equilibrar la complejidad y el rigor de la gobernanza con la madurez de la IA, la exposición al riesgo y las obligaciones regulatorias de la organización, para hacer de la gobernanza una solución personalizada para la organización. Por ejemplo, una empresa emergente que desarrolla un único chatbot orientado al cliente necesitará estructuras de gobernanza diferentes a las de una institución financiera global que implementa cientos de modelos de IA en las áreas de evaluación de riesgos, operaciones bursátiles y servicio al cliente. Y para resolver algunos de estos desafíos generales de gobernanza, Databricks desarrolló un marco que integra la estructura organizacional, el cumplimiento legal, la supervisión ética, la gobernanza de datos y la seguridad en un enfoque unificado.

Construcción y personalización de un marco de gobernanza

El beneficio de estos marcos líderes de gobernanza de la IA es que permiten a las organizaciones evaluar y adaptar los marcos existentes a sus necesidades específicas, en lugar de crearlos desde cero. Además del ahorro de tiempo, este enfoque incorpora las mejores prácticas y garantiza la alineación con las normas reconocidas internacionalmente.

1. Evaluación: comienza por evaluar la madurez y los casos de uso de IA de su organización. Cataloga las iniciativas de IA existentes y planeadas, y evalúa su impacto empresarial, complejidad técnica y perfil de riesgo. Una organización que utiliza IA principalmente para herramientas de productividad interna, por ejemplo, enfrenta requisitos de gobernanza diferentes de una que implementa IA en decisiones crediticias o diagnósticos médicos orientados al cliente.
2. Requisitos normativos: luego, identifica los requisitos normativos y las normas industriales pertinentes. Las organizaciones que operan en el sector sanitario deben cumplir con los requisitos de la HIPAA, mientras que las empresas de servicios financieros deben considerar leyes de préstamos justas y regulaciones contra la discriminación. Si una empresa opera en varias jurisdicciones, debe tener en cuenta las leyes de privacidad de datos variables, las regulaciones específicas de IA y restricciones de transferencia transfronteriza.
3. Determina la tolerancia al riesgo y las prioridades de gobernanza: esto variará según la cultura organizacional, las expectativas de las partes interesadas y los objetivos comerciales. Algunas organizaciones priorizan la rapidez de lanzamiento al mercado y pueden aceptar un mayor riesgo con una gobernanza más ligera para aplicaciones de bajo impacto. Otros, especialmente en sectores altamente regulados o con fuertes compromisos éticos, pueden implementar una gobernanza rigurosa incluso para aplicaciones de riesgo moderado.
4. Evalúa los recursos y la estructura organizacional: la gobernanza requiere roles dedicados, colaboración multifuncional, infraestructura técnica para monitoreo y documentación, y patrocinio ejecutivo. Las organizaciones deben diseñar marcos de gobernanza que puedan implementar y mantener realmente, dados sus recursos y estructura.
5. Selecciona marcos base: en lugar de adoptar cualquier marco individual por completo, muchas organizaciones combinan elementos de varios marcos. Por ejemplo, una organización podría adoptar los principios de la OCDE como base ética, utilizar la estructura de gestión de riesgos del NIST para los procesos operativos e incorporar los requisitos de la Ley de IA de la UE para los sistemas implementados en los mercados europeos.
6. Personaliza los marcos existentes: una vez que selecciones un entorno base, ajusta los requerimientos para que coincidan con tus aplicaciones de IA y tu perfil de riesgo. En otras palabras, un marco diseñado para la seguridad de vehículos autónomos puede ser demasiado riguroso para un motor de recomendaciones de marketing, mientras que un marco diseñado para modelos de aprendizaje automático simples puede ser insuficiente para modelos de lenguaje grandes con amplias capacidades. Aquí es donde las partes interesadas pueden personalizar los marcos de trabajo para sus necesidades.
7. Garantiza la participación interfuncional: involucra a las partes interesadas legales, técnicas, comerciales y éticas durante todo el desarrollo del marco. Cada equipo tiene su área de especialización con la que puede contribuir: los equipos técnicos entienden las capacidades y limitaciones del modelo; los equipos legales identifican las obligaciones de cumplimiento; los líderes empresariales pueden articular la tolerancia al riesgo y las prioridades estratégicas; y la experiencia en ética ayuda a navegar compensaciones de valor complejas.
8. Haz que el marco sea viable, medible y escalable: al definir procedimientos claros, criterios de decisión y métricas de éxito desde el principio, establece una gobernanza orientada al éxito. La gobernanza debe especificar quién aprueba qué tipos de iniciativas de IA, qué documentación se requiere, qué pruebas deben realizar antes de la implementación y cómo se realiza la monitorización continua. Los marcos que existen solo como principios de alto nivel sin procedimientos operacionales claros rara vez se implementan de manera consistente.

Ética, derechos humanos e inteligencia artificial responsable

La diferencia entre la IA responsable y la gobernanza de la IA

La IA responsable y la gobernanza de la IA se suelen utilizar indistintamente. Son conceptos distintos, sin duda, pero trabajan juntos para garantizar que los sistemas de IA funcionen de manera ética y segura.

La IA responsable se refiere a los principios, valores y mejores prácticas para desarrollar e implementar la IA de manera ética. Implementar una IA responsable significa asumir un compromiso con la equidad, la transparencia, la responsabilidad, la privacidad y el bienestar humano. En otras palabras, la IA responsable es principalmente la base teórica que fundamenta los estándares y valores éticos que guían el trabajo de la IA.

La gobernanza de la IA, en cambio, se refiere a las estructuras organizacionales, procesos, políticas y mecanismos de aplicación que garantizan que se sigan realmente los principios responsables de la IA. Si la IA responsable es la teoría, la gobernanza es la práctica real de cómo las organizaciones implementan, verifican y mantienen esas prácticas sistemáticamente en todas las iniciativas de IA. Los marcos de gobernanza deben abordar tanto los compromisos éticos voluntarios como los requisitos reglamentarios obligatorios.

Los contextos regulatorios ilustran esta relación, ya que las leyes y regulaciones codifican cada vez más las expectativas éticas en requisitos específicos de cumplimiento. La Ley de IA de la UE, por ejemplo, transforma los principios éticos sobre transparencia y equidad en obligaciones legales específicas que las empresas deben cumplir, así como en medidas disciplinarias cuando se desvían de ellos.

Otra forma en que estos dos conceptos interactúan es cómo informan las decisiones de gobernanza del día a día. Por ejemplo, si un comité de ética de IA revisa una propuesta de implementación de reconocimiento facial, aplica principios éticos como la privacidad, el consentimiento y el potencial impacto discriminatorio. La aplicación de estos principios se refleja en sus procesos de gobernanza, como la evaluación de impacto, la consulta a las partes interesadas y los requisitos de aprobación. Los principios proporcionan el marco de valores. mientras que la gobernanza proporciona la estructura operativa para aplicar esos valores de manera consistente.

Puesta en práctica de los principios éticos

Traducir estándares éticos abstractos en políticas concretas de gobernanza puede ser difícil y requiere enfoques sistemáticos y mecanismos de implementación específicos. Algunos de los enfoques más comunes son los siguientes:

• Tarjetas modelo: estas proporcionan documentación estandarizada que explica el uso previsto, las limitaciones, las características de desempeño y las consideraciones éticas de un modelo. Esto ayuda a que la transparencia sea una característica concreta en lugar de aspiracional.
• Auditorías de sesgo: al utilizar pruebas cuantitativas para medir la equidad entre diferentes grupos demográficos, este proceso implementa principios de equidad en resultados medibles con umbrales definidos para un rendimiento aceptable.
• Validación por parte de las partes interesadas: este proceso incorpora la aportación de diversas partes interesadas durante el desarrollo para garantizar que las decisiones de diseño se basen en perspectivas diversas.
• Sistemas de puntuación de riesgos: evalúan factores como la intervención humana necesaria y supervisan la intensidad y las necesidades de planificación de contingencias. El objetivo de los sistemas de puntuación de riesgos es ajustar el rigor de la gobernanza a los niveles de riesgo reales.
• Comités de revisión ética: para ayudar a proporcionar vías de escalamiento estructuradas, un comité de revisión ética puede estar compuesto por equipos multifuncionales que evalúan iniciativas de alto riesgo contra criterios éticos antes de su aprobación.
• Monitoreo continuo: independientemente de cuán cuidadosamente se implemente un proceso de gobernanza, es crucial rastrear el rendimiento del modelo, detectar desviaciones y marcar anomalías en tiempo real. Las herramientas automatizadas pueden ayudar a las organizaciones a convertir estas revisiones en una práctica sistemática.

Más allá de estos enfoques más amplios para operacionalizar la ética, también existen mecanismos específicos que abordan los principios éticos individuales:

1. Explicabilidad: los requerimientos de explicabilidad se traducen en estándares de documentación, tarjetas modelo que describen las capacidades y limitaciones del sistema y pistas de auditoría que rastrean cómo se toman las decisiones. Las organizaciones podrían exigir que todos los sistemas de IA de alto impacto incluyan explicaciones sobre las decisiones individuales, con un nivel de detalle proporcional a la importancia de la decisión.
2. Privacidad: las medidas de protección de la privacidad se aplican mediante prácticas de minimización de datos, sistemas de gestión del consentimiento, procedimientos de cumplimiento del RGPD, técnicas de privacidad diferencial y controles de acceso. Las políticas de gobernanza especifican qué datos se pueden utilizar para el entrenamiento de la IA, cuánto tiempo se pueden conservar y qué medidas de protección de la privacidad se deben implementar.
3. Equidad: Los principios de equidad se operan a través de protocolos de pruebas de sesgo realizados en múltiples etapas del ciclo de vida, requisitos de datos de entrenamiento diversos y representativos, métricas de equidad definidas apropiadas para cada dominio de aplicación y procedimientos de remediación cuando se detecta un sesgo. Las organizaciones deben especificar qué constituye un sesgo inaceptable para diferentes casos de uso y qué acciones se requieren cuando las pruebas revelan problemas.
4. Seguridad: los procedimientos de seguridad suelen llevarse a cabo antes de la implementación mediante protocolos de prueba que evalúan el comportamiento del sistema en diversas condiciones y planes de respuesta ante incidentes para cuando los sistemas se comportan de forma inesperada. También pueden contar con capacidades de reversión que permiten una desactivación rápida del sistema si surgen problemas.
5. Creación de procesos de revisión ética: muchas organizaciones establecen comités de ética de IA con representantes de diversas funciones y orígenes para abordar desafíos sistémicos. Estos comités revisan las iniciativas de IA de alto riesgo, evalúan las implicaciones éticas, recomiendan modificaciones y aprueban o rechazan las implementaciones. Los procesos claros ayudan a especificar qué desencadena la revisión ética, qué información debe proporcionarse y cómo se toman y documentan las decisiones.
6. Consideraciones sobre derechos humanos: comprender cómo los sistemas de IA pueden afectar los derechos fundamentales, como la privacidad, la libertad de expresión y el debido proceso, es esencial para una implementación responsable. Los marcos de gobernanza deberían incluir evaluaciones del impacto sobre los derechos humanos de los sistemas que podrían afectarlos, con especial atención a las poblaciones vulnerables.
7. Mecanismos de rendición de cuentas: por último, la creación de mecanismos de rendición de cuentas aborda lo que sucede cuando se violan o se comprometen los estándares éticos. Esto incluye procedimientos de reportes de incidentes, procesos de investigación, requerimientos de remediación y consecuencias de las violaciones. Los mecanismos de rendición de cuentas garantizan que cualquier violación o compromiso de la gobernanza tenga consecuencias.

Implementación: de los marcos a la gobernanza real

¿Quién debe liderar y cómo se construye la gobernanza de la IA?

Una gobernanza eficaz de la IA requiere un liderazgo claro, roles definidos e integración con las estructuras organizacionales existentes. Pero, ¿quién debería liderar exactamente estos esfuerzos y cómo deberían estructurar las organizaciones su enfoque? A continuación se presentan algunas preguntas y conceptos generales que una organización puede utilizar para diseñar su gobernanza.

Enfoques de gobernanza: centralizado, distribuido o híbrido. Las organizaciones pueden estructurar su gobernanza de diferentes maneras según su tamaño, cultura y necesidades. Por ejemplo, la gobernanza centralizada concentra la autoridad para la toma de decisiones en una oficina o comité central de gobernanza de la IA. Esto genera coherencia en toda la organización, pero también puede crear cuellos de botella. La gobernanza distribuida, por otro lado, transfiere la autoridad a las unidades empresariales o equipos de productos, lo que permite tomar decisiones más rápidas, pero conlleva el riesgo de inconsistencia. Los modelos híbridos intentan equilibrar estas compensaciones al establecer estándares centralizados y delegar decisiones a equipos más cercanos al trabajo.

Roles clave: varios roles clave proporcionan liderazgo y experiencia en la gobernanza de IA. Un director de IA suele proporcionar patrocinio ejecutivo y orientación estratégica para el programa de IA y su gobernanza. Mientras tanto, un Consejo de Ética en IA aporta perspectivas diversas para revisar iniciativas de alto riesgo y dilemas éticos. Los comités de gobernanza desarrollan políticas, revisan el cumplimiento y resuelven los problemas escalados. Y los equipos interdisciplinarios, como los de ciencia de datos, ingeniería, leyes, cumplimiento de normas y funciones de negocios, pueden colaborar en la implementación diaria.

Integración con los procesos existentes: en lugar de crear la gobernanza como una función aislada, las organizaciones deben conectar la gobernanza de la IA con los programas de cumplimiento existentes, los marcos de gestión de riesgos y los procesos de gobernanza de TI. Esta integración aprovecha la experiencia existente y evita la duplicación de esfuerzos en toda la organización. También eleva la gobernanza de la IA junto con otras prioridades de riesgo y cumplimiento.

Mecanismos de supervisión multifuncional: para traducir los requisitos de gobernanza en realidad operativa, las organizaciones necesitan puntos de contacto y procesos regulares. Las revisiones regulares de gobernanza evalúan el cumplimiento continuo, revisan nuevas iniciativas y abordan los desafíos emergentes. Con la participación de las partes interesadas, los líderes pueden incorporar los aportes de los equipos internos, los expertos externos y las comunidades afectadas. Los controles de auditoría y cumplimiento verifican que se estén cumpliendo los requisitos de gobernanza, mientras que los ciclos regulares de revisión adaptan la gobernanza a medida que evolucionan las capacidades de IA y surgen desafíos nuevos.

Creación de procesos escalables: a medida que las organizaciones pasan de un puñado de modelos de IA a docenas o cientos, los procesos de revisión manual se convierten rápidamente en cuellos de botella. La gobernanza escalable utiliza funciones como automatización, plantillas y listas de verificación estandarizadas, procesos de revisión escalonados que ajustan el rigor al riesgo, y recursos de autoservicio que ayudan a los equipos a cumplir con los requisitos de gobernanza sin requerir siempre la revisión por comité.

• Enfoques para organizar estructuras internas de liderazgo (centralizadas vs. distribuidas).
• Funciones clave: director de IA, junta de ética de IA, comités de gobierno, equipos interdisciplinarios.
• Integración de la gobernanza de la IA en los procesos existentes de cumplimiento, gestión de riesgos y gobernanza de TI.
• Sugerir mecanismos para integrar la supervisión interfuncional:
  • Reuniones periódicas de revisión de gobernanza.
  • Procesos de participación de las partes interesadas (equipos internos, expertos externos, comunidades afectadas).
  • Puntos de control de auditoría y cumplimiento
  • Ciclos de revisión regulares para adaptar la gobernanza a medida que evolucionan las capacidades de IA
• Construir procesos internos que escalen con la adopción de la IA en toda la organización.

Habilidades prácticas y carreras emergentes en la gobernanza de la IA

Habilidades necesarias y trayectorias profesionales

La mejor gobernanza de la IA requiere una combinación de conocimientos técnicos, razonamiento ético, experiencia legal y habilidades organizacionales. Este conjunto de habilidades único está creando nuevas trayectorias en las carreras para los profesionales que pueden unir los dominios técnicos y de políticas.

Competencias técnicas: los profesionales de gobierno necesitan comprender la IA y los sistemas de aprendizaje automático lo suficientemente bien como para evaluar los riesgos y evaluar los controles, incluso si no están construyendo modelos ellos mismos. Esto incluye las capacidades de evaluación de la calidad de los datos, habilidades de evaluación algorítmica y familiaridad con los enfoques de monitorización de modelos. Además, la alfabetización técnica otorga a los profesionales de la gobernanza una credibilidad importante ante los equipos de ciencia de datos, lo que les permite plantear las preguntas adecuadas durante las revisiones.

Conocimiento ético y legal: esto ayuda a abordar las compensaciones complejas de valores inherentes a la gobernanza de la IA. Los profesionales deben comprender los marcos éticos de la IA, estar familiarizados con los requisitos normativos de las jurisdicciones pertinentes y las metodologías de evaluación de riesgos, y analizar cómo los sistemas de IA pueden afectar a las personas y las comunidades. En resumen, es necesario comprender tanto los fundamentos filosóficos de la IA ética como las obligaciones legales prácticas que enfrentan las organizaciones.

Habilidades organizacionales: las habilidades organizacionales sólidas ayudan a los profesionales de la gobernanza a implementar marcos de manera efectiva. Las habilidades de desarrollo de políticas pueden traducir principios en procedimientos claros y accionables, mientras que las capacidades de gestión de los grupos de interés son clave para facilitar la colaboración entre funciones técnicas, empresariales y legales con diferentes prioridades y perspectivas. Las habilidades adicionales en colaboración interfuncional y gestión del cambio pueden ayudar a fomentar la participación productiva con equipos diversos, al mismo tiempo que facilitan la transición hacia la adopción de nuevas prácticas de gobernanza.

Trayectorias profesionales emergentes: la creciente demanda de experiencia en gobernanza de IA se traduce en un campo profesional en expansión.

• Especialistas en Gobernanza de la IA: estos profesionales diseñan, implementan y mantienen marcos de gobernanza.
• Responsables de ética de IA: encargados de proporcionar orientación ética, este puesto lidera los procesos de revisión de ética.
• Gestores de riesgos de IA: esta función identifica, evalúa y mitiga los riesgos relacionados con la IA.
• Analistas de políticas de IA: son responsables de monitorear los desarrollos regulatorios y garantizar el cumplimiento normativo.

Recursos para desarrollar experiencia: las certificaciones profesionales en gobernanza de IA, ética y gestión de riesgos proporcionan rutas de aprendizaje estructuradas. La participación en grupos industriales y organismos profesionales centrados en la IA responsable proporciona redes e intercambio de conocimientos. Por su parte, los programas de perfeccionamiento profesional y la educación continua que ofrecen las universidades y las organizaciones profesionales desarrollan las habilidades fundamentales en este campo. Por último, quizás el activo más importante es adquirir experiencia práctica a través de proyectos transversales que impliquen la implementación de la gobernanza de la IA.

Adaptación de la gobernanza a la IA generativa y de última generación

IA generativa y retos de la gobernanza

Los sistemas de IA generativa, en particular los modelos de lenguaje grande y los modelos de base, presentan desafíos de gobernanza que difieren de los sistemas de aprendizaje automático tradicionales. Como resultado, las organizaciones necesitan adaptar sus marcos de gobernanza para abordar estas características únicas. Algunos de los principales retos que deben abordar incluyen:

Alucinaciones y precisión factual: a diferencia de los sistemas de IA tradicionales con un comportamiento más predecible, los modelos de IA generativa pueden producir información que suena convincente, pero es incorrecta. Las investigaciones demostraron que las alucinaciones no se pueden eliminar por completo. Son una característica inherente de cómo los modelos de lenguaje grandes generan texto. Esto significa que los marcos de gobernanza deben abordar cómo las organizaciones verifican la precisión para diferentes casos de uso, qué avisos de responsabilidad se requieren y cuándo es necesaria una revisión humana antes de actuar sobre contenido generado por IA. Las técnicas como la generación aumentada por recuperación pueden reducir las alucinaciones al proporcionar un contexto factual, pero no pueden evitar completamente que los modelos introduzcan errores.

Preocupaciones sobre los derechos de autor y la propiedad intelectual: estas son una preocupación constante y tienden a surgir de cómo se entrenan los modelos y cómo generan contenido. La formación sobre materiales protegidos por derechos de autor plantea cuestiones legales que aún se resuelven en los tribunales, ya que los datos y modelos de terceros a menudo no autentican las fuentes originales ni las intenciones del creador, lo que dificulta rastrear la fuente verdadera. Las políticas de gobernanza deben abordar qué datos de entrenamiento son aceptables, cómo documentar las fuentes y qué información se debe divulgar al utilizar contenido generado por IA.

Requisitos de procedencia y transparencia de los datos: estos se vuelven más complejos con modelos de bases de datos capacitados en conjuntos de datos masivos. Las organizaciones necesitan entender con qué datos se entrenaron sus modelos, pero los modelos fundamentales pueden no divulgar los detalles de los datos de entrenamiento. Los marcos de gobernanza deben especificar qué documentación se requiere al utilizar modelos de terceros, así como la debida diligencia necesaria.

Autenticidad y divulgación del contenido: esto aborda cuándo y cómo las organizaciones deben divulgar que el contenido fue generado por IA. Los diferentes contextos, como las comunicaciones políticas o el trabajo académico, tienen diferentes requisitos. Las políticas de gobernanza deben especificar claramente los requisitos de divulgación para cada uno de sus diferentes casos de uso.

Desafíos de responsabilidad: estos problemas surgen de las amplias capacidades y posibles aplicaciones de los LLM y los modelos fundacionales. Un modelo básico se puede usar para docenas de propósitos diferentes en una organización, cada uno con diferentes perfiles de riesgo. La gobernanza debe determinar quién es responsable cuando, por ejemplo, el mismo modelo produce resultados beneficiosos en una aplicación y resultados problemáticos en otra.

Requisitos de transparencia: para la IA generativa, las organizaciones deben documentar las características de los datos de capacitación, las capacidades y limitaciones del modelo, los modos y riesgos de fallas conocidos y los casos de uso previstos y prohibidos. Esta documentación apoya la gobernanza interna y la transparencia externa.

Consideraciones sobre la privacidad de los datos: estas surgen de cómo los modelos generativos manejan la información en los prompts y las salidas. Los usuarios podrían incluir inadvertidamente información sensible en los prompts, y los modelos corren el riesgo de reproducir información privada a partir de datos de entrenamiento. Los marcos de gobernanza deben abordar las políticas de manejo de datos para solicitudes y finalizaciones, los controles técnicos para prevenir la exposición de datos sensibles y la educación del usuario sobre los riesgos de privacidad.

Desafíos de gobernanza del mundo real: la gobernanza de la IA enfrenta desafíos complejos del mundo real, por lo que es crucial que cualquier marco tenga una clara asignación de responsabilidades y procedimientos de evaluación de riesgos. Por ejemplo, piensa en un chatbot de atención al cliente que ofrece consejos médicos para los que no fue diseñado. En este escenario, ¿quién es responsable? ¿Es el desarrollador del modelo, la organización que lo implementa o el equipo de negocios que lo configuró? Cuando una herramienta de generación de código reproduce código protegido por derechos de autor, ¿qué responsabilidad asume la organización? Saber dónde se encuentran las responsabilidades puede facilitar una resolución más rápida de los problemas.

Marcos adaptativos: dada la velocidad del cambio dentro de la IA, la gobernanza debe evolucionar para mantener el ritmo. Las organizaciones deben implementar revisiones regulares de gobernanza provocadas por actualizaciones de modelos o cambios en capacidades, y monitorizar procesos que detecten nuevos patrones de uso o riesgos. También deberían existir mecanismos sólidos de retroalimentación que capturen los problemas de los usuarios y las comunidades afectadas, así como procesos para actualizar los procedimientos que garanticen que la gobernanza siga el ritmo de la evolución tecnológica.

Conclusión

La gobernanza de la IA es un proceso continuo e iterativo que debe evolucionar junto con la tecnología de IA, los requerimientos regulatorios y las capacidades organizativas. Una gobernanza eficaz se basa en marcos claros que traducen los principios éticos en políticas viables, una supervisión integral que equilibra la innovación con la gestión de riesgos y un compromiso organizativo que se extiende desde el liderazgo ejecutivo hasta los equipos técnicos.

Las organizaciones que invierten en una gobernanza estructurada de IA crean ventajas competitivas. Pueden implementar IA con confianza, sabiendo que tienen procesos sistemáticos para identificar y abordar los riesgos. Generan confianza entre los clientes, los reguladores y las partes interesadas a través de la transparencia y la responsabilidad. Reducen los riesgos legales y de reputación al abordar las consideraciones éticas y de cumplimiento de manera proactiva en lugar de reactiva.

A medida que los sistemas de IA se vuelven más capaces y se integran más profundamente en los negocios y la sociedad, la gobernanza pasa de ser opcional a esencial. Los marcos, los procesos y la experiencia que las organizaciones desarrollen hoy determinarán su capacidad para aprovechar los beneficios de la IA y gestionar sus riesgos de manera responsable.