AI responsable: gobernanza, principios y guía práctica

AI responsable: gobernanza, principios y guía práctica

La AI responsable es la práctica de diseñar, desarrollar e implementar sistemas de inteligencia artificial que sean éticos, justos, transparentes y responsables a lo largo de todo su ciclo de vida. Combina salvaguardas técnicas, estructuras de gobernanza y supervisión humana para mantener la confiabilidad de los modelos de AI, al tiempo que protege la privacidad y la seguridad de los datos. Las prácticas de AI responsable abarcan la recopilación de datos, el entrenamiento de modelos, la implementación y el monitoreo continuo, lo que brinda a los científicos de datos, líderes empresariales y equipos de gobernanza de AI un marco compartido para gestionar el riesgo a medida que las herramientas de AI generativa se integran en las funciones comerciales principales.

Qué significa la AI responsable para la inteligencia artificial

Definir el concepto de AI responsable

La AI responsable requiere prácticas éticas, justas y responsables en cada etapa del ciclo de vida del desarrollo de AI. La supervisión humana y la equidad se convierten en requisitos de diseño desde el primer día, no en una idea de último momento.

Definir el alcance de la aplicación

La AI responsable se aplica tanto a los modelos de machine learning como a las herramientas de AI generativa y los sistemas autónomos. Sectores como la salud y las finanzas dependen cada vez más de la AI responsable porque los errores conllevan consecuencias de gran impacto.

Resumen de beneficios y perjuicios para las partes interesadas

Sin prácticas de AI responsable, los sistemas de AI pueden generar sesgos perjudiciales o exponer datos confidenciales. La AI responsable garantiza que los sistemas de AI sean seguros y beneficiosos para la sociedad, generando confianza con los reguladores y las personas afectadas por las decisiones automatizadas.

Principios de AI y consideraciones éticas

Principios fundamentales de AI

Los principios clave de la AI responsable incluyen la responsabilidad y la equidad, junto con la transparencia, la privacidad y la supervisión humana. Los Principios de AI de la OECD enfatizan la responsabilidad en la gobernanza de AI y fueron adoptados por más de 40 países.

Expectativas de equidad

Los sistemas de AI deben tratar a todos de manera equitativa, independientemente de su origen. Las prácticas de AI responsable ayudan a mitigar el sesgo algorítmico, y los equipos diversos en el desarrollo de AI identifican posibles perjuicios que los equipos homogéneos pasan por alto.

Requisitos de explicabilidad

La explicabilidad permite que los sistemas de AI muestren su razonamiento a través de técnicas de AI explicable que revelan los factores de toma de decisiones. Las situaciones de alto riesgo, como la concesión de préstamos o la contratación, requieren explicaciones claras de las decisiones de la AI.

Obligaciones de privacidad

La AI responsable incluye la protección de los datos personales y la privacidad a lo largo de todo el ciclo de vida del modelo. Las salvaguardas de privacidad reducen el riesgo de exponer datos confidenciales vinculados a usuarios individuales.

Desarrollo de AI y modelos de AI: mejores prácticas técnicas

Pipelines de datos seguros

El desarrollo de AI comienza con pipelines de datos seguros que cifran y controlan el acceso a los datos de entrenamiento. Los científicos de datos aplican los controles adecuados en cada punto de ingesta para evitar el acceso no autorizado.

Documentar los datasets de entrenamiento de modelos

Documentar los datasets de entrenamiento de modelos, incluida la procedencia de los datos históricos, proporciona a los equipos un registro para auditar cuando el comportamiento de un modelo requiere investigación.

Técnicas de mitigación de sesgos

Los marcos de AI responsable exigen auditorías y pruebas rutinarias de sesgo, comparando los resultados del modelo entre diferentes grupos demográficos. La mitigación de sesgos, una disciplina fundamental dentro de MLOps, ayuda a garantizar predicciones precisas.

Pruebas de robustez adversarial

Los sistemas de AI confiables requieren medidas rigurosas de consistencia y seguridad, incluidas pruebas de robustez adversarial que evalúan cómo responden los modelos a entradas manipuladas.

Gobernanza, gestión de riesgos y sistemas de AI

Roles de propiedad y responsabilidad

La responsabilidad requiere estructuras de gobernanza claras para los sistemas de AI, comenzando con la asignación de un propietario para cada modelo en producción.

Comité de gobernanza multifuncional

Las organizaciones necesitan estructuras claras de gobernanza de datos para la supervisión de la AI. Un comité multifuncional que abarque las áreas legal, de ciencia de datos y de seguridad aporta las diversas perspectivas que requiere la AI responsable, y los comités de ética de AI revisan los proyectos de AI propuestos antes de su lanzamiento.

Proceso de evaluación de riesgos del modelo

Un proceso de evaluación de riesgos del modelo analiza el potencial de daño de cada sistema de AI antes de su implementación, evaluando la sensibilidad de los datos y la presencia de supervisión humana. Esta guía de gestión de riesgos de AI detalla el proceso en profundidad.

Registros de auditoría inmutables para decisiones

Las pistas de auditoría son esenciales para investigar errores en las decisiones de la AI, y los registros inmutables garantizan que no se puedan alterar. Las organizaciones deben supervisar el rendimiento y la responsabilidad de los sistemas de AI a través de un monitoreo continuo.

La Ley de AI de la EU y las tendencias regulatorias globales

Asociar sistemas con las categorías de riesgo de la Ley de AI de la EU

La Ley de AI de la EU clasifica los sistemas de AI en niveles de riesgo, desde riesgo mínimo hasta inaceptable. Las clasificaciones de alto riesgo activan los requisitos más estrictos de supervisión humana y monitoreo.

Preparar la documentación técnica requerida

La transparencia respalda el cumplimiento de regulaciones como la Ley de AI de la EU, que exige documentación que cubra el diseño del sistema, los datos de entrenamiento y el uso previsto. Estas mejores prácticas de gobernanza de AI describen cómo desarrollar el programa subyacente.

Monitorear los avances regulatorios globales

Se espera que surjan regulaciones más estrictas para la AI a nivel global a medida que más gobiernos sigan el ejemplo de la EU. Mantenerse informado ayuda a las organizaciones a tomar decisiones fundamentadas antes de que el cumplimiento sea obligatorio.

AI generativa: riesgos, políticas y controles

Restringir la generación de contenido confidencial

Las herramientas de AI generativa pueden producir contenido confidencial o perjudicial si no cuentan con medidas de protección, por lo que las organizaciones deben definir políticas de salida claras. Estas políticas deben extenderse a las herramientas basadas en la Generación aumentada por recuperación (RAG), que fundamenta las respuestas en los documentos de origen recuperados.

Probar modelos para detectar filtraciones de datos de entrenamiento

Probar los modelos de AI generativa para detectar filtraciones de datos de entrenamiento confirma que el modelo no reproducirá datos confidenciales encontrados durante el entrenamiento.

Implementar guardrails para los resultados del modelo

Los guardrails, que incluyen filtros de contenido y capas de validación de salida, brindan a las organizaciones un punto de control en tiempo real entre un modelo de AI generativa y el usuario final.

Realizar pruebas adversariales de red-team

Las pruebas adversariales de red-team someten a las herramientas de AI generativa a intentos deliberados de provocar resultados perjudiciales antes de que los usuarios reales puedan hacerlo. El monitoreo continuo después del lanzamiento detecta desviaciones en el comportamiento que las pruebas previas al lanzamiento no pueden anticipar.

Seguridad de datos, privacidad y seguridad de modelos

Cifrar datos en reposo

La seguridad de los datos para la AI responsable comienza con el cifrado de datos en reposo, protegiendo los datos de entrenamiento almacenados, los pesos del modelo y los registros de inferencia.

Cifrar datos en tránsito

El cifrado de datos en tránsito protege la información a medida que se mueve entre los pipelines de datos, los entornos de entrenamiento y la infraestructura de servicio.

Implementar controles estrictos de acceso a los modelos

Los controles de acceso estrictos, aplicados a través de plataformas de gobernanza como Unity Catalog, limitan quién puede consultar, modificar o volver a entrenar un modelo de AI en producción.

Anonimizar datasets de entrenamiento

La anonimización de los datasets de entrenamiento elimina o enmascara la información de identificación personal antes de que llegue a un modelo, lo que respalda las obligaciones de privacidad.

Realizar auditorías de seguridad periódicas

Las auditorías de seguridad periódicas verifican que los controles de seguridad de datos sigan siendo efectivos a medida que los sistemas de AI evolucionan y surgen nuevas vulnerabilidades.

Herramientas, marcos y auditoría de sistemas de AI

Adoptar los marcos de NIST u OECD

El Marco de Gestión de Riesgos de AI de NIST, publicado en 2023, brinda a las organizaciones un enfoque estructurado para identificar y mitigar el riesgo de la AI, complementando los Principios de AI de la OECD.

Publicar model cards para mayor transparencia

Las model cards documentan el uso previsto, el rendimiento y las limitaciones conocidas de un modelo en un formato estandarizado, priorizando la transparencia para los usuarios finales.

Integrar verificaciones de equidad automatizadas

Las verificaciones de equidad automatizadas integradas en el pipeline de machine learning marcan posibles sesgos antes de que un modelo llegue a producción, trabajando en conjunto con la revisión humana.

Programar auditorías independientes de terceros

Las auditorías independientes de terceros proporcionan una perspectiva externa que los equipos internos no pueden replicar por completo, lo que ayuda a confirmar que un programa de gobernanza cumple con el estándar establecido.

Cómo los líderes empresariales impulsan la AI responsable

Establecer una estrategia de AI responsable a nivel ejecutivo

Los líderes empresariales impulsan la AI responsable de manera más efectiva cuando la estrategia se origina a nivel ejecutivo, en lugar de delegarse por completo en los equipos técnicos.

Asignar presupuesto para programas de gobernanza

Implementar una AI responsable sigue siendo difícil a pesar de la creciente concientización, en gran parte porque las organizaciones no financian lo suficiente los programas de gobernanza necesarios para poner en práctica sus principios.

Requerir evaluaciones de riesgo de proveedores

Las evaluaciones de riesgo de proveedores extienden la gobernanza de AI responsable a los servicios de AI de terceros que una organización integra desde una plataforma de AI empresarial, incluida la divulgación de las fuentes de datos de entrenamiento y los resultados de las pruebas de sesgo.

Definir métricas de rendimiento relacionadas con la confianza

Las métricas de rendimiento relacionadas con la confianza, que cubren la equidad, la explicabilidad y el tiempo de respuesta ante incidentes, ayudan a los líderes empresariales a realizar un seguimiento del progreso de la AI responsable junto con otros objetivos operativos.

Lista de verificación práctica para implementar modelos de AI responsable

Realizar una auditoría de sesgo previa a la implementación

Cada modelo debe someterse a una auditoría de sesgo previa al despliegue que evalúe los resultados en diferentes grupos demográficos antes de su lanzamiento.

Crear una Model Card y documentación

Toda la documentación completa, incluida una Model Card, debe acompañar a cada modelo que pase del desarrollo de AI a producción.

Implementar pipelines de monitoreo continuo

Los pipelines de monitoreo continuo realizan un seguimiento del comportamiento del modelo después del lanzamiento, detectando la desviación del rendimiento (drift) y los sesgos emergentes casi en tiempo real.

Capacitar al personal en ética y gobernanza de AI

La capacitación del personal en ética y gobernanza de AI garantiza que los equipos comprendan tanto los principios como los controles que los respaldan.

Documentar un plan de respuesta a incidentes

Un plan de respuesta a incidentes define cómo la organización investiga, contiene y comunica las fallas de AI.

Verificar el cumplimiento de la Ley de AI de la EU

Antes del despliegue, los equipos deben verificar el cumplimiento de la Ley de AI de la EU y cualquier otra regulación que rija la categoría de riesgo del sistema.

Futuras direcciones para avanzar en la AI responsable

Invertir en investigación de seguridad de AI

La investigación sobre la seguridad de la AI se está expandiendo para mejorar la confiabilidad del sistema, posicionando a las organizaciones por delante de los requisitos regulatorios y del riesgo competitivo.

Promover estándares intersectoriales

Los estándares intersectoriales ofrecen a los líderes de AI un vocabulario compartido para las prácticas de AI responsable en todos los sectores. Las comprobaciones éticas automatizadas podrían convertirse en un estándar para 2030, siguiendo la trayectoria del análisis de seguridad automatizado.

Apoyar la actualización profesional de la fuerza laboral para la gobernanza de AI

A medida que se expanden los roles de gobernanza de AI responsable, las organizaciones necesitan programas de actualización profesional para la fuerza laboral que preparen al personal existente para roles de toma de decisiones durante la próxima década.

Preguntas frecuentes sobre la AI responsable

¿Qué es la AI responsable?

La AI responsable es la práctica de crear, desplegar y monitorear sistemas de AI de acuerdo con los principios de equidad, transparencia, responsabilidad, privacidad y supervisión humana, aplicados a lo largo de todo el ciclo de vida del desarrollo de AI.

¿Cuáles son los principios clave de la AI responsable?

Los principios clave de la AI responsable incluyen la responsabilidad, la equidad, la transparencia, la privacidad, la seguridad y la supervisión humana. Marcos de trabajo como los Principios de AI de la OECD y el Marco de Gestión de Riesgos de AI del NIST traducen estos principios en requisitos de gobernanza.

¿Cómo afecta la Ley de AI de la EU a las prácticas de AI responsable?

La Ley de AI de la EU clasifica los sistemas de AI por nivel de riesgo e impone requisitos de documentación, supervisión humana y monitoreo que se adaptan a ese riesgo.

¿Cuál es la diferencia entre la gobernanza de AI y la ética de AI?

La ética de AI define los principios con los que se compromete una organización, como la equidad y los derechos humanos, mientras que la gobernanza de AI proporciona las estructuras y los procesos que hacen cumplir esos principios en la práctica.

¿Cómo monitorean las organizaciones los sistemas de AI para cumplir con la AI responsable?

Las organizaciones monitorean los sistemas de AI a través de pipelines de monitoreo continuo, registros de auditoría inmutables, comprobaciones de equidad automatizadas y auditorías independientes programadas que detectan desviaciones (drift), sesgos y problemas de seguridad.

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original