Gestión de riesgos de la IA: una guía completa para proteger los sistemas de IA

A medida que los líderes empresariales buscan aprovechar las tecnologías de IA en sus operaciones para impulsar la eficiencia y la innovación, a menudo tienen dificultades para comprender su perfil de riesgo único y los pasos necesarios para gestionar el riesgo de la IA de manera eficaz. La rápida adopción de sistemas de IA en todas las industrias ha creado oportunidades sin precedentes, pero también ha introducido desafíos complejos que requieren estrategias integrales de gestión de riesgos de la IA.

Al igual que los recursos de datos existentes, los sistemas de IA tienen vulnerabilidades de ciberseguridad, privacidad y cumplimiento normativo, pero también presentan preocupaciones éticas y consecuencias no deseadas, como el sesgo, la discriminación y la falta de confianza. Las organizaciones que implementan tecnologías de IA deben desarrollar enfoques sólidos de gestión de riesgos que aborden tanto las preocupaciones tradicionales de seguridad de TI como los riesgos únicos asociados con los sistemas de inteligencia artificial.

La complejidad de la gestión de riesgos de la IA se debe a múltiples factores: la opacidad de los modelos complejos de IA, la escala de los datos de entrenamiento necesarios, la velocidad del desarrollo de la IA y el panorama cambiante de los requisitos de cumplimiento normativo, incluida la Ley de IA de la UE. Los riesgos de la IA pueden manifestarse en cualquier etapa del ciclo de vida de la IA, desde la recopilación inicial de datos hasta la implementación de la IA y las operaciones continuas.

Sin controles de acceso adecuados, los sistemas de IA pueden ser explotados por actores maliciosos, lo que lleva a filtraciones de datos y a la manipulación de los modelos. Los usuarios internos pueden realizar IA en la sombra y utilizar modelos de IA generativa para encontrar datos confidenciales a los que no deberían tener acceso. Y sin la auditabilidad y la trazabilidad de los modelos de IA y sus datos, las organizaciones se enfrentan a riesgos de incumplimiento asociados con la IA.

En el Estudio comparativo sobre la privacidad de los datos de Cisco de 2024, el 91 % de las organizaciones reconoce que necesita hacer más para garantizar a sus clientes que sus datos se utilizan únicamente para fines previstos y legítimos en la IA. Pero a menudo no saben bien qué significa ese "más".

Con muchas aplicaciones potenciales de IA que afectan a empleados, clientes y socios, la responsabilidad de la gestión de riesgos de la IA se extiende más allá del departamento de TI. Sin una comprensión de cómo funcionan en conjunto los componentes de un sistema de IA y la capacidad de identificar riesgos potenciales y mitigar los presentes en sus casos de uso, las organizaciones pueden optar por el peor escenario posible y estancarse al intentar resolver todas las amenazas posibles. Necesitan una forma simplificada de gestionar el riesgo de la IA sin dejar de estar alineadas con las prioridades del negocio. Eso requiere un lenguaje común y la colaboración entre los equipos de negocio, datos, IA, gobernanza y seguridad para gestionar este equilibrio e innovar sin conflictos.

Comprensión de los marcos y las estrategias de gestión de riesgos de la IA

Sabiendo que las amenazas de seguridad de la IA no pueden verse a través del lente de los estándares de seguridad establecidos para un mundo determinista previo a la IA, han surgido varios marcos de gestión de riesgos de la IA para ayudar a impulsar a las organizaciones a abordar los riesgos y proteger sus datos de manera eficaz.

Los marcos comunes de seguridad de la IA, como el Marco de Gestión de Riesgos de la Inteligencia Artificial (AI RMF) del Instituto Nacional de Estándares y Tecnología (NIST), describen eficazmente los riesgos asociados a la protección de los sistemas de IA y proporcionan un enfoque estructurado para la identificación y evaluación de riesgos, pero no llegan a describir por completo cómo aplicar los controles y las mitigaciones necesarios para cada tipo de riesgo de la IA.

¿Qué es la estrategia de gestión de riesgos de IA?

Una estrategia eficaz de gestión de riesgos de la IA implica implementar prácticas integrales de gestión de riesgos en todo el ciclo de vida de la IA. Las organizaciones necesitan marcos de gestión de riesgos que aborden los riesgos potenciales en el desarrollo, la implementación y las operaciones de la IA. El marco de gestión AI RMF proporciona orientación sobre cómo gestionar los riesgos a través de estrategias de mitigación de riesgos y enfoques prácticos de gestión de riesgos.

¿Cuáles son los 4 tipos de riesgo de la IA?

Los riesgos de la IA se pueden clasificar en cuatro tipos principales:

Riesgos de seguridad: Incluye amenazas de seguridad de la IA, ciberamenazas y vulnerabilidades de seguridad que exponen los sistemas de IA a ataques.

Riesgos operativos: abarcan las fallas del sistema, la deriva del modelo y la degradación del rendimiento de los modelos de IA.

Riesgos éticos y de cumplimiento: Abordar el cumplimiento normativo, las implicaciones éticas y los resultados injustos de los sistemas de IA.

Riesgos de los datos: implican la calidad de los datos, la integridad de los datos, la protección de datos sensibles y los datos de entrenamiento sesgados.

Para desmitificar la gestión de los riesgos de la IA, el Marco de Seguridad de IA de Databricks (DASF) proporciona una hoja de ruta práctica con directrices para utilizar recomendaciones de control defensivo mientras se mantiene alineado con las prioridades del negocio. El DASF asigna los controles de IA de su marco de gestión de riesgos a 10 estándares y marcos de la industria, y adopta un enfoque holístico para la concientización y la mitigación, a fin de que los equipos de desarrollo de datos e IA colaboren con los equipos de seguridad a lo largo de su ciclo de vida de IA y machine learning.

Comprensión de los requisitos de cumplimiento y seguridad de la IA

La implementación de IA también aporta una dimensión regulatoria crucial a la gestión de riesgos, lo que enfatiza la necesidad de una supervisión cuidadosa y una gobernanza de IA responsable. Según la industria y la ubicación, las organizaciones deben garantizar el cumplimiento normativo con múltiples regulaciones, incluida la Ley de IA de la UE y otros riesgos emergentes derivados de la nueva legislación.

La Ley de IA de la UE representa un marco normativo histórico que clasifica los sistemas de IA según los niveles de riesgo e impone requisitos específicos para las aplicaciones de IA de alto riesgo. Las organizaciones que implementan sistemas de IA en Europa deben comprender estos requisitos e implementar marcos de gestión de riesgos adecuados para garantizar el cumplimiento normativo. Están surgiendo regulaciones similares en todo el mundo, lo que crea un panorama complejo para la gobernanza de la IA.

Los problemas clave de cumplimiento para los sistemas de IA involucran la calidad y confiabilidad de los datos, la seguridad de la IA, la resiliencia, la responsabilidad y la transparencia, la privacidad de los datos, y la equidad y el sesgo en los modelos de IA. Las organizaciones deben abordar estos requisitos de cumplimiento mediante prácticas integrales de gestión de riesgos de la IA que abarquen todo el ciclo de vida de la IA.

Los marcos de gobernanza de la IA deben abarcar políticas, procedimientos y controles que garanticen el desarrollo y la implementación responsables de la IA. Esto incluye establecer estructuras claras de rendición de cuentas, definir niveles de tolerancia al riesgo, implementar procesos de identificación de riesgos y mantener un monitoreo continuo del rendimiento de los sistemas de IA. La gestión eficaz de riesgos de la IA requiere la colaboración entre científicos de datos, ingenieros, equipos de seguridad y las partes interesadas del negocio para equilibrar la innovación con la gestión de riesgos.

Todo comienza con la gobernanza de datos, que da como resultado un mejor cumplimiento normativo de los requisitos como HIPAA, FedRAMP, GDPR o CCPA. La gobernanza de datos es fundamental para garantizar la calidad y la coherencia de los datos, el cumplimiento normativo y las políticas organizativas internas, así como la integridad de los datos, la seguridad de la IA, la privacidad de los datos, la auditoría y la gestión de riesgos. Una gobernanza de datos adecuada ayuda a prevenir problemas con los datos de entrenamiento sesgados y garantiza que los datos de entrada cumplan con los estándares de calidad.

Para el cumplimiento normativo, las organizaciones necesitan visibilidad para garantizar la capacidad de descubrimiento y la capacidad de catalogar datos de diversas fuentes utilizadas en modelos fundacionales de doble uso. Esto incluye el seguimiento de las fuentes de datos históricos, el monitoreo de las prácticas de recopilación de datos y la protección de los datos sensibles y los datos personales sensibles durante todo el proceso de desarrollo del sistema de IA. Alojado en el NIST, el recientemente formado Instituto de Seguridad de la IA de EE. UU. (USAISI) creará directrices para los mecanismos de evaluación del riesgo de la IA y desarrollará una guía técnica que los reguladores utilizarán en cuestiones como el establecimiento de umbrales para la categorización de modelos potentes, la autenticación de contenido, la aplicación de marcas de agua al contenido generado por IA, la identificación y mitigación de la discriminación algorítmica, la garantía de la transparencia y la habilitación de la adopción de una IA que preserve la privacidad.

Las organizaciones líderes en el uso de la IA están utilizando herramientas de IA para abordar los riesgos en los desafíos operativos comunes y los problemas sistemáticos, como la gestión de cambios en el cumplimiento normativo, la reducción de falsos positivos, la prevención de fraudes y AML, y la corrección del error humano. Automatizan el monitoreo de sus sistemas de IA para garantizar datos de entrenamiento de alta calidad y modelos de machine learning justos e imparciales mediante el monitoreo continuo del rendimiento del sistema de IA.

¿Puede la IA hacer la gestión de riesgos?

Sí, las tecnologías de IA pueden mejorar significativamente las capacidades de gestión de riesgos en todas las organizaciones. Las aplicaciones de IA pueden ayudar en la gestión de riesgos al identificar riesgos potenciales, realizar evaluaciones de riesgo periódicas y desarrollar estrategias de mitigación de riesgos que se adapten a los cambiantes panoramas de amenazas. Los algoritmos de Machine Learning pueden detectar patrones y anomalías que los humanos podrían pasar por alto, lo que hace que la gestión de riesgos de la IA sea más eficaz a través de la supervisión continua y los procesos automatizados de evaluación de riesgos.

Las herramientas de IA se destacan en el procesamiento de grandes cantidades de datos históricos para identificar riesgos potenciales antes de que se materialicen. A través del análisis predictivo y el reconocimiento de patrones, los sistemas de IA pueden marcar vulnerabilidades de seguridad, detectar ciberamenazas y alertar a los equipos de seguridad sobre riesgos emergentes en tiempo real. Este enfoque proactivo para la gestión de riesgos permite a las organizaciones mitigar los riesgos antes de que afecten las operaciones o comprometan la información sensible.

Sin embargo, depender de la IA para la gestión de riesgos también introduce nuevos riesgos relacionados con la IA que deben abordarse a través de marcos integrales de gestión de riesgos de la IA. Las organizaciones deben asegurarse de que las herramientas de IA utilizadas para la gestión de riesgos sean seguras, imparciales y operen dentro de marcos de gobernanza adecuados. Esto requiere prácticas de gestión de riesgos que abarquen tanto los riesgos tradicionales como los riesgos únicos asociados con los propios sistemas de IA.

Implementación de prácticas eficaces para la gestión de riesgos de la IA

Las prácticas de gestión de riesgos requieren una comprensión de los componentes de un sistema de IA y los riesgos genéricos de la IA, así como los riesgos asociados con la IA relevantes para casos de uso particulares. La gestión exitosa de riesgos de la IA depende de la implementación de procesos integrales de gestión de riesgos que aborden todas las etapas del desarrollo y la implementación de la IA. DASF propone siete pasos para simplificar este proceso:

1. Tenga un modelo mental de un sistema de IA y los componentes que deben funcionar juntos durante el desarrollo y la implementación de sistemas de IA. Comprender la arquitectura de los sistemas de IA ayuda a identificar riesgos potenciales en los diferentes componentes.
2. Comprende a las personas y los procesos involucrados en la creación y gestión de sistemas de IA y define sus roles, incluidos los científicos de datos, los ingenieros y los equipos de seguridad. Una definición clara de los roles respalda una gestión eficaz de los riesgos de la IA al establecer la responsabilidad de las iniciativas de gestión de riesgos.
3. Comprender lo que implica la IA responsable y todos los posibles riesgos de la IA, y catalogar esos riesgos relacionados con la IA en todos los componentes de la IA para una gestión eficaz de los riesgos de la IA. Esto incluye documentar los riesgos potenciales relacionados con la seguridad de la IA, la calidad de los datos, el sesgo y las implicaciones éticas.
4. Comprenda los diversos modelos de implementación de la IA y las implicaciones de riesgo para cada uno a lo largo del ciclo de vida de la IA. Los diferentes escenarios de implementación introducen diferentes riesgos de seguridad y requieren estrategias personalizadas de mitigación de riesgos.
5. Comprender las amenazas únicas para sus casos de uso de IA y mapear sus riesgos asociados a esas amenazas de IA, considerando los riesgos potenciales de las amenazas de seguridad de la IA, las amenazas cibernéticas y las vulnerabilidades de seguridad.
6. Comprenda los riesgos de IA únicos que se aplican a su caso de uso de IA y filtre aquellos riesgos asociados con la IA en función de sus casos de uso y su tolerancia al riesgo. Las organizaciones deben equilibrar los requisitos de la gestión de riesgos con los objetivos del negocio.
7. Identifica e implementa los controles que se deben aplicar según tu caso de uso y modelo de implementación, asignando cada riesgo a los componentes y controles de la IA a través de enfoques prácticos de gestión de riesgos. Esto incluye el desarrollo de estrategias de mitigación de riesgos específicas para tus aplicaciones de IA.

Con los controles implementados, las herramientas impulsadas por IA pueden ayudar a las organizaciones a detectar y mitigar riesgos más rápido que las medidas de seguridad tradicionales. Con el entrenamiento adversario, los algoritmos de aprendizaje automático pueden detectar patrones y anomalías para la detección activa de amenazas y proporcionar monitoreo continuo, respuesta automatizada a incidentes, análisis de comportamiento y predicción de amenazas como parte de los procesos integrales de gestión de riesgos.

¿Qué es la regla del 30 % en la IA?

La regla del 30 % en la gestión de riesgos de la IA se refiere al principio de que las organizaciones deben dedicar aproximadamente el 30 % de sus esfuerzos de gestión de riesgos de la IA al monitoreo y la evaluación continuos de los sistemas de IA después de su implementación. Esto garantiza que el rendimiento del sistema de IA se mantenga alineado con los resultados previstos y ayuda a identificar los riesgos potenciales que surgen durante el uso en producción.

La gestión eficaz de riesgos de IA requiere una evaluación continua de los riesgos en lugar de una evaluación única durante el desarrollo de la IA. La regla del 30 % enfatiza que las prácticas de gestión de riesgos de IA deben extenderse más allá de las fases iniciales de desarrollo e implementación de sistemas de IA. Las organizaciones deben asignar recursos significativos para realizar evaluaciones de riesgo periódicas, monitorear la deriva de los modelos de IA, detectar riesgos emergentes y actualizar las estrategias de mitigación de riesgos a medida que evolucionan las tecnologías de IA y los panoramas de amenazas.

Este enfoque continuo para la gestión de riesgos de la IA ayuda a las organizaciones a detectar amenazas de seguridad, fallas del sistema y consecuencias no deseadas antes de que se conviertan en incidentes mayores. Al dedicar recursos a los esfuerzos continuos de gestión de riesgos, las organizaciones pueden mantener la integridad de los datos, garantizar la seguridad de la IA y abordar los riesgos de forma proactiva en lugar de reactiva. La regla del 30 % respalda las prácticas de IA responsable al garantizar que los sistemas de IA reciban una supervisión constante durante todo su ciclo de vida operativo.

No se puede tener IA sin datos de alta calidad, y no se pueden tener datos de alta calidad sin gobernanza de datos y supervisión. Una gobernanza y supervisión eficaces garantizan:

• Fácil descubrimiento y colaboración fluida mediante la unificación de los activos de datos e IA, y la capacidad de catalogar las fuentes de recopilación de datos de diversos sistemas.
• Proteja los activos de datos con un enfoque centralizado para aplicar controles de acceso detallados, y políticas de auditoría y gobernanza para proteger los datos sensibles y la información sensible.
• Datos de entrenamiento de alta calidad y modelos de machine learning justos e imparciales con monitoreo impulsado por IA que identifica errores de forma proactiva, realiza análisis de causa raíz y mantiene los estándares de calidad de los pipelines de datos y de IA a través de controles de integridad de los datos.

Abordar los riesgos de la IA generativa y las amenazas de seguridad

A diferencia de la seguridad de TI tradicional, la IA introduce nuevas vulnerabilidades que abarcan los datos, los modelos, la infraestructura y la gobernanza. En el DASF, identificamos 62 riesgos de IA distintos en los 12 componentes de un sistema de IA. A un nivel general, estos riesgos potenciales incluyen:

Riesgos de las operaciones de datos, como controles de acceso insuficientes, falta de clasificación de datos, mala calidad de los datos, falta de registros de acceso a los datos y envenenamiento de datos que afectan la calidad de los datos de entrenamiento.

Riesgos de las operaciones del modelo, como experimentos que no se pueden rastrear ni reproducir, deriva del modelo, hiperparámetros robados, bibliotecas maliciosas y envenenamiento de datos de evaluación que afectan a los modelos de IA.

Riesgos de la implementación y el servicio de modelos, como la inyección de prompts, la inversión de modelos, la denegación de servicio (DOS), las alucinaciones de los LLM y los ataques de caja negra durante la implementación de la IA.

Riesgos de operaciones y de plataforma, como la falta de gestión de vulnerabilidades, pruebas de penetración y bug bounty, acceso con privilegios no autorizado, un ciclo de vida de desarrollo de software (SDLC) deficiente y problemas de cumplimiento normativo.

Las implicaciones de estos riesgos de la IA abarcan una gama de consecuencias no deseadas y costosas:

• Violaciones de seguridad y privacidad, ya que los datos enviados a un LLM externo podrían filtrarse o resumirse, lo que crea amenazas de seguridad para la IA.
• El envío no intencionado de datos sensibles y datos personales sensibles por parte de los usuarios a sistemas de IA externos
• Pérdida de datos, violación de la confidencialidad de los datos, robo de modelos y riesgos de seguridad
• Incumplimiento de las regulaciones existentes y en evolución, como la Ley de IA de la UE y otros requisitos de cumplimiento normativo.
• Sistemas de IA orientados al cliente que envían datos relacionados con una organización distinta, lo que genera resultados injustos.

La gestión de la desinformación y el sesgo también se vuelve fundamental con los modelos de IA generativa y de aprendizaje automático. El monitoreo impulsado por IA puede identificar errores de forma proactiva, realizar análisis de causa raíz y mantener los estándares de calidad tanto de las canalizaciones de datos como de IA. Las herramientas de IA también pueden ayudar en la predicción de riesgos, combinando la IA y el análisis predictivo para proporcionar información en tiempo real y recomendaciones prácticas para la toma de decisiones empresariales, lo que respalda una gestión eficaz del riesgo de la IA.

Recursos y herramientas para la implementación de la gestión de riesgos de IA

Para fortalecer la gestión de riesgos de la IA, los equipos deben implementar estas medidas junto con las políticas organizacionales existentes y garantizar una supervisión adecuada para construir sistemas de IA seguros, resilientes y alineados con los objetivos comerciales, a la vez que se mitigan las amenazas en evolución en un mundo cada vez más impulsado por la IA. Estas estrategias de gestión de riesgos son esenciales para el desarrollo responsable de la IA y para implementar los sistemas de IA de forma segura:

• Autentique y autorice el acceso a sus datos para proteger la información sensible, los datos sensibles y los datos de entrada del acceso no autorizado y las amenazas de seguridad.
• Automatice y compruebe la calidad de los datos antes de introducirlos en el entrenamiento del modelo para garantizar su calidad, evitar datos de entrenamiento sesgados y mantener la integridad de los datos durante todo el desarrollo de la IA.
• Gobierna, versiona y etiqueta tus datos mientras rastreas el linaje para mantener la integridad de los datos, garantizar la calidad de los datos y cumplir con los requisitos de cumplimiento normativo.
• Aplica flujos de trabajo de aprobación para evitar que los modelos de IA se entrenen con fuentes de datos no deseadas, lo que reduce los riesgos asociados con los procesos de entrenamiento de la IA y garantiza un desarrollo responsable de la IA.
• Realice un seguimiento de los artefactos del modelo, los datasets, las versiones y las partes interesadas para lograr la confianza, la explicabilidad y la responsabilidad en el desarrollo de sistemas de IA, apoyando las prácticas de gobernanza de la IA y gestión de riesgos.
• Automatice el análisis de pérdidas de las pruebas después del (re)entrenamiento evaluando el comportamiento del modelo en entradas de prueba específicas para identificar riesgos potenciales, detectar anomalías y garantizar que el rendimiento del sistema de IA cumpla con las expectativas.
• Cifre, autentique y autorice los modelos y endpoints de IA mientras registra, audita y supervisa el acceso para la seguridad de la IA, a fin de proteger los sistemas de inteligencia artificial de las ciberamenazas y las vulnerabilidades de seguridad.
• Aísle los LLM y otros modelos de IA de los sistemas internos y externos para mitigar los riesgos de las vulnerabilidades de seguridad, contener los riesgos potenciales y evitar que las fallas del sistema se propaguen en cascada.
• Implemente MLOps con HITL mediante la aplicación de permisos, versiones, etiquetas, propiedad y aprobaciones para los modelos de IA de producción en el despliegue de sistemas de IA, lo que garantiza prácticas de IA responsables a lo largo del ciclo de vida de la IA.
• Aloje los modelos de IA detrás de una puerta de enlace para limitar la velocidad del filtrado de seguridad, la detección de información de identificación personal (PII), la moderación de temas y el filtrado de palabras clave, abordando las amenazas de seguridad de la IA y protegiendo los datos personales sensibles.
• Audite y monitoree el acceso a los datos y a los modelos de IA en cada etapa del ciclo de vida de la IA mediante el monitoreo continuo, la realización de evaluaciones de riesgo periódicas y la implementación de procesos integrales de gestión de riesgos.

La implementación de estos controles prácticos de gestión de riesgos requiere la colaboración entre científicos de datos, ingenieros, equipos de seguridad y personal de gobernanza. Las organizaciones deben establecer marcos claros de gestión de riesgos que definan las responsabilidades, los procedimientos de escalamiento y los protocolos de respuesta para los diferentes tipos de riesgos de la IA. Estos marcos deben alinearse con la tolerancia al riesgo organizacional más amplia y respaldar tanto los objetivos de innovación como los de gestión de riesgos.

El uso compartido y la colaboración seguros de datos permiten a los líderes empresariales obtener información precisa, oportuna y relevante para la toma de decisiones estratégicas. La Plataforma de Inteligencia de Datos de Databricks proporciona un único punto de acceso para consolidar y consultar de forma segura datos de múltiples fuentes para extraer rápidamente información de datos estructurados y no estructurados a través de aplicaciones de IA, manteniendo al mismo tiempo la seguridad de la IA y la privacidad de los datos.

Al implementar una gobernanza de IA sólida, las instituciones financieras cultivan una base de confianza en sus datos históricos, lo que permite a los sistemas de IA analizar conjuntos de datos de modelos de IA grandes y complejos de forma rápida y precisa. Los sistemas de IA confiables requieren esfuerzos integrales de gestión de riesgos en toda la organización, desde la recopilación inicial de datos hasta el desarrollo, la implementación y las operaciones continuas de la IA.

Equilibrio entre innovación y riesgo en la inteligencia artificial

La gobernanza responsable de la IA requiere que la organización asuma la responsabilidad y el control sobre sus datos y modelos de IA con una supervisión continua e integral, controles de privacidad y gobernanza de la IA durante todo el proceso de desarrollo e implementación de la IA. La responsabilidad ya no puede asignarse únicamente al CIO para equilibrar la innovación y la seguridad de la IA mientras se alinea con las prioridades del negocio. Debe haber un entendimiento común entre los equipos de negocio, datos, seguridad, privacidad y gobernanza para liberar todo el potencial de la IA a través de prácticas de IA responsables.

Los sistemas de inteligencia artificial deben desarrollarse con principios de desarrollo responsable de la IA que prioricen la transparencia, la equidad y la responsabilidad. Las organizaciones que implementan prácticas de gestión de riesgos de la IA deben centrarse en realizar evaluaciones de riesgos periódicas, implementar estrategias de mitigación de riesgos y mantener sistemas de IA confiables que ofrezcan valor comercial mientras gestionan los riesgos de manera eficaz.

Databricks está colaborando con el NIST en el Consorcio del Instituto de Seguridad de la Inteligencia Artificial para establecer una nueva ciencia de la medición que permitirá la identificación de mediciones y metodologías probadas, escalables e interoperables para promover el desarrollo de sistemas de IA confiables y su uso responsable. Esta colaboración respalda los marcos más amplios de gestión de riesgos de la IA y los principios del Marco de Gestión de Riesgos de la IA (AI RMF).

Los riesgos emergentes afectarán el desarrollo y el uso tanto de los modelos de IA autónomos como de los sistemas de IA agénticos que Databricks ve que sus clientes utilizan cada vez más para crear aplicaciones de IA con Agents específicos de un dominio. El error humano cuesta miles de millones a las empresas reguladas y esas pérdidas pueden atribuirse a problemas de datos y al volumen de datos históricos que se debe supervisar. La IA puede ayudar en los esfuerzos de gestión de riesgos y cumplimiento normativo al detectar anomalías, tendencias y patrones que los humanos podrían no detectar y al generar alertas basadas en un conjunto de reglas.

Utilice el Marco de Seguridad de IA de Databricks para obtener orientación esencial para desarrollar de forma segura, implementar sistemas de IA y mantener modelos de IA a escala a través de marcos integrales de gestión de riesgos de IA. El marco ayuda a las organizaciones a garantizar que sus modelos de IA permanezcan seguros y continúen aportando valor al negocio, mientras se abordan los riesgos relacionados con la IA y se implementa una gestión de riesgos práctica en todas las tecnologías de IA. Este enfoque integral de la gestión de riesgos de la IA ayuda a las organizaciones a equilibrar la innovación con la mitigación de las amenazas de seguridad y el cumplimiento normativo.

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original