Comprender la seguridad de la IA

Si bien las organizaciones sienten presiones contrapuestas para acelerar el uso de la IA, la tecnología en rápida evolución trae nuevos niveles de preocupación y responsabilidad a sus prácticas de seguridad de datos. Los datos son uno de los activos más valiosos para cualquier organización, y deben protegerse para garantizar la seguridad de los sistemas de IA. Las organizaciones deben implementar protocolos de seguridad sólidos, métodos de cifrado, controles de acceso y mecanismos de monitoreo para proteger los activos de IA y mitigar los riesgos potenciales asociados con su uso. Pero gestionar la seguridad y el riesgo de la IA va aún más allá.  

La seguridad de la IA se refiere a las prácticas, las medidas y las estrategias implementadas para proteger los sistemas, los modelos y los datos de inteligencia artificial contra el acceso no autorizado, la manipulación o las actividades maliciosas. Las preocupaciones sobre el sesgo, las alucinaciones, la transparencia y la confianza, junto con el panorama normativo en constante cambio, dificultan la prueba y el monitoreo eficaces de los sistemas de IA.

Por más abrumador que parezca, la IA también puede ayudar en sus iniciativas de seguridad con la capacidad de automatizar las protecciones y corregir las vulnerabilidades. La IA se está utilizando para abordar cada fase de la ciberseguridad, lo que incluye lo siguiente: 

• Análisis de datos en tiempo real para la detección de fraudes y otras actividades maliciosas
• Pruebas adversariales para saber cómo se comporta un modelo cuando se le proporcionan entradas dañinas para guiar la mitigación
• Identificación/evaluación de riesgos con la capacidad de analizar grandes cantidades de datos para identificar riesgos potenciales
• Puntuación y categorización de riesgos con aprendizaje adaptativo y procesamiento de datos en tiempo real para evaluar y priorizar los riesgos
• Pruebas de sesgo para detectar disparidades en los resultados en diferentes grupos demográficos
• Reconocimiento de patrones para la verificación de identidad y la detección de amenazas
• Seguimiento automatizado para reducir los esfuerzos manuales y el error humano, lo que ayuda en el cumplimiento y la gestión de riesgos
• Predicción de riesgos mediante el modelado predictivo para analizar patrones y anomalías que los humanos podrían pasar por alto
• Detección de amenazas mediante el análisis del comportamiento y la respuesta mediante el aislamiento de los dispositivos afectados y el bloqueo de las actividades maliciosas

Riesgos comunes de seguridad de la IA   

A diferencia de la seguridad de TI tradicional, la IA introduce nuevas vulnerabilidades que abarcan los datos, los modelos, la infraestructura y la gobernanza. Es importante comprender los riesgos para cada componente de un sistema de IA:

• Riesgos de las operaciones de datos derivados de un mal manejo de los datos y de malas prácticas de gestión de datos, como controles de acceso insuficientes, falta de clasificación de los datos, mala calidad de los datos, falta de registros de acceso a los datos y envenenamiento de los datos.
• Riesgos de las operaciones de modelos, como experimentos que no se rastrean y no son reproducibles, deriva del modelo, hiperparámetros robados, bibliotecas maliciosas y envenenamiento de datos de evaluación.
• Implementación de modelos y riesgos del servicio, como la inyección de prompts, la inversión de modelos, la denegación de servicio, las alucinaciones de los modelos de lenguaje grandes y los ataques de caja negra.
• Riesgos de las operaciones y la plataforma, como la falta de gestión de vulnerabilidades, pruebas de penetración y recompensas por errores (bug bounty), el acceso privilegiado no autorizado, un ciclo de vida de desarrollo de software deficiente y el incumplimiento.

Comprensión de las vulnerabilidades específicas de las aplicaciones de IA   

También es importante comprender e identificar las vulnerabilidades relevantes para sus casos de uso específicos de IA en lugar de analizar todos los escenarios de amenaza posibles. Los diferentes modelos de implementación requieren diferentes controles. Para obtener una explicación de los diferentes modelos de implementación de IA y cómo alinear los componentes de sus sistemas de IA con los modelos implementados y los riesgos potenciales, descargue el Marco de Seguridad de IA de Databricks (DASF)

Impacto de los riesgos de seguridad en las organizaciones   

Los sistemas de IA son complejos y pueden operar con poca supervisión humana. Los problemas de seguridad de la IA pueden ser costosos de maneras que van mucho más allá de los ataques exitosos a la seguridad de los datos de los últimos años. El manejo inseguro de los datos aún puede revelar datos personales y presentar riesgos de privacidad, pero la falta de supervisión, pruebas y monitoreo puede llevar a consecuencias no deseadas, como la propagación de errores en etapas posteriores y dilemas éticos en torno a la desigualdad social y económica. El sesgo introducido durante el entrenamiento del modelo puede conducir a la discriminación y a prácticas injustas.

La falta de transparencia sobre cómo se construyen y supervisan los sistemas de IA puede generar desconfianza y resistencia a la adopción. La IA puede ser cooptada para difundir desinformación y manipular para obtener ventajas competitivas y económicas.

Y las responsabilidades del incumplimiento normativo están obligando a las organizaciones a mantenerse al día con las nuevas regulaciones a medida que avanza la tecnología. La regulación de IA más completa del mundo hasta la fecha acaba de ser aprobada por un considerable margen de votos en el Parlamento de la Unión Europea (UE), mientras que el gobierno federal y las agencias estatales de Estados Unidos han tomado recientemente varias medidas notables para establecer controles sobre el uso de la IA.

La extensa Orden Ejecutiva sobre el Desarrollo y Uso Seguro, Protegido y Confiable de la IA proporciona protecciones contra la discriminación, para la seguridad del consumidor y antimonopolio. Uno de los principales esfuerzos en el marco de la orden ejecutiva es que el Instituto Nacional de Estándares y Tecnología amplíe su Marco de Gestión de Riesgos de la Inteligencia Artificial para aplicarlo a la IA generativa. El recientemente formado Instituto de Seguridad de la IA de EE. UU. dentro del NIST apoyará el esfuerzo con la investigación y la experiencia de los miembros participantes, incluido Databricks.

Mejores prácticas para la IA

La implementación de marcos de IA seguros será de gran ayuda para proteger los sistemas de IA en el futuro, ya que prometen evolucionar con la tecnología y la regulación. El Marco de Seguridad de la IA de Databricks (DASF) lleva el marco del NIST varios pasos más allá al ayudar a comprender:

• Responsabilidades de las partes interesadas a lo largo del ciclo de vida del sistema de IA
• Cómo los diferentes modelos de implementación y casos de uso de la IA impactan la seguridad
• Los 12 componentes principales del sistema de IA y los controles de mitigación de riesgos asociados
• Riesgos relevantes para tus casos de uso y modelos, y sus impactos
• Cómo implementar controles priorizados por tipos de modelos y casos de uso

El DASF recomienda los siguientes siete pasos para gestionar los riesgos de la IA:

• Tener un modelo mental de un sistema de IA y los componentes que deben funcionar juntos.
• Comprender a las personas y los procesos involucrados en la creación y gestión de sistemas de IA y definir sus roles.
• Comprende qué implica la IA responsable y todos los posibles riesgos de la IA, y cataloga esos riesgos en todos los componentes de la IA.
• Comprender los diversos modelos de implementación de IA y las implicaciones de riesgo para cada uno.
• Comprenda las amenazas únicas para sus casos de uso de IA y asigne sus riesgos a esas amenazas de IA.
• Comprende los riesgos únicos que se aplican a tu caso de uso de IA y filtra esos riesgos en función de tus casos de uso.
• Identifica e implementa los controles que deben aplicarse según tu caso de uso y modelo de despliegue, asignando cada riesgo a los componentes y controles de la IA.

Beneficios de aprovechar la IA en la ciberseguridad   

El uso de la tecnología de IA en sus operaciones de SecOps generales puede ayudarlo a escalar sus operaciones de seguridad y gestión de riesgos para adaptarse a los crecientes volúmenes de datos y a las soluciones de IA cada vez más complejas. También puede disfrutar de beneficios en cuanto a costos y utilización de recursos gracias a la reducción de las tareas manuales de rutina y de los costos de auditoría y relacionados con el cumplimiento.

La eficiencia operativa se mejora con el análisis de comportamiento basado en IA y el reconocimiento de anomalías para mejorar los tiempos de respuesta y la precisión de la detección y mitigación de amenazas.

Al utilizar la IA para automatizar los procesos de gestión de la seguridad, puede obtener rápidamente visibilidad de su superficie de ataque. Los modelos de IA se pueden entrenar para el monitoreo continuo, el seguimiento e investigación de direcciones IP, la identificación y priorización de vulnerabilidades en función de su impacto para una mitigación proactiva.

La IA puede realizar análisis de inventario, etiquetado y seguimiento para la gestión del cumplimiento, y automatizar la aplicación de parches y las actualizaciones. Esto ayuda a reducir el error humano y agiliza la evaluación de riesgos y la generación de informes de cumplimiento.

La automatización y la IA también pueden proporcionar respuestas en tiempo real a los ciberataques y reducir las falsas alarmas, mientras aprenden continuamente sobre el cambiante panorama de amenazas.

El futuro de la seguridad de la IA   

Las tendencias emergentes en la seguridad de la IA prometen un cambio de las medidas reactivas a la fortificación proactiva. Estos cambios incluyen lo siguiente:    

• Los algoritmos de aprendizaje automático se usan para el análisis predictivo, ya que identifican patrones y la probabilidad de futuras amenazas y vulnerabilidades a partir de datos históricos.
• Detección de amenazas impulsada por IA mediante el análisis de comportamiento para identificar anomalías sospechosas y patrones de ataque.
• Orquestación y respuesta de seguridad automatizadas por IA (SOAR) para analizar rápidamente grandes cantidades de datos con el fin de generar tiques de incidentes, asignar equipos de respuesta e implementar medidas de mitigación.
• Pruebas de penetración impulsadas por IA, o “hacking ético”, para acelerar el análisis de amenazas potenciales.
• La integración de la IA en los marcos de confianza cero para la autenticación y autorización continuas.
• Toma de decisiones para sistemas de autorreparación que utilizan una lógica impulsada por la IA para encontrar las mejores soluciones.

También existen varias innovaciones que utilizan la IA generativa para la gestión de la seguridad, como la creación de “IA adversaria” para combatir los ataques impulsados por la IA y los modelos de GenAI para reducir los falsos positivos. También se está trabajando en la criptografía poscuántica para contrarrestar la amenaza inminente de las computadoras cuánticas.

La preparación para los futuros desafíos de seguridad implicará la evolución continua de las plataformas de seguridad con IA, y los profesionales del centro de operaciones de seguridad (SOC) necesitarán aprender nuevas técnicas y mejorar sus habilidades con la IA. En combinación con las tecnologías de evaluación de riesgos impulsadas por la IA, la cadena de bloques (blockchain) ayudará a garantizar registros de riesgos inmutables y a proporcionar pistas de auditoría transparentes y verificables.

Conclusión: Garantizar una implementación de IA segura y ética   

El rápido impulso que ha cobrado el uso de la IA ha hecho que las organizaciones se den cuenta de la necesidad de democratizar la tecnología y generar confianza en sus aplicaciones. Lograrlo requerirá barreras de protección eficaces, la responsabilidad de las partes interesadas y nuevos niveles de seguridad. Se están llevando a cabo importantes esfuerzos de colaboración para allanar el camino. La Agencia de Seguridad de Infraestructura y Ciberseguridad (CISA) desarrolló el Manual de colaboración en ciberseguridad de la Inteligencia Artificial (IA) del Joint Cyber Defense Collaborative (JCDC) con socios federales, internacionales y del sector privado, incluido Databricks.

Avanzar en la seguridad de los sistemas de IA requerirá inversión en capacitación y herramientas. El Marco de Seguridad de IA de Databricks (DASF) puede ayudar a crear un perfil de riesgo de extremo a extremo para sus implementaciones de IA, desmitificar la tecnología para sus equipos en toda la organización y proporcionar recomendaciones prácticas sobre los controles que se aplican a cualquier plataforma de datos e IA.

El uso responsable de la IA implica una educación cultural y de comportamiento, y un liderazgo que haga hincapié en la propiedad y el aprendizaje continuo. Puede encontrar eventos, seminarios web, blogs, podcasts y más sobre el papel cambiante de la seguridad de la IA en Eventos de seguridad de Databricks. Y consulte Aprendizaje de Databricks para ver los cursos de capacitación dirigidos por un instructor y a su propio ritmo.

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original