Le Cadre de Système d'IA Databricks (DASF)

Résumé de l'architecture

Le Cadre de Système d'IA de Databricks (DASF) décrit les composants clés d'un système moderne d'IA/ML, aidant les organisations à évaluer les risques potentiels et à appliquer les meilleures pratiques de sécurité. En comprenant comment ces composants interagissent, les organisations peuvent mieux anticiper les vulnérabilités et appliquer les stratégies d'atténuation appropriées.

L'équipe de sécurité de Databricks a intégré ces apprentissages dans la plateforme d'intelligence de données Databricks avec des contrôles intégrés et des liens de documentation cartographiés pour la sécurité et la conformité.

Le système est organisé en 12 composants fondamentaux regroupés en quatre étapes clés. Chaque étape représente un pilier critique de workflows d'IA et ML sécurisés, gouvernés et opérationnellement efficaces.

I. Opérations de Données (Composants 1–4)

Les opérations de données se concentrent sur l'ingestion, la préparation et le catalogage des données. C'est la base de tout système ML digne de confiance, car la qualité du modèle dépend de la qualité et de la sécurité des données d'entrée.

1. Données brutes : Les données sont ingérées à partir de plusieurs sources (structurées, non structurées et semi-structurées). À ce stade, les données doivent être stockées en toute sécurité et l'accès doit être contrôlé.

2. Préparation des données : Cette étape implique le nettoyage, l'analyse exploratoire des données (EDA), les transformations et la caractérisation. Cela fait partie du processus d'extraction, de transformation et de chargement (ETL) et est essentiel pour dériver des caractéristiques d'entraînement significatives.

3. Jeux de données : Les jeux de données préparés sont divisés en ensembles d'entraînement, de validation et de test. Ces ensembles de données doivent être versionnés et reproductibles.

4. Catalogue : Un registre centralisé pour les actifs de données : caractéristiques, index, modèles et fonctions. Il favorise la découvrabilité, la lignée, la gouvernance et le partage sécurisé des données entre les équipes.

Atténuation des risques clés : Les contrôles d'accès, le chiffrement, le suivi de la lignée des données et la journalisation des audits aident à garantir que seuls les utilisateurs autorisés peuvent accéder, modifier ou partager des données.

II. Opérations de Modèle (Composants 5–8)

Les opérations de modèle impliquent l'expérimentation, l'évaluation et la gestion du cycle de vie des modèles ML et AI.

5. Algorithme : Algorithmes personnalisés ou préconstruits utilisés pour développer des modèles prédictifs.

6. Évaluation : Évaluation systématique des performances du modèle à l'aide de données de validation et de métriques définies.

7. Développer et évaluer le modèle : Cela inclut la construction de modèles à partir de zéro, l'utilisation d'API externes (par exemple, OpenAI), le réglage fin des modèles de base ou l'application de techniques d'apprentissage par transfert.

8. Gestion de modèle : Suivi centralisé et gouvernance des modèles, y compris le versioning, les pistes d'audit et la lignée pour la reproductibilité et la conformité.

Atténuation clé des risques : Le versioning intégré, le suivi des expériences, les contrôles d'accès et les pistes d'audit réduisent le risque de modifications non autorisées du modèle et soutiennent la traçabilité à travers les itérations du modèle.

III. Déploiement et Service de Modèle (Composants 9–10)

Ces composants se concentrent sur la livraison sécurisée des modèles en production et sur l'alimentation des applications d'IA.

9. Prompt/RAG (récupération augmentée de génération) : Permet un accès sécurisé et à faible latence aux données structurées et non structurées pour RAG et d'autres applications basées sur l'inférence.

10. Infrastructure de service : Comprend le service de modèles, les passerelles IA et les API qui gèrent les demandes et les réponses d'inférence à travers les agents et les applications IA.

Atténuation des risques clés : Les pratiques de déploiement de modèles sécurisés telles que l'isolement des conteneurs, la limitation du taux de requêtes, la validation des entrées et la surveillance du trafic réduisent la surface d'attaque et garantissent une disponibilité de service constante.

IV. Opérations et Plateforme (Composants 11–12)

Cette couche gère la sécurité de l'infrastructure, le contrôle d'accès et la fiabilité du système à travers les environnements.

11. Surveiller : Collecte en continu des journaux, des métriques et des télémétries pour la performance du modèle, l'audit de sécurité et l'observabilité du système.

12. Opérations et plateforme : Supporte un CI/CD sécurisé, des correctifs de plateforme, la gestion des vulnérabilités et une séparation stricte de l'environnement (développement, mise en scène, production).

Atténuations des risques clés : Le maintien de l'isolement de l'environnement, l'application régulière de correctifs, l'application du contrôle d'accès basé sur les rôles et la surveillance du comportement du système aident à maintenir les normes de sécurité et de conformité tout au long du cycle de vie de l'IA.

Conclusion

Cette architecture offre une vue complète des systèmes d'IA sécurisés, gouvernés et prêts à la production. Chaque composant a été évalué pour le risque, et les contrôles sont intégrés nativement dans la plateforme d'intelligence de données Databricks. Les organisations peuvent utiliser ceci comme référence pour accélérer l'évaluation de la sécurité et la mise en œuvre de leurs propres systèmes d'IA.