Il Framework di Sistema AI Databricks (DASF)

Riassunto dell'architettura

Il Framework del Sistema AI di Databricks (DASF) delinea i componenti chiave di un moderno sistema AI/ML, aiutando le organizzazioni a valutare i potenziali rischi e ad applicare le migliori pratiche di sicurezza. Comprendendo come questi componenti interagiscono, le organizzazioni possono meglio prevedere le vulnerabilità e applicare le appropriate strategie di mitigazione.

Il team di sicurezza di Databricks ha incorporato queste conoscenze nella Piattaforma di Intelligenza dei Dati di Databricks con controlli integrati e collegamenti documentati per la sicurezza e la conformità.

Il sistema è organizzato in 12 componenti fondamentali raggruppati in quattro fasi chiave. Ogni fase rappresenta un pilastro critico per flussi di lavoro di AI e ML sicuri, governati ed efficienti dal punto di vista operativo.

I. Operazioni sui dati (Componenti 1-4)

Le operazioni sui dati si concentrano sull'ingestione, la preparazione e la catalogazione dei dati. Questa è la base di qualsiasi sistema ML affidabile, poiché la qualità del modello dipende dalla qualità e dalla sicurezza dei dati di input.

1. Dati grezzi: I dati vengono acquisiti da molteplici fonti (strutturate, non strutturate e semi-strutturate). A questo stadio, i dati devono essere conservati in modo sicuro e con accesso controllato.

2. Preparazione dei dati: Questo passaggio coinvolge la pulizia, l'analisi esplorativa dei dati (EDA), le trasformazioni e la featurizzazione. Fa parte del processo di estrazione, trasformazione, caricamento (ETL) ed è essenziale per derivare caratteristiche di addestramento significative.

3. Set di dati: I set di dati preparati vengono suddivisi in set di addestramento, validazione e test. Questi set di dati devono essere versionati e riproducibili.

4. Catalogo: Un registro centralizzato per gli asset di dati: caratteristiche, indici, modelli e funzioni. Supporta la scopribilità, la genealogia, la governance e la condivisione sicura dei dati tra i team.

Mitigazione chiave del rischio: I controlli di accesso, la crittografia, il tracciamento della genealogia dei dati e la registrazione delle attività di audit aiutano a garantire che solo gli utenti autorizzati possano accedere, modificare o condividere i dati.

II. Operazioni del Modello (Componenti 5-8)

Le operazioni del modello coinvolgono sperimentazione, valutazione e gestione del ciclo di vita dei modelli ML e AI.

5. Algoritmo: Algoritmi personalizzati o pre-costruiti utilizzati per sviluppare modelli predittivi.

6. Valutazione: Valutazione sistematica delle prestazioni del modello utilizzando dati di convalida e metriche definite.

7. Sviluppo e valutazione del modello: Questo include la costruzione di modelli da zero, l'utilizzo di API esterne (ad es., OpenAI), il fine-tuning dei modelli di base o l'applicazione di tecniche di apprendimento trasferito.

8. Gestione del modello: Tracciamento e governance centralizzati dei modelli, inclusi versioning, tracce di audit e genealogia per la riproducibilità e la conformità.

Misure di mitigazione dei rischi chiave: Il versioning integrato, il tracciamento degli esperimenti, i controlli di accesso e le tracce di audit riducono il rischio di modifiche non autorizzate al modello e supportano la tracciabilità attraverso le iterazioni del modello.

III. Distribuzione e Servizio del Modello (Componenti 9-10)

Questi componenti si concentrano sulla consegna sicura dei modelli alla produzione e sull'alimentazione delle applicazioni AI.

9. Prompt/RAG (retrieval augmented generation): Consente un accesso sicuro e a bassa latenza a dati strutturati e non strutturati per RAG e altre applicazioni basate su inferenza.

10. Infrastruttura di servizio: Comprende il servizio del modello, i gateway AI e le API che gestiscono le richieste e le risposte di inferenza attraverso agenti AI e applicazioni.

Mitigazione chiave del rischio: Le pratiche sicure di distribuzione del modello, come l'isolamento dei contenitori, la limitazione del tasso di richieste, la validazione degli input e il monitoraggio del traffico, riducono la superficie di attacco e garantiscono una disponibilità del servizio costante.

IV. Operazioni e Piattaforma (Componenti 11-12)

Questo strato gestisce la sicurezza dell'infrastruttura, il controllo degli accessi e l'affidabilità del sistema in tutti gli ambienti.

11. Monitoraggio: Raccoglie continuamente log, metriche e telemetria per le prestazioni del modello, l'audit di sicurezza e l'osservabilità del sistema.

12. Operazioni e piattaforma: Supporta CI/CD sicuro, patching della piattaforma, gestione delle vulnerabilità e una rigorosa separazione degli ambienti (sviluppo, staging, produzione).

Misure di mitigazione dei rischi chiave: Mantenere l'isolamento dell'ambiente, applicare regolarmente le patch, applicare il controllo degli accessi basato sui ruoli e monitorare il comportamento del sistema aiutano a mantenere gli standard di sicurezza e conformità durante tutto il ciclo di vita dell'IA.

Conclusione

Questa architettura fornisce una visione completa dei sistemi AI sicuri, governati e pronti per la produzione. Ogni componente è stato valutato per il rischio, e i controlli sono incorporati nativamente nella Piattaforma di Intelligenza dei Dati Databricks. Le organizzazioni possono utilizzare questo come riferimento per accelerare la valutazione della sicurezza e l'implementazione dei loro propri sistemi AI.