Connetti i dati di Amazon S3 a Databricks con le autorizzazioni IAM delegate

L'importanza di una connettività S3 più semplice

La connessione ad Amazon S3 è uno dei passaggi di configurazione più importanti per ottenere valore da Databricks. Le posizioni esterne forniscono la connessione regolamentata tra il tuo bucket S3 e Unity Catalog, consentendo a Databricks di leggere e scrivere dati in modo sicuro. Questa configurazione è fondamentale per i flussi di lavoro comuni, dall'ingestione e le pipeline fino all'analisi e alla governance. Inoltre, sta diventando sempre più importante man mano che si diffonde l'adozione di LTAP (Lake Transactional/Analytical Processing), una nuova architettura progettata per unificare i dati transazionali e analitici su un'unica base regolamentata, senza i tradizionali costi generali di pipeline, repliche ed ETL.

Oggi, i clienti autorizzano la connettività S3 creando una posizione esterna, un oggetto di Unity Catalog che combina un percorso di archiviazione con una credenziale di archiviazione per autorizzare l'accesso in lettura e scrittura al bucket S3.

Fino ad ora, la connessione a S3 è stata spesso una delle parti più complesse per iniziare a usare Databricks. La configurazione automatica aiuta i clienti a dedicare meno tempo alla gestione dell'infrastruttura cloud e più tempo a creare data intelligence a partire dai propri dati.

Come funziona la connettività S3 automatizzata

La connessione di un bucket Amazon S3 a Databricks richiede la creazione di una posizione esterna, ovvero una connessione registrata in Unity Catalog che regola il modo in cui Databricks legge e scrive i tuoi dati. In precedenza, ciò significava creare policy di attendibilità IAM di 140 righe, configurare le autorizzazioni del bucket S3, distribuire modelli CloudFormation e passare continuamente dalla console AWS a Databricks per registrare tutto correttamente.

Ora, abbiamo ridotto il tutto a pochi semplici clic:

Cosa succede dietro le quinte?

Questo nuovo flusso è supportato dalla delega temporanea di AWS IAM. Dopo aver specificato il bucket S3 e il livello di accesso, ti verrà richiesto di accedere ad AWS per verificare le tue autorizzazioni. Se disponi di un accesso sufficiente, potrai concedere a Databricks un'autorizzazione temporanea e limitata nel tempo per eseguire il provisioning delle risorse richieste per tuo conto. Gli utenti che non dispongono di autorizzazioni AWS sufficienti possono richiederle direttamente al proprio amministratore AWS all'interno del flusso.

Una volta impostata la delega, Databricks gestisce automaticamente il resto:

• Credenziale di archiviazione: viene creato un ruolo IAM con autorizzazioni basate sul principio del privilegio minimo e la policy di attendibilità tra account viene configurata correttamente.
• Posizione esterna: una posizione esterna completamente configurata e registrata in Unity Catalog, mappata sul bucket specificato. Auto Loader e File Events vengono abilitati automaticamente.
  Al termine della configurazione, l'autorizzazione scade automaticamente. Databricks non mantiene mai un accesso permanente al tuo account AWS e tutte le azioni intraprese durante il provisioning vengono registrate in AWS CloudTrail.

Cosa significa questo in pratica

Il lavoro di configurazione manuale che prima richiedeva l'uso di più console ora avviene in un'unica sessione, direttamente dall'area di lavoro di Databricks. Il provisioning automatizzato elimina le cause di errore più comuni, come policy di attendibilità errate, autorizzazioni del bucket mancanti o ARN configurati in modo errato, garantendo al contempo che ogni ruolo IAM creato segua i principi del privilegio minimo in linea con gli standard di sicurezza aziendali.

Man mano che si diffonde l'adozione dell'architettura LTAP, una connettività S3 più semplice rimuove una barriera infrastrutturale chiave, fornendo una destinazione di archiviazione cloud regolamentata in cui i dati operativi possono essere immediatamente interrogati dai motori analitici senza richiedere pipeline separate.

Scopri di più

Nella tua area di lavoro, vai su Catalog Explorer → External Locations → Create (/explore/locations/create) per connettere automaticamente il tuo bucket S3 con la configurazione automatica.

Per maggiori informazioni:

• Scopri di più sulle opzioni di configurazione delle posizioni esterne
• Da monolite a Lakebase a LTAP: ripensare il database a partire dall'archiviazione
• Scopri di più sulla delega temporanea di AWS IAM

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale