Presentazione di Private Network Gateway

L'elaborazione serverless (serverless compute) di Databricks è completamente gestita, intelligente e senza versioni, consentendo agli utenti di concentrarsi sulla risoluzione dei problemi aziendali anziché sul dimensionamento, l'ottimizzazione e la gestione di cluster e infrastrutture. Tuttavia, per molti team, l'ostacolo principale rimasto era la rete: fornire all'elaborazione serverless un percorso privato verso database, applicazioni e sistemi all'interno delle proprie reti. Nelle nostre interviste ai clienti, oltre il 75% ha affermato che l'attuale configurazione di rete e la complessità nel gestire le modifiche della rete erano il motivo principale per cui specifici carichi di lavoro rimanevano sull'elaborazione classica invece di passare al serverless.

Oggi annunciamo la Public Preview di Private Network Gateway (PNG) su Azure e la Private Preview su AWS. PNG offre ai tuoi carichi di lavoro serverless un'unica connessione alla tua rete e, da lì, puoi controllare l'accesso a tutto ciò che la tua rete può già raggiungere.

• Semplifica l'ingestione tra i tuoi database privati: usa Lakeflow Connect su serverless compute per ingerire dati da database supportati nella tua VNet/VPC e negli ambienti on-premise collegati
• Connetti agenti IA a servizi privati: un agente creato su Databricks può chiamare un server MCP privato ospitato da te
• Usa i tuoi repository di pacchetti: Serverless può installare librerie Python da un repository PyPI, Artifactory o Nexus privato all'interno della tua rete
• Instrada l'uscita attraverso il tuo firewall: invia il traffico attraverso il firewall esistente o il servizio di ispezione del contenuto, in modo che l'uscita venga filtrata e registrata in modo nativo con i tuoi strumenti
• Mantieni un IP sorgente coerente e di tua proprietà: le tue app SaaS come Salesforce possono vedere un IP sorgente che ti appartiene

Ciascuna di queste operazioni richiedeva in passato una distribuzione coordinata tra i team di rete, sicurezza e amministrazione, e diverse nuove distribuzioni come bilanciatori di carico e VM proxy. Con PNG, configuri un'unica connessione e le risorse raggiungibili dalla tua rete diventano raggiungibili dal serverless. PNG si adatta in base alla rete, non per singolo endpoint.

Private Network Gateway ha semplificato notevolmente il modo in cui colleghiamo serverless compute alle origini dati su Azure e on-premise: non dobbiamo più configurare un servizio Private Link e un bilanciatore di carico per ogni connessione. Inoltre porta una reale flessibilità alle nostre operazioni serverless: possiamo riutilizzare una subnet di workspace esistente, rendendo più semplici le approvazioni del firewall, mantenendo al contempo il controllo esatto su quali destinazioni sono raggiungibili.—Fabiano Seki, Tech Lead, Data Engineering, Banco Bradesco

La sfida con la rete serverless

L'elaborazione classica viene eseguita all'interno della propria rete virtuale, quindi accedere ai dati è semplice: si esegue il peering delle reti utilizzando le primitive cloud standard. Al contrario, il serverless viene eseguito in una rete gestita da Databricks, il che da un lato rimuove il carico operativo, ma dall'altro significa che le tue risorse private hanno bisogno di un percorso esplicito.

Serverless Private Link fornisce questo percorso e rimane lo strumento ideale per i servizi gestiti dal cloud come AWS S3 o Azure Data Lake Storage. Ma per le risorse che ospiti e gestisci direttamente, come database, cluster Kafka o API interne, la connessione significava spesso creare un endpoint privato, un bilanciatore di carico e una VM proxy dedicati per ciascuna risorsa, oltre a un continuo coordinamento tra i team di amministrazione Databricks, amministrazione cloud e sicurezza di rete. Per poche risorse, questo può essere gestibile. Ma quando un team necessita del serverless per accedere a decine di database, API e servizi interni tra VNet, reti in peering e ambienti on-premise, l'approccio risorsa per risorsa diventa rapidamente un collo di bottiglia, rendendo il processo complesso, lento e manuale.

Come funziona PNG

La configurazione è semplice e immediata: deleghi una subnet nella tua rete virtuale a Databricks e PNG stabilisce un gateway gestito e crittografato dall'elaborazione serverless a tale subnet. Configuri il gateway all'interno di una Network Connectivity Configuration (NCC), lo stesso oggetto a livello di account che usi già per la rete serverless. Puoi quindi collegare la NCC ai tuoi workspace e i carichi di lavoro serverless supportati potranno raggiungere le destinazioni private che autorizzi.

Non ci sono VM gateway da distribuire, aggiornare o scalare nella tua rete. Databricks crea ed esegue il gateway per te. Mantieni il pieno controllo della tua rete.

Prima di PNG, l'abilitazione della connettività privata per Databricks Serverless richiedeva un'impostazione di rete e un coordinamento notevoli. PNG ha semplificato l'intero processo, ridotto l'overhead operativo e aiutato a eseguire i job più velocemente, rendendo il serverless molto più facile da integrare nel nostro ambiente esistente.—Primož Gale, Lead Technical Architect, NLB

Mantieni il controllo dei confini di rete

PNG mantiene il confine di rete sotto il tuo controllo:

• Il gateway è solo tuo: fornisce un percorso dedicato verso la tua rete, non un'appliance condivisa che trasporta il traffico di altri clienti. L'isolamento è garantito tramite incapsulamento e regole di sicurezza di rete.
• Il gateway applica i controlli di accesso a livello di workspace prima dell'uscita di qualsiasi traffico.
• Oltre la subnet, le tue tabelle di instradamento, i gruppi di sicurezza di rete, i risolutori DNS e le appliance di sicurezza decidono cosa può raggiungere il serverless, nello stesso modo in cui lo fanno per il resto della tua rete.

Puoi scegliere quanto traffico viene trasportato da PNG, attraverso due modalità:

1. specific_destinations invia solo i nomi di dominio pienamente qualificati che elenchi tramite PNG. Tutto l'altro traffico mantiene il suo percorso normale. Usa questa modalità quando desideri un controllo preciso sulle risorse raggiungibili dal serverless.
2. all_traffic instrada il traffico in uscita attraverso la tua rete, tranne per quello che corrisponde a un percorso Private Link o endpoint di servizio più specifico, che mantiene il suo instradamento nativo. Usa questa modalità per ispezionare il traffico in uscita generale attraverso il tuo firewall o per inviarlo tramite i tuoi indirizzi IP.

PNG è un'aggiunta complementare. Si affianca alla connettività privata e ai controlli del traffico in uscita che usi già per Databricks senza modificarli, consentendoti di abilitarlo o rimuoverlo senza influire sulla tua configurazione esistente.

Prima di Private Network Gateway, la gestione dei segreti e la connettività di rete per i carichi di lavoro serverless richiedevano molteplici integrazioni e un coordinamento continuo. Oggi, con PNG, possiamo accedere direttamente e in sicurezza ai servizi interni e gestire in modo centralizzato il traffico in uscita tramite i nostri controlli esistenti, rendendo le operazioni più semplici, veloci e facili da governare.—Michel Schwandner, Platform Engineer, Julius Blum GmbH

Inizia a usare PNG

Private Network Gateway è ora disponibile in Public Preview su Azure e in Private Preview su AWS. Il supporto per Google Cloud è in fase di sviluppo.

Inizia subito:

• Private Network Gateway - Documentazione per Azure
• Per AWS, contatta il team di supporto Databricks per richiedere l'iscrizione

Per saperne di più sulle novità relative alla sicurezza della piattaforma Databricks, consulta Le novità in materia di sicurezza e conformità della piattaforma Databricks al Data + AI Summit 2026.

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale