Présentation de Private Network Gateway

Le calcul serverless de Databricks est entièrement géré, intelligent et sans version, ce qui permet aux utilisateurs de se concentrer sur la résolution de leurs problèmes métier plutôt que sur le dimensionnement, l'optimisation et la gestion des clusters et de l'infrastructure. Cependant, pour de nombreuses équipes, l'étape la plus complexe restait la gestion du réseau : offrir au calcul serverless un accès privé aux bases de données, applications et systèmes situés au sein de leurs propres réseaux. Lors de nos entretiens avec les clients, plus de 75 % ont déclaré que leur configuration réseau actuelle et la complexité liée aux modifications réseau étaient la principale raison pour laquelle certaines charges de travail restaient sur le calcul classique au lieu de passer au serverless.

Aujourd'hui, nous annonçons la public preview de Private Network Gateway (PNG) sur Azure et la private preview sur AWS. PNG fournit à vos charges de travail serverless une seule connexion à votre réseau, à partir de laquelle vous contrôlez l'accès à tout ce que votre réseau peut déjà atteindre.

• Simplifiez l'ingestion à travers vos bases de données privées : utilisez Lakeflow Connect sur le calcul serverless pour ingérer à partir de bases de données prises en charge sur votre VNet/VPC et vos environnements sur site connectés
• Connectez vos agents IA à des services privés : un agent que vous développez sur Databricks peut appeler un serveur MCP privé que vous hébergez
• Utilisez vos propres dépôts de paquets : le mode serverless peut installer des bibliothèques Python à partir d'un dépôt privé PyPI, Artifactory ou Nexus au sein de votre réseau
• Acheminez le trafic sortant via votre propre pare-feu : envoyez le trafic à travers votre pare-feu ou service d'inspection de contenu existant, afin que le trafic sortant soit filtré et journalisé en natif avec vos propres outils
• Conservez une adresse IP source cohérente vous appartenant : vos applications SaaS comme Salesforce peuvent voir une adresse IP source qui vous appartient

Chacune de ces opérations nécessitait auparavant un déploiement coordonné entre les équipes réseau, sécurité et administration, ainsi que plusieurs nouveaux déploiements tels que des équilibreurs de charge et des VM proxy. Avec PNG, vous configurez une seule connexion et les ressources accessibles par votre réseau deviennent accessibles depuis le calcul serverless. PNG évolue par réseau, et non par point de terminaison.

Private Network Gateway a considérablement simplifié la façon dont nous connectons le calcul serverless aux sources de données sur Azure et sur site — plus besoin de monter un service de liaison privée et un équilibreur de charge pour chaque connexion. Cela apporte également une réelle souplesse à nos opérations serverless : nous pouvons réutiliser un sous-réseau d'espace de travail existant, ce qui facilite les approbations de pare-feu, tout en conservant un contrôle précis sur les destinations accessibles.—Fabiano Seki, Tech Lead, Data Engineering, Banco Bradesco

Le défi du réseau serverless

Le calcul classique s'exécute au sein de votre propre réseau virtuel, l'accès à vos données est donc direct : vous établissez un peering de réseaux à l'aide des primitives cloud standards. À l'inverse, le calcul serverless s'exécute dans un réseau géré par Databricks, ce qui élimine la charge opérationnelle d'un côté, mais implique aussi que vos ressources privées nécessitent un chemin d'accès explicite.

Serverless Private Link fournit ce chemin d'accès et reste le bon outil pour les services gérés par le cloud tels qu'AWS S3 ou Azure Data Lake Storage. Mais pour les ressources que vous hébergez et gérez vous-même, comme les bases de données, les clusters Kafka ou les API internes, la connexion nécessitait souvent un point de terminaison privé, un équilibreur de charge et une VM proxy distincts pour chaque ressource — sans compter les allers-retours entre votre administrateur Databricks, votre administrateur cloud et votre équipe de sécurité réseau. Pour un petit nombre de ressources, cela reste gérable. Mais lorsqu'une équipe a besoin du serverless pour accéder à des dizaines de bases de données, d'API et de services internes sur plusieurs VNets, réseaux appairés et environnements sur site, l'approche par ressource devient rapidement un goulot d'étranglement, rendant le processus fastidieux, lent et exigeant en interventions manuelles.

Comment fonctionne PNG

La configuration est simple et directe : vous déléguez un sous-réseau de votre réseau virtuel à Databricks et PNG établit une passerelle chiffrée et gérée entre le calcul serverless et ce sous-réseau. Vous configurez la passerelle au sein d'une configuration de connectivité réseau (NCC), le même objet au niveau du compte que vous utilisez déjà pour le réseau serverless. Vous pouvez ensuite rattacher la NCC à vos espaces de travail, et les charges de travail serverless prises en charge peuvent accéder aux destinations privées que vous autorisez.

Vous n'avez aucune VM passerelle à déployer, patcher ou faire évoluer dans votre réseau. Databricks crée et gère la passerelle pour vous. Vous conservez le contrôle de votre réseau.

Avant PNG, l'activation de la connectivité privée pour Databricks Serverless nécessitait une configuration réseau et une coordination importantes. PNG a simplifié l'ensemble du processus, réduit la charge opérationnelle et nous a aidés à exécuter les tâches plus rapidement — rendant le serverless beaucoup plus facile à intégrer dans notre environnement existant.—Primož Gale, Lead Technical Architect, NLB

Vous conservez le contrôle de la frontière réseau

PNG maintient la frontière réseau sous votre contrôle :

• Votre passerelle vous appartient : elle fournit un accès dédié à votre réseau et n'est pas un équipement partagé véhiculant le trafic d'autres clients. L'isolement est assuré par encapsulation et par des règles de sécurité réseau.
• La passerelle applique des contrôles d'accès au niveau de l'espace de travail avant même que le trafic ne sorte.
• Au-delà du sous-réseau, vos tables de routage, groupes de sécurité réseau, résolveurs DNS et équipements de sécurité déterminent ce que le calcul serverless peut atteindre, de la même manière qu'ils le font pour le reste de votre réseau.

Vous choisissez le volume de trafic acheminé par PNG grâce à deux modes :

1. specific_destinations envoie uniquement les noms de domaine pleinement qualifiés que vous spécifiez via PNG. Tout le reste du trafic suit son itinéraire habituel. Utilisez ce mode lorsque vous souhaitez un contrôle précis sur les ressources accessibles par le calcul serverless.
2. all_traffic achemine le trafic sortant à travers votre réseau, à l'exception des éléments correspondant à un chemin Private Link ou à un point de terminaison de service plus spécifique, qui conservent leur route native. Utilisez ce mode pour inspecter l'ensemble du trafic sortant via votre propre pare-feu ou pour le faire sortir via vos propres adresses IP.

PNG s'ajoute à votre architecture. Il s'installe aux côtés des mécanismes de connectivité privée et de contrôle du trafic sortant que vous utilisez déjà pour Databricks, sans les modifier. Vous pouvez donc l'activer ou le supprimer sans impacter votre configuration existante.

Avant Private Network Gateway, la gestion des secrets et de la connectivité réseau pour les charges de travail serverless nécessitait de nombreuses intégrations et une coordination continue. Aujourd'hui, avec PNG, nous pouvons accéder en toute sécurité aux services internes directement et gérer de façon centralisée le trafic sortant via nos contrôles existants, ce qui rend les opérations plus simples, plus rapides et plus faciles à gouverner.—Michel Schwandner, Platform Engineer, Julius Blum GmbH

Démarrer avec PNG

Private Network Gateway est désormais disponible en Public Preview sur Azure et en Private Preview sur AWS. La prise en charge de Google Cloud est en cours de développement.

Lancez-vous dès aujourd'hui :

• Documentation Azure - Private Network Gateway
• Pour AWS, contactez votre équipe de compte Databricks pour en savoir plus sur l'inscription

Pour en savoir plus sur les nouveautés en matière de sécurité de la plateforme Databricks, consultez la page Nouveautés concernant la sécurité et la conformité de la plateforme Databricks lors du Data + AI Summit 2026.

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original