Einführung von Private Network Gateway

Databricks Serverless-Compute ist vollständig verwaltet, intelligent und versionslos. So können sich Nutzer auf die Lösung von Geschäftsproblemen konzentrieren, anstatt Cluster und Infrastruktur zu dimensionieren, zu tunen und zu verwalten. Der aufwendigste Schritt für viele Teams war bisher jedoch das Networking: Serverless-Compute einen privaten Pfad zu Datenbanken, Anwendungen und Systemen innerhalb des eigenen Netzwerks bereitzustellen. In unseren Kundeninterviews gaben mehr als 75 % an, dass ihre aktuelle Netzwerkkonfiguration und die Komplexität von Netzwerkänderungen der Hauptgrund dafür waren, dass bestimmte Workloads auf Classic Compute verblieben, anstatt zu Serverless zu wechseln.

Heute kündigen wir die Public Preview von Private Network Gateway (PNG) auf Azure sowie die Private Preview auf AWS an. PNG bietet Ihren Serverless-Workloads eine einzige Verbindung in Ihr Netzwerk – und von dort aus steuern Sie den Zugriff auf alles, was Ihr Netzwerk bereits erreichen kann.

• Vereinfachen Sie die Ingestion über Ihre privaten Datenbanken hinweg: Nutzen Sie Lakeflow Connect auf Serverless-Compute, um Daten aus unterstützten Datenbanken über Ihr VNet/VPC und verbundene On-Premises-Umgebungen hinweg zu erfassen
• Verbinden Sie KI-Agenten mit privaten Diensten: Ein Agent, den Sie auf Databricks erstellen, kann einen von Ihnen gehosteten privaten MCP-Server aufrufen
• Nutzen Sie Ihre eigenen Paket-Repositories: Serverless kann Python-Bibliotheken aus einem privaten PyPI-, Artifactory- oder Nexus-Repository in Ihrem Netzwerk installieren
• Leiten Sie ausgehenden Datenverkehr über Ihre eigene Firewall: Leiten Sie Datenverkehr durch Ihre bestehende Firewall oder Ihren Content-Inspection-Dienst, sodass Egress nativ mit Ihren eigenen Tools gefiltert und protokolliert wird
• Nutzen Sie eine konsistente, kundeneigene Quell-IP: Ihre SaaS-Apps wie Salesforce können eine Quell-IP sehen, die Ihnen gehört

Jeder dieser Schritte erforderte früher eine abgestimmte Bereitstellung zwischen Netzwerk-, Sicherheits- und Admin-Teams sowie mehrere neue Bereitstellungen wie Load Balancer und Proxy-VMs. Mit PNG konfigurieren Sie eine einzige Verbindung, und die Ressourcen, die Ihr Netzwerk erreichen kann, werden auch von Serverless aus erreichbar. PNG skaliert pro Netzwerk, nicht pro Endpunkt.

Private Network Gateway hat die Anbindung von Serverless-Compute an Datenquellen auf Azure und On-Premises erheblich vereinfacht – wir müssen nicht mehr für jede Verbindung einen Private Link Service und einen Load Balancer einrichten. Es bringt auch echte Flexibilität in unseren Serverless-Betrieb: Wir können ein bestehendes Workspace-Subnetz wiederverwenden, was Firewall-Freigaben erleichtert, während wir weiterhin genau steuern, welche Ziele erreichbar sind.—Fabiano Seki, Tech Lead, Data Engineering, Banco Bradesco

Die Herausforderung beim Serverless-Networking

Classic Compute läuft in Ihrem eigenen virtuellen Netzwerk, daher ist der Zugriff auf Ihre Daten unkompliziert: Sie verbinden die Netzwerke über Standard-Cloud-Primitiven per Peering. Serverless hingegen läuft in einem von Databricks verwalteten Netzwerk. Das eliminiert zwar einerseits den betrieblichen Aufwand, bedeutet aber auch, dass Ihre privaten Ressourcen einen expliziten Pfad benötigen.

Serverless Private Link bietet diesen Pfad und bleibt das richtige Tool für Cloud-verwaltete Dienste wie AWS S3 oder Azure Data Lake Storage. Für Ressourcen, die Sie selbst hosten und verwalten – wie Datenbanken, Kafka-Cluster oder interne APIs –, bedeutete die Verbindung jedoch oft einen separaten privaten Endpunkt, Load Balancer und Proxy-VM für jede einzelne Ressource, verbunden mit ständiger Abstimmung zwischen Databricks-Admin, Cloud-Admin und Netzwerk-Sicherheitsteam. Für eine Handvoll Ressourcen mag das machbar sein. Wenn ein Team jedoch Serverless-Zugriff auf Dutzende von Datenbanken, APIs und internen Diensten über VNets, gepeerte Netzwerke und On-Premises-Umgebungen hinweg benötigt, wird der Ansatz pro Ressource schnell zum Nadelöhr – anstrengend, langsam und mit hohem manuellem Aufwand.

Wie PNG funktioniert

Die Einrichtung ist einfach und unkompliziert: Sie delegieren ein Subnetz in Ihrem virtuellen Netzwerk an Databricks, und PNG baut ein verwaltetes, verschlüsseltes Gateway von Serverless-Compute in dieses Subnetz auf. Sie konfigurieren das Gateway innerhalb einer Network Connectivity Configuration (NCC) – demselben Objekt auf Kontoebene, das Sie bereits für Serverless-Networking nutzen. Anschließend können Sie die NCC mit Ihren Workspaces verknüpfen, und unterstützte Serverless-Workloads können die von Ihnen zugelassenen privaten Ziele erreichen.

Sie müssen keine Gateway-VMs in Ihrem Netzwerk bereitstellen, patchen oder skalieren. Databricks erstellt und betreibt das Gateway für Sie. Sie behalten die Kontrolle über Ihr Netzwerk.

Vor PNG erforderte die Aktivierung privater Konnektivität für Databricks Serverless einen erheblichen Netzwerkaufwand und Abstimmungen. PNG hat den gesamten Prozess vereinfacht, den betrieblichen Aufwand reduziert und uns geholfen, Jobs schneller auszuführen – wodurch sich Serverless viel einfacher in unsere bestehende Umgebung integrieren lässt.—Primož Gale, Lead Technical Architect, NLB

Sie behalten die Kontrolle über die Netzwerkgrenze

PNG belässt die Netzwerkgrenze bei Ihnen:

• Ihr Gateway gehört Ihnen: Es bietet einen dedizierten Pfad in Ihr Netzwerk und keine gemeinsam genutzte Appliance, die den Datenverkehr anderer Kunden überträgt. Die Isolierung wird durch Kapselung und Netzwerksicherheitsregeln durchgesetzt.
• Das Gateway setzt Zugriffskontrollen auf Workspace-Ebene durch, bevor Datenverkehr diesen verlässt.
• Jenseits des Subnetzes entscheiden Ihre Routentabellen, Netzwerksicherheitsgruppen, DNS-Resolver und Sicherheits-Appliances, was Serverless erreichen kann – genau wie für den Rest Ihres Netzwerks.

Sie wählen über zwei Modi, wie viel Datenverkehr PNG überträgt:

1. specific_destinations sendet nur die von Ihnen aufgeführten Vollständigen Domänennamen (FQDNs) über PNG. Jeder andere Datenverkehr behält seinen normalen Pfad bei. Nutzen Sie dies, wenn Sie eine präzise Kontrolle darüber wünschen, welche Ressourcen Serverless erreichen kann.
2. all_traffic leitet ausgehenden Datenverkehr durch Ihr Netzwerk um, mit Ausnahme von Datenverkehr, der mit einem spezifischeren Private Link- oder Service-Endpunkt-Pfad übereinstimmt, welcher seine native Route beibehält. Nutzen Sie diesen Modus, um den ausgehenden Datenverkehr großflächig über Ihre eigene Firewall zu überprüfen oder über Ihre eigenen IP-Adressen nach außen zu senden.

PNG ist additiv. Es funktioniert parallel zu den Kontrollen für private Konnektivität und Egress, die Sie bereits für Databricks nutzen, und ändert diese nicht, sodass Sie es aktivieren oder entfernen können, ohne Ihre bestehende Konfiguration zu beeinträchtigen.

Vor Private Network Gateway erforderte die Verwaltung von Secrets und Netzwerkverbindungen für Serverless-Workloads mehrere Integrationen und kontinuierliche Abstimmung. Heute können wir mit PNG direkt und sicher auf interne Dienste zugreifen und den ausgehenden Datenverkehr zentral über unsere bestehenden Kontrollen verwalten. Das macht den Betrieb einfacher, schneller und leichter steuerbar.—Michel Schwandner, Platform Engineer, Julius Blum GmbH

Erste Schritte mit PNG

Private Network Gateway ist ab sofort als Public Preview auf Azure und als Private Preview auf AWS verfügbar. Die Unterstützung für Google Cloud befindet sich in der Entwicklung.

Starten Sie noch heute:

• Private Network Gateway – Azure-Dokumentation
• Wenden Sie sich für AWS an Ihr Databricks-Account-Team, um eine Registrierung zu besprechen

Um mehr über die Neuerungen bei der Sicherheit der Databricks-Plattform zu erfahren, lesen Sie Neuerungen bei der Sicherheit und Compliance der Databricks-Plattform auf dem Data + AI Summit 2026.

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag