Apresentando o Private Network Gateway

A computação serverless do Databricks é totalmente gerenciada, inteligente e sem versões, permitindo que os usuários se concentrem na resolução de problemas de negócios em vez de dimensionar, ajustar e gerenciar clusters e infraestrutura. No entanto, para muitas equipes, a etapa de alto atrito que restava era a rede: fornecer à computação serverless um caminho privado para bancos de dados, aplicações e sistemas dentro de suas próprias redes. Em nossas entrevistas com clientes, mais de 75% disseram que a configuração de rede atual e a complexidade de lidar com alterações na rede foram o principal motivo para que cargas de trabalho específicas permanecessem na computação clássica em vez de migrar para o serverless.

Hoje, estamos anunciando a public preview do Private Network Gateway (PNG) no Azure e a private preview na AWS. O PNG oferece às suas cargas de trabalho serverless uma conexão para a sua rede e, a partir daí, você controla o acesso a tudo o que a sua rede já consegue alcançar.

• Simplifique a ingestão em seus bancos de dados privados: use o Lakeflow Connect na computação serverless para ingerir dados de bancos de dados compatíveis em sua VNet/VPC e ambientes on-premises conectados
• Conecte agentes de IA a serviços privados: um agente criado no Databricks pode chamar um servidor MCP privado hospedado por você
• Use seus próprios repositórios de pacotes: o Serverless pode instalar bibliotecas do Python de um repositório PyPI, Artifactory ou Nexus privado dentro da sua rede
• Roteie a saída pelo seu próprio firewall: envie o tráfego pelo seu firewall ou serviço de inspeção de conteúdo existente, de modo que a saída seja filtrada e registrada nativamente com suas próprias ferramentas
• Mantenha um IP de origem consistente de sua propriedade: seus aplicativos SaaS, como o Salesforce, podem ver um IP de origem que pertence a você

Antes, cada uma dessas tarefas exigia uma implantação coordenada entre as equipes de rede, segurança e administração, além de várias novas implantações, como balanceadores de carga e VMs de proxy. Com o PNG, você configura apenas uma conexão, e os recursos que sua rede alcança passam a ser acessíveis pelo serverless. O PNG escala por rede, não por endpoint.

O Private Network Gateway simplificou significativamente a forma como conectamos a computação serverless a fontes de dados no Azure e on-premises — sem a necessidade de criar um serviço de private link e balanceador de carga para cada conexão. Ele também traz flexibilidade real para nossas operações serverless: podemos reutilizar uma sub-rede de workspace existente, o que facilita as aprovações de firewall, ao mesmo tempo em que mantemos o controle exato sobre quais destinos são acessíveis.—Fabiano Seki, Líder Técnico de Engenharia de Dados, Banco Bradesco

O desafio com redes serverless

A computação clássica roda dentro da sua própria rede virtual, então o acesso aos seus dados é simples: você faz o emparelhamento (peering) das redes usando primitivas padrão de nuvem. Em contrapartida, o serverless roda em uma rede gerenciada pelo Databricks, o que, por um lado, elimina a sobrecarga operacional, mas também significa que seus recursos privados precisam de um caminho explícito.

O Serverless Private Link fornece esse caminho e continua sendo a ferramenta certa para serviços gerenciados na nuvem, como AWS S3 ou Azure Data Lake Storage. Mas para recursos que você hospeda e gerencia, como bancos de dados, clusters Kafka ou APIs internas, a conexão geralmente significava um endpoint privado, balanceador de carga e VM de proxy separados para cada recurso — além da coordenação constante entre seu administrador do Databricks, administrador da nuvem e equipe de segurança de rede. Para alguns poucos recursos, isso pode ser gerenciável. No entanto, quando uma equipe precisa do serverless para acessar dezenas de bancos de dados, APIs e serviços internos, em VNets, redes emparelhadas e ambientes on-premises, a abordagem por recurso rapidamente se torna um gargalo, tornando-a dolorosa, lenta e manual.

Como o PNG funciona

A configuração é fácil e direta: você delega uma sub-rede em sua rede virtual para o Databricks e o PNG estabelece um gateway criptografado e gerenciado da computação serverless para essa sub-rede. Você configura o gateway dentro de uma Network Connectivity Configuration (NCC), o mesmo objeto no nível de conta que você já usa para redes serverless. Em seguida, você pode anexar a NCC aos seus workspaces, e as cargas de trabalho serverless compatíveis poderão alcançar os destinos privados que você permitir.

Não há VMs de gateway para você implantar, atualizar ou dimensionar em sua rede. O Databricks cria e executa o gateway para você. Você mantém o controle da sua rede.

Antes do PNG, habilitar a conectividade privada para o Databricks Serverless exigia uma configuração e coordenação de rede significativas. O PNG simplificou todo o processo, reduziu a sobrecarga operacional e nos ajudou a executar jobs mais rapidamente — tornando o serverless muito mais fácil de integrar ao nosso ambiente existente.—Primož Gale, Arquiteto Técnico Principal, NLB

Você mantém o controle do limite da rede

O PNG mantém o limite da rede com você:

• Seu gateway é seu: ele fornece um caminho dedicado para sua rede, não um dispositivo compartilhado que carrega tráfego de outros clientes. O isolamento é aplicado por meio de encapsulamento e regras de segurança de rede.
• O gateway aplica controles de acesso no nível de workspace antes que qualquer tráfego saia.
• Além da sub-rede, suas tabelas de rotas, grupos de segurança de rede, resolvedores DNS e dispositivos de segurança decidem o que o serverless pode alcançar, da mesma forma que fazem para o restante da sua rede.

Você escolhe a quantidade de tráfego que o PNG carrega, por meio de dois modos:

1. specific_destinations envia apenas os nomes de domínio totalmente qualificados listados por você por meio do PNG. Todo o outro tráfego mantém seu caminho normal. Use isso quando quiser controle preciso sobre quais recursos o serverless pode alcançar.
2. all_traffic roteia o tráfego de saída pela sua rede, exceto qualquer item correspondente a um caminho de Private Link ou endpoint de serviço mais específico, que mantém sua rota nativa. Use este modo para inspecionar saídas amplas pelo seu próprio firewall ou para enviá-las por meio de seus próprios endereços IP.

O PNG é aditivo. Ele atua lado a lado com a conectividade privada e os controles de saída que você já usa no Databricks e não os altera, portanto você pode ativá-lo ou removê-lo sem afetar sua configuração existente.

Antes do Private Network Gateway, gerenciar segredos e conectividade de rede para cargas de trabalho serverless exigia várias integrações e coordenação contínua. Hoje, com o PNG, podemos acessar com segurança serviços internos diretamente e gerenciar centralmente o tráfego de saída por meio de nossos controles existentes, tornando as operações mais simples, rápidas e fáceis de governar.—Michel Schwandner, Engenheiro de Plataforma, Julius Blum GmbH

Comece a usar o PNG

O Private Network Gateway já está disponível em Public Preview no Azure e em Private Preview na AWS. O suporte para o Google Cloud está em desenvolvimento.

Comece hoje mesmo:

• Private Network Gateway - Documentação do Azure
• Para a AWS, entre em contato com sua equipe de conta do Databricks para discutir a inscrição

Para saber mais sobre as novidades em segurança da plataforma Databricks, confira Novidades em segurança e conformidade da plataforma Databricks no Data + AI Summit 2026.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original