Private Network Gateway 소개

Databricks 서버리스 컴퓨팅은 완전 관리형이자 지능형이며 버전이 필요 없는 서비스로, 사용자가 클러스터 및 인프라의 크기 조정, 튜닝, 관리에 신경 쓰는 대신 비즈니스 문제 해결에 집중할 수 있도록 해줍니다. 하지만 많은 팀에게 여전히 큰 장애물로 남아 있던 단계는 바로 네트워킹이었습니다. 즉, 자체 네트워크 내부의 데이터베이스, 애플리케이션 및 시스템으로 서버리스 컴퓨팅이 연결되는 프라이빗 경로를 제공하는 것이었습니다. 고객 인터뷰에 따르면 75% 이상의 고객이 현재 네트워크 구성 및 네트워크 변경 관리의 복잡성을 특정 워크로드가 서버리스로 이동하지 않고 클래식 컴퓨팅에 남아 있는 주요 이유로 꼽았습니다.

오늘 Databricks는 Azure에서의 Private Network Gateway(PNG) 퍼블릭 프리뷰와 AWS에서의 프라이빗 프리뷰 소식을 발표합니다. PNG는 서버리스 워크로드에 네트워크로 향하는 단 하나의 연결을 제공하며, 이를 통해 이미 네트워크가 도달할 수 있는 모든 리소스에 대한 액세스를 제어할 수 있습니다.

• 프라이빗 데이터베이스 전반의 수집 단순화: 서버리스 컴퓨팅에서 Lakeflow Connect를 사용하여 VNet/VPC 및 연결된 온프레미스 환경 전반에서 지원되는 데이터베이스의 데이터를 수집합니다.
• 프라이빗 서비스에 AI 에이전트 연결: Databricks에서 구축한 에이전트가 직접 호스팅하는 프라이빗 MCP 서버를 호출할 수 있습니다.
• 자체 패키지 리포지토리 사용: 서버리스는 네트워크 내부의 프라이빗 PyPI, Artifactory 또는 Nexus 리포지토리에서 Python 라이브러리를 설치할 수 있습니다.
• 자체 방화벽을 통해 아웃바운드 트래픽 라우팅: 기존 방화벽이나 콘텐츠 검사 서비스를 통해 트래픽을 전송하여 자체 도구를 사용해 아웃바운드 트래픽을 네이티브 방식으로 필터링하고 기록합니다.
• 고객 소유의 일관된 소스 IP 유지: Salesforce와 같은 SaaS 앱에서 귀하 소유의 소스 IP를 확인할 수 있습니다.

이러한 작업은 기존에 네트워킹, 보안 및 관리자 팀 간의 조율된 배포뿐만 아니라 로드 밸런서 및 프록시 VM과 같은 여러 새로운 배포가 필요했습니다. PNG를 사용하면 하나의 연결만 설정하면 네트워크가 접근할 수 있는 리소스에 서버리스에서도 접근할 수 있게 됩니다. PNG는 엔드포인트 단위가 아니라 네트워크 단위로 확장됩니다.

Private Network Gateway는 서버리스 컴퓨팅을 Azure 및 온프레미스의 데이터 소스에 연결하는 방식을 대폭 단순화했습니다. 더 이상 모든 연결에 대해 프라이빗 링크 서비스와 로드 밸런서를 일일이 구성할 필요가 없습니다. 또한 기존 워크스페이스 서브넷을 재사용할 수 있어 방화벽 승인이 더 쉬워지는 동시에 도달할 수 있는 대상을 정확하게 제어할 수 있어 서버리스 운영에 실질적인 유연성을 더해줍니다.—Fabiano Seki, Tech Lead, Data Engineering, Banco Bradesco

서버리스 네트워킹의 과제

클래식 컴퓨팅은 자체 가상 네트워크 내에서 실행되므로 데이터에 도달하는 방법이 직관적입니다. 즉, 표준 클라우드 기본 기법을 사용해 네트워크를 피어링하면 됩니다. 반면 서버리스는 Databricks 관리형 네트워크에서 실행되므로 운영 오버헤드가 줄어드는 장점이 있지만, 프라이빗 리소스에 연결하기 위해 명시적인 경로가 필요하다는 의미이기도 합니다.

Serverless Private Link는 해당 경로를 제공하며 AWS S3나 Azure Data Lake Storage와 같은 클라우드 관리형 서비스에 여전히 적합한 도구입니다. 하지만 데이터베이스, Kafka 클러스터, 내부 API와 같이 직접 호스팅하고 관리하는 리소스의 경우 연결하려면 각 리소스마다 별도의 프라이빗 엔드포인트, 로드 밸런서, 프록시 VM이 필요했으며 Databricks 관리자, 클라우드 관리자, 네트워크 보안 팀 간의 복잡한 조율 과정이 필요했습니다. 소수의 리소스라면 감당할 수 있겠지만, 팀에서 VNet, 피어링된 네트워크, 온프레미스 환경에 걸쳐 수십 개의 데이터베이스, API, 내부 서비스에 서버리스로 액세스해야 하는 경우 리소스별 접근 방식은 금세 병목 현상이 되어 비효율적이고 느리며 수작업 부담을 가중시킵니다.

PNG의 작동 방식

설정은 쉽고 간단합니다. 가상 네트워크의 서브넷 하나를 Databricks에 위임하면 PNG가 서버리스 컴퓨팅에서 해당 서브넷으로 연결되는 관리형 암호화 게이트웨이를 설정합니다. 서버리스 네트워킹에 이미 사용하고 있는 계정 수준 개체인 Network Connectivity Configuration(NCC) 내에서 게이트웨이를 구성합니다. 그런 다음 NCC를 워크스페이스에 연결하면 지원되는 서버리스 워크로드가 허용된 프라이빗 대상에 도달할 수 있습니다.

네트워크에 직접 배포하거나 패치하거나 크기를 조정해야 하는 게이트웨이 VM이 없습니다. Databricks가 게이트웨이를 대신 생성하고 실행하므로 귀하는 네트워크 통제권을 그대로 유지할 수 있습니다.

PNG 도입 전에는 Databricks Serverless에 대한 프라이빗 연결을 활성화하려면 상당한 네트워크 설정과 조율이 필요했습니다. PNG는 전체 프로세스를 단순화하고 운영 오버헤드를 줄이며 작업 실행 속도를 높여주어 서버리스를 기존 환경에 훨씬 더 쉽게 통합할 수 있게 해주었습니다.—Primož Gale, Lead Technical Architect, NLB

네트워크 경계 통제권 유지

PNG를 사용하면 네트워크 경계에 대한 통제권을 그대로 유지할 수 있습니다.

• 귀하 전용 게이트웨이 제공: 타 고객의 트래픽을 처리하는 공유 어플라이언스가 아닌 귀하의 네트워크로 향하는 전용 경로를 제공합니다. 격리는 캡슐화 및 네트워크 보안 규칙을 통해 보장됩니다.
• 게이트웨이는 트래픽이 나가기 전에 워크스페이스 수준의 액세스 제어를 적용합니다.
• 서브넷을 벗어나면 라우트 테이블, 네트워크 보안 그룹, DNS 리졸버 및 보안 어플라이언스가 나머지 네트워크에서와 동일한 방식으로 서버리스가 도달할 수 있는 대상을 결정합니다.

두 가지 모드를 통해 PNG가 처리할 트래픽 양을 선택할 수 있습니다.

1. specific_destinations은(는) 지정한 정규화된 도메인 이름(FQDN)만 PNG를 통해 전송합니다. 기타 모든 트래픽은 일반 경로를 유지합니다. 서버리스가 액세스할 수 있는 리소스를 정밀하게 제어하려는 경우 이 모드를 사용하세요.
2. all_traffic은(는) 네이티브 경로를 유지하는 보다 구체적인 Private Link 또는 서비스 엔드포인트 경로와 일치하는 항목을 제외하고 네트워크를 통해 아웃바운드 트래픽을 라우팅합니다. 자체 방화벽을 통해 광범위한 아웃바운드 트래픽을 검사하거나 자체 IP 주소를 통해 전송하려는 경우 이 모드를 사용하세요.

PNG는 포괄적인 추가형 기능입니다. Databricks에 이미 사용 중인 프라이빗 연결 및 아웃바운드 제어와 함께 작동하며 기존 설정을 변경하지 않으므로 기존 구성에 영향을 주지 않고 활성화하거나 제거할 수 있습니다.

Private Network Gateway 이전에는 서버리스 워크로드를 위한 시크릿 및 네트워크 연결 관리 시 여러 통합 작업과 지속적인 조율이 필요했습니다. 이제 PNG를 사용하면 내부 서비스에 직접 안전하게 액세스하고 기존 제어 기능을 통해 아웃바운드 트래픽을 중앙에서 관리할 수 있어 운영이 더 단순하고 빠르고 거버넌스를 쉽게 유지할 수 있게 되었습니다.—Michel Schwandner, Platform Engineer, Julius Blum GmbH

PNG 시작하기

Private Network Gateway는 현재 Azure에서 퍼블릭 프리뷰로, AWS에서 프라이빗 프리뷰로 이용 가능합니다. Google Cloud 지원은 현재 개발 중입니다.

지금 바로 시작해 보세요.

• Private Network Gateway - Azure 설명서
• AWS의 경우 Databricks 계정 팀에 문의하여 등록에 대해 논의하세요.

Databricks 플랫폼 보안의 새로운 기능에 대해 자세히 알아보려면 Data + AI Summit 2026의 Databricks 플랫폼 보안 및 컴플라이언스 새로운 기능을 참조하세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)