주요 컨텐츠로 이동
공지사항

OpenSharing SecureConnect를 소개합니다

스토리지 액세스를 위한 Databricks 관리형 프록시로, 공유를 위한 수신자별 네트워크 구성의 번거로움을 없앱니다.

작성자: Huey Han, William Chau , 해리시 가우르

SecureConnect는 스토리지 액세스를 위한 Databricks 관리형 프록시를 도입합니다.
데이터 제공자는 단 한 번만 설정하면 되며, 더 이상 각 수신자별로 네트워크를 구성할 필요가 없습니다.
필요에 따라 데이터 제공자는 NCC (Network Connectivity Configuration)를 활용하여 프록시와 제공자 스토리지 간의 프라이빗 링크 연결을 구성할 수 있습니다.

OpenSharing을 사용하면 조직 간에 실시간 데이터를 간편하게 공유할 수 있습니다. 하지만 매우 민감하거나 규제 대상인 데이터를 공유할 때처럼 제공자의 스토리지가 프라이빗 네트워크 뒤에 있는 경우, 네트워크 설정이 매우 복잡해집니다. 제공자는 스토리지 방화벽에서 각 수신자의 IP 주소나 클라우드 VPC/VNet을 수동으로 허용 목록에 추가해야 합니다. 수신자는 제공자의 스토리지로 향하는 아웃바운드(egress) 규칙을 열어야 합니다. 양측은 이메일이나 Slack을 통해 하위 수준의 네트워크 식별자를 수동으로 주고받아야 합니다. 이 과정에서 클라우드 인프라 관리자가 병목이 되어, 새로운 수신자 한 명을 온보딩하는 데만 몇 주가 걸리기도 합니다. 수십 또는 수백 명의 수신자와 데이터를 공유해야 하는 제공자에게는 이러한 방식이 확장 불가능하며, 결국 편의를 위해 보안을 타협하거나 데이터를 자체 스토리지에서 스테이징 영역으로 복사해야 하는 비효율적인 상황을 초래합니다. 두 가지 모두 최선의 방법이 아닙니다.

OpenSharing SecureConnect를 소개합니다

OpenSharing SecureConnect는 수신자를 대신해 스토리지 액세스 경로를 지정하는 Databricks 관리형 프록시입니다. 설정은 단 한 번만 수행하면 됩니다. 제공자가 스토리지에서 Databricks의 네트워크 엔드포인트를 허용 목록에 추가하고 SecureConnect를 활성화하기만 하면 됩니다. 그 이후로는 수신자별로 방화벽을 변경할 필요가 없습니다. 데이터는 제공자의 스토리지 버킷에 그대로 유지되며, 수신자가 스토리지 버킷에 직접 연결하지 않고도 소스에서 직접 실시간 데이터를 공유할 수 있습니다. 필요에 따라 데이터 제공자는 NCC (Network Connectivity Configuration)를 활용하여 프록시와 제공자 스토리지 간의 프라이빗 링크 연결을 구성할 수도 있습니다.

"SecureConnect의 도입 덕분에 데이터 제품 제공 방식을 간소화하고 더욱 안전하게 강화할 수 있었습니다. 고객이 거버넌스가 적용된 검색 및 액세스 프로그램을 운영하든, 다자간 데이터 교환을 운영하든 관계없이, 제어력을 타협하지 않으면서도 더 빠르게 움직이고 소비자에게 서비스를 제공할 수 있게 되었습니다." — Sebastian Drave, Director of Customer Solutions and Innovation, Harbr Data

작동 방식:

제공자 (최초 1회 설정):

  1. 스토리지 액세스 구성: Databricks Serverless Data Plane으로부터의 액세스를 허용하도록 스토리지를 구성합니다.
  2. SecureConnect 활성화: 메타스토어에 대해 SecureConnect를 활성화합니다. 그러면 Databricks가 새 수신자의 스토리지 액세스 경로를 SecureConnect로 지정합니다.

SecureConnect 제공자 설정

  1. (선택 사항) 기존 수신자 마이그레이션: 이전 버전과의 호환성을 위해 기존 수신자는 기본적으로 직접 스토리지 액세스를 계속 사용합니다. 토글을 사용해 개별적으로 SecureConnect로 마이그레이션할 수 있습니다.
  2. (선택 사항) 스토리지에 대한 프라이빗 링크 연결: OpenSharing NCC를 구성하여 Databricks 관리형 프록시와 스토리지 간에 프라이빗 링크 연결을 추가합니다.

수신자:

  1. 서버리스 수신자: 설정 불필요 — 데이터 제공자가 SecureConnect를 활성화하면 서버리스 수신자의 스토리지 액세스가 자동으로 SecureConnect를 통해 라우팅됩니다.
  2. 클래식 및 오픈 수신자: Databricks 공식 문서에 공개되어 있는 Databricks의 고정 인바운드 IP를 허용 목록에 추가합니다.

주요 기능:

  • 수신자 수에 관계없이 데이터 제공자를 위한 단 한 번의 설정
  • 데이터 수신자를 위한 최소한의 구성 (서버리스 수신자의 경우 설정 불필요)
  • NCC를 통해 제공자 스토리지에 대한 프라이빗 연결 선택 가능
  • 데이터 수신자의 보안 강화를 위한 상호 TLS 지원
  • 서로 다른 리전 및 클라우드 간의 데이터 공유 지원
  • 고객 관리형 스토리지와 Databricks 기본 스토리지 모두에서 작동

Data + AI Summit 2026에서 진행되는 Amadeus의 세션에서 자세한 내용을 확인해 보세요. "OpenSharing SecureConnect: Simplify Network Configuration for External Data Collaboration."

시작하기

Open Sharing SecureConnect는 퍼블릭 프리뷰로 제공됩니다. 활성화 방법은 다음과 같습니다.

  1. Databricks 작업 공간으로 이동하여 Open Sharing 설정을 엽니다.
  2. 안내에 따라 최초 1회 SecureConnect 설정을 진행합니다.
  3. 수신자와 데이터를 공유합니다. 추가 네트워크 구성은 필요하지 않습니다.

전체 문서는 Open Sharing SecureConnect 문서를 참조하세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)

최신 게시물을 이메일로 받아보세요

블로그를 구독하고 최신 게시물을 이메일로 받아보세요.