몇 초 만에 Workspace: Serverless Workspaces를 소개합니다

소개: 서버리스의 단순성

모든 클라우드에서 Serverless Workspace가 이제 Public Preview로 제공된다는 기쁜 소식을 전해드립니다. 서버리스 워크스페이스를 사용하면 데이터 및 AI 프로젝트를 위한 새 워크스페이스를 그 어느 때보다 쉽게 만들 수 있습니다.

새로운 workspace를 구축하는 것은 늘 균형을 맞춰야 하는 어려운 일이었습니다. 클라우드 네트워킹, 데이터 저장 위치, compute 리소스 설정 방법, 여러 환경에서 일관된 보안을 유지하는 방법을 고려해야 합니다. 단 한 명의 애널리스트나 데이터 사이언티스트가 작업을 시작하기 전에 이 모든 것이 이루어져야 합니다. 그 결과 프로젝트가 지연되고 관리자의 작업량이 늘어납니다.

Serverless Workspace 가 이러한 상황을 바꿉니다. 며칠이 걸리는 계획 및 구성 작업 대신, 단 몇 초 만에 workspace를 만들 수 있습니다. 팀은 serverless compute, 사전 구성된 스토리지, 기존에 사용하던 것과 동일한 거버넌스 및 제어 기능에 즉시 액세스할 수 있습니다. 이는 새로운 데이터 및 AI 프로젝트의 오버헤드는 줄이고 시작은 더 빨라진다는 것을 의미합니다.

Serverless Workspace란 무엇인가요?

Serverless Workspace는 인프라 프로비저닝, 모니터링, 유지 관리의 힘든 작업을 Databricks에 맡깁니다. 새 workspace를 만들면 serverless compute를 즉시 실행할 수 있습니다. Unity Catalog와 스토리지가 Default Storage의 지원을 받아 자동으로 설정되므로, 사용자는 수동 설정 없이 동일한 거버넌스 모델을 유지할 수 있습니다.

Serverless Workspace는 Classic Workspaces와 어떻게 다른가요?

기존 Workspace에서는 compute 네트워킹 방법, 데이터 저장 위치, 인바운드 및 아웃바운드 연결 처리 방법과 같은 클라우드 수준의 결정을 먼저 내려야 합니다. 이러한 작업은 최종 사용자에게 직접적인 가치를 창출하지는 않지만, 누군가 로그인하여 빌드하기 전에 반드시 필요한 작업입니다.

Serverless Workspace를 사용하면 기본적인 사항이 이미 준비되어 있습니다. Databricks는 compute 및 스토리지를 위한 보안이 유지되는 관리형 인프라를 실행합니다. 기본 인프라를 구축하고 유지 관리할 필요 없이 Unity Catalog, SSO 또는 ID 페더레이션 및 workspace 설정을 계속 사용할 수 있습니다.

Serverless Workspace 핵심 기능

Serverless Workspace에는 구매 즉시 바로 사용할 수 있도록 지원하는 여러 기본 내장 기능이 포함되어 있습니다.

1. Default 보안 및 제로 구성 데이터 액세스를 위한 Default 스토리지: 각 workspace는 완전 관리형 오브젝트 스토리지를 제공합니다. 자체 클라우드 스토리지를 가져오거나 스토리지 보안 인증 정보를 제공하거나 외부 위치를 미리 구성할 필요 없이 Unity Catalog에서 관리하는 카탈로그, 테이블, 볼륨을 만들 수 있습니다. 다중 키 보호 및 개체 스토리지에 대한 직접 액세스 금지와 같은 엔터프라이즈 기능을 통해 사용자가 자신의 데이터를 제어할 수 있습니다.
2. 즉시 사용 가능한 serverless compute: clusters를 프로비저닝하지 않고도 워크로드를 실행할 수 있습니다. Databricks가 최적의 compute를 자동으로 할당하고 관리하므로 사용자는 clusters 운영에 대해 걱정할 필요 없이 코드 작성과 데이터 분석에 집중할 수 있습니다.
3. 기존 Unity Catalog 데이터 자산에 대한 액세스: 기존의 모든 거버넌스 적용 데이터는 새 workspace에서 사용할 수 있으며, 기존 권한으로 액세스할 수 있습니다.
4. 필요할 때 자체 데이터 가져오기: 기존 Workspace에서와 마찬가지로 Unity Catalog 자격 증명 및 외부 위치를 통해 기존 클라우드 스토리지를 연결할 수 있습니다. 이를 통해 중복된 IAM 설정을 피하면서 리니지와 권한을 일관되게 유지할 수 있습니다(AWS, GCP, Azure).
5. 간소화된 네트워크 보안: NAT 게이트웨이, 방화벽 또는 프라이빗 링크 엔드포인트를 직접 구축하는 대신, 워크스페이스의 모든 서버리스 워크로드에 적용되는 서버리스 이그레스 정책 및 서버리스 Private Link 규칙(AWS, Azure)을 정의할 수 있습니다.
6. 비용 가시성 및 가드레일: 예산 정책을 통해 워크로드에 어트리뷰션 태그를 설정하고 시스템 청구 테이블에서 지출을 분석할 수 있습니다(AWS, GCP, Azure). 이는 사용자가 Job에 일관되게 태그를 지정할 필요 없이 명확한 쇼백(showback) 또는 차지백(chargeback)이 가능함을 의미합니다.
7. 민첩한 workspace 배포: 인프라가 자동으로 관리되므로 사용자 지정 네트워킹이나 런타임 업그레이드를 기다릴 필요 없이 새 workspace를 빠르게 생성하여 팀에 전달할 수 있습니다.

Serverless와 Classic Workspace들 중에서 선택하기

두 옵션 모두 계속 사용할 수 있습니다. 적절한 선택은 요구 사항에 따라 달라집니다.

1. 최소한의 구성 및 관리로 거버넌스가 적용된 환경을 가장 빠르게 구축하고 싶을 때 serverless 를 선택하세요.
2. 사용자 지정 VPC 디자인, 엄격한 네트워크 패턴 또는 서버리스 컴퓨팅에서 아직 지원되지 않는 기능이 필요한 경우 classic 을 선택하세요. 일부 조직에서는 기본 클라우드 리소스를 직접 관리하는 것을 선호하기도 합니다.

Serverless Workspace 고려 사항

도입을 계획할 때 유의해야 할 몇 가지 사항이 있습니다.

• 리전 가용성: Serverless Workspace는 serverless compute를 지원하는 리전에서만 사용할 수 있습니다(AWS, GCP, Azure).
• 기능 영역: serverless workspace는 serverless compute 제약 조건(예: Python/SQL 중심, 지원되지 않는 레거시 APIs)을 상속합니다. workspace를 전체적으로 마이그레이션하기 전에 중요한 워크로드를 검증하세요(AWS, GCP, Azure).
• Azure 및 GCP에서는 기본 스토리지에 대한 청구가 아직 활성화되지 않았습니다: 이 기간 동안 Databricks는 기본 스토리지 사용량에 대해 요금을 청구하지 않습니다. Databricks는 Azure 및 GCP의 default 스토리지 사용량에 대한 청구를 활성화하기 30일 전에 고객에게 통지할 것입니다.

자세한 내용은 Serverless Workspace(AWS, GCP, Azure) 및 Default Storage(AWS, GCP, Azure)의 제한 사항을 참조하세요.

결론: 설치는 줄이고, 제어는 유지하세요

환경을 신속하게 배포하거나 지체 없이 새로운 팀에 권한을 부여해야 하는 조직의 경우, 사전 인프라 구축 과정을 없애는 것은 상당한 이점입니다. 중요한 거버넌스와 제어 기능은 그대로 유지하면서 기다릴 필요는 없습니다.

Serverless Workspace는 Databricks를 ‘먼저 구성하고 나중에 사용’하는 모델에서 ‘지금 바로 사용하고 필요한 것을 구성’하는 모델로 전환합니다. Default Storage를 통해 거버넌스가 적용된 데이터에 즉시 액세스할 수 있습니다. 이그레스 정책을 사용하면 아웃바운드 제어를 중앙에서 관리할 수 있습니다. 그리고 Unity Catalog는 classic 및 serverless 환경 모두에서 거버넌스가 일관되게 유지되도록 보장합니다.

Serverless Workspaces의 단순함과 속도를 경험할 준비가 되셨나요? 지금 바로 계정에서 새로운 serverless workspace 를 만들어 보세요! 계정이 없는 경우 Express Setup 을 사용하여 몇 초 만에 계정을 만들어 보세요!

• Serverless Workspace 문서
• Databricks Serverless 실무자 가이드
• 서버리스 workspace 만들기 - Azure

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)