보안 분석 도구(SAT)를 소개합니다

Databricks는 데이터가 조직에 가장 귀중한 자산 중 하나이며 데이터를 보호하는 것이 최우선 과제임을 잘 알고 있습니다. 이것이 바로 Databricks Lakehouse Platform의 모든 계층에 보안을 구축한 이유입니다. 그러나 고객이 well-architected인지, 어떤 영역이 잘 강화되었고 어떤 영역에 주의가 필요한지 평가하는 데 어려움을 겪을 수 있다는 점을 잘 알고 있습니다. 플랫폼을 배포할 때 확신하더라도 보안팀이 재평가하지 않을 수 있으며 구성 드리프트로 인해 의도치 않게 데이터 및 지적 재산 침해가 발생할 수 있습니다. 사슬은 가장 약한 link만큼만 강하기 때문에 고객들은 다음과 같이 질문합니다.

• Databricks 보안 모범 사례를 따르고 있는지 어떻게 알 수 있나요?
• 시간에 따라 내 모든 계정 워크스페이스의 보안 상태를 어떻게 쉽게 모니터링할 수 있나요?

보안 분석 도구(Security Analysis Tool, SAT)를 발표하게 되어 기쁩니다! SAT는 현재 배포를 Databricks의 보안 모범 사례와 비교 검토하여 고객이 이러한 질문에 답하고 Databricks 배포를 강화하도록 돕습니다. 심각도에 따라 발견된 이상 항목의 우선순위를 정하는 체크리스트를 사용하며, 미해결 문제를 해결하는 데 도움이 되는 리소스 링크를 제공합니다. SAT를 환경의 모든 워크스페이스에 대한 정기 검사로 실행하여 모범 사례를 지속적으로 준수하도록 하고, 상태 보고서를 예약하여 민감한 데이터세트의 보안에 대한 지속적인 신뢰를 제공할 수 있습니다.

SAT는 Databricks REST API를 통해 배포 세부정보를 수집하는 자동화된 워크플로 로 고객의 계정에서 실행됩니다. 스캔 결과는 시간 경과에 따른 보안 상태 추세를 분석하기 위해 Delta 테이블에 저장됩니다. SAT에는 네트워크 보안, ID 및 액세스, 데이터 보호, 거버넌스, 정보 등 5가지 보안 카테고리로 그룹화된 결과를 표시하는 대시보드가 포함되어 있습니다. 보안팀은 SAT가 안전하지 않은 구성 및 정책 위반을 감지할 때 알림을 보내도록 설정할 수 있습니다. 또한 실패한 개별 검사에 대한 추가 세부정보를 제공하여 관리자가 신속하게 문제를 파악하고 해결할 수 있도록 합니다. 사전 경고는 사전 예방입니다!

SAT의 구성 요소

SAT는 다음 자산으로 구성됩니다.

• 구성 가능한 보안 체크리스트
• REST API를 사용하여 세부 정보를 수집하는 노트북 및 라이브러리 세트와 규정 준수 여부를 결정하기 위한 로직
• 검사 결과를 표시하기 위한 매개변수화된 SQL 대시보드와 관련 쿼리 및 경고
• 날짜별로 정리된 감사 가능한 일일 검사를 갖춘 유연한 워크플로

위(그림 2)에서 볼 수 있듯이 SAT 구성 요소는 다이어그램의 숫자로 표시된 고객 워크스페이스에서 실행됩니다. 각 구성 요소는 다음과 같은 기능을 수행합니다.

1. SAT 워크플로: 예약되거나 수동으로 실행된 SAT 워크플로 작업이 검사를 시작합니다.
2. SAT Notebook: SAT 보안 분석 노트북은 등록된 워크스페이스에서 일련의 모범 사례 검사를 실행하여 보안 스캔을 수행합니다.
3. SAT 결과: SAT 보안 분석 노트북은 추세 및 과거 참조를 위해 검증 결과를 Delta 테이블에 저장합니다.
4. SAT 대시보드: 사전 빌드된 SAT 대시보드는 델타 테이블에서 가져온 최신 스캔 결과를 표시합니다. 이제 관리자, 보안 애널리스트, 감사자는 단일 화면에서 편안하게 Databricks 보안 태세를 평가할 수 있습니다.

SAT 배포 세부 정보

SAT 설정 및 사용은 아래 다이어그램(그림 3)과 같이 세 단계로 나눌 수 있습니다.

1. 배포 및 구성
   SAT 설정에는 관리자 권한이 필요하며 다음과 같은 활동이 포함됩니다.
   • 선택한 워크스페이스에서 관리자는 여기에 설명된 대로 초기 일회성 설정을 위해 일련의 노트북을 사용합니다.
   • 목록의 모든 검사는 기본적으로 활성화되어 있지만 관리자는 필요하지 않은 검사를 끌 수 있습니다.
   • 관리자는 Databricks 계정의 각 워크스페이스에 대한 PAT 토큰을 제공하고 연결이 확인됩니다. 구성된 작업 영역만 일일 점검에 포함됩니다.
   • 워크플로는 예약된 간격(일반적으로 매일)으로 실행되도록 구성됩니다.
2. 구성된 모든 환경에 대한 일일 평가
   • 예약된 워크플로는 매일 실행됩니다. 구성된 각 워크스페이스에서 그날의 확인 사항은 Delta 테이블에 유지되어 추세 분석 및 과거 기록 참조가 가능해집니다.
3. 인사이트 활용
   • 관리자, 보안 분석가, 감사자는 Databricks SQL 대시보드에서 작업 영역별로 결과를 볼 수 있습니다.

Security Analysis Tool을 설치하는 방법에 대한 자세한 지침은 여기에서 확인할 수 있습니다.

SAT 인사이트

SAT 대시보드는 각 워크스페이스의 보안 검사 결과를 심각도순으로 표시합니다(그림 4).

대시보드는 5개의 섹션으로 나뉘며 각 필러는 일관된 형식으로 구성됩니다.

1. 워크스페이스 보안 요약
   • 상위 수준 요약에서는 심각도별로 분류된 결과를 카테고리별로 보여줍니다.
2. 워크스페이스 통계
   • 이 섹션은 사용자, 그룹, 데이터베이스, 테이블 수와 티어 및 지역과 같은 서비스 세부정보에 대한 사용 통계를 제공합니다.
3. 개별 보안 카테고리 세부 정보
   • 각 보안 카테고리에 대한 섹션에는 다음이 포함됩니다.
     • 권장 모범 사례에서 벗어난 항목 수와 같은 보안 섹션 요약 세부 정보
     • 보안 카테고리에 대한 보안 조사 결과 세부 정보를 심각도순으로 정렬한 표입니다. 이 표는 각 보안 위반 사항을 설명하고 문제 해결에 도움이 되는 문서 링크를 제공합니다.
4. 정보 섹션
   • 이는 본질적으로 규범적이지는 않지만 데이터 페르소나가 조직에 대한 threshold가 올바르게 설정되었는지 확인하기 위해 면밀히 조사할 수 있는 데이터 포인트를 제공합니다.
5. 추가 발견 사항 세부 정보
   • 이 섹션은 보안 이상 항목을 탐지하는 데 사용된 로직을 포함하여 보안 이상 항목의 원인을 정확히 파악하는 데 도움이 되는 추가 세부정보를 제공합니다. 예를 들어, '사용되지 않는 클러스터 정책'은 정책이 적용되지 않은 클러스터 워크로드 목록을 제공하여, 마치 건초 더미에서 바늘을 찾는 것과 같은 어려움을 겪지 않도록 도와줍니다.

위험 완화를 위한 SAT 사용 방법

보안 분석 도구(SAT)는 37가지의 모범 사례를 분석하고 대시보드에 인사이트를 제공하며, 더 많은 사례가 추가될 예정입니다. 이러한 인사이트를 어떻게 활용할까요? 일반적인 사용자가 인사이트를 어떻게 활용하는지 설명하기 위해 두 가지 예시를 사용하겠습니다.

첫 번째 예시에서는 SAT 스캔이 잠재적 위험을 나타내는 한 가지 결과(그림 5의 빨간색 체크 표시)를 강조 표시합니다. 더 이상 사용되지 않는 런타임 버전 검사가 빨간색으로 표시되는 것은 더 이상 사용되지 않는 런타임이 있음을 나타냅니다. 지원되지 않는 런타임 버전의 워크로드는 계속 실행될 수 있지만, Databricks의 지원이나 수정 사항을 받을 수 없습니다. 결과와 연관된 "check id"는 "추가 세부 정보" 섹션에서 어떤 구성 설정이나 제어가 특정 모범 사례 규칙을 통과하지 못했는지에 대한 자세한 정보를 query하는 데 사용할 수 있습니다. 예를 들어, 아래 이미지는 관리자가 조사할 수 있도록 "더 이상 사용되지 않는 런타임 버전" 위험에 대한 추가 세부 정보를 보여줍니다. 스크린샷의 '수정 조치' 열은 위험 및 필요한 수정 조치를 설명하며, 현재 지원되는 Databricks 런타임 버전에 대한 설명서 링크를 제공합니다. 사용자는 결과의 심각도에 맞춰 권장되는 수정 조치를 시기적절하게 취해야 합니다.

두 번째 예시에서는 Databricks의 모범 사례를 충족하는 한 가지 결과(그림 5의 녹색 체크 표시)를 강조합니다. 로그 전달 검사가 녹색으로 표시되어 워크스페이스가 Databricks 보안 모범 사례를 준수함을 확인합니다. 다시 한번, "check id"("GOV-3")를 "추가 세부 정보" 섹션에서 사용하여 세부 정보를 얻을 수 있습니다. 추가 조치는 필요하지 않지만, Databricks 계정 워크스페이스의 보안 상태를 확인하고 지속적으로 포괄적인 개선을 보장하기 위해 정기적으로 이 검사를 실행하는 것을 권장합니다.

결론

이 블로그 게시물에서는 Databricks Lakehouse Platform용 Security Analysis Tool을 소개했습니다. 또한 몇 단계만으로 SAT를 설정 하고 시간 경과에 따른 Databricks 계정 워크스페이스의 보안 상태를 관찰하는 것이 얼마나 쉬운지 확인했습니다. 또한 Databricks 배포를 강화할 수 있도록 탐지 예시도 보여드렸습니다. Databricks 배포에 SAT를 설정하거나 Databricks 계정팀에 도움을 요청해 보시기 바랍니다. Databricks 보안에 대한 더 많은 블로그 게시물과 비디오 콘텐츠를 기대해 주세요!

Databricks의 보안 접근 방식이 궁금하시면 보안 및 신뢰 센터를 검토해 주세요. Databricks 보안 모범 사례 문서를 검토해 보시기 바랍니다. SAT에 대한 질문이나 제안 사항이 있으면 언제든지 [email protected]으로 문의해 주세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)