주요 컨텐츠로 이동
플랫폼

서버리스용 Genie Migrate 소개

더 빠르고 안전하며 간편해진 서버리스 마이그레이션

작성자: 피유시 싱, Vijay Raja , Feng Lu

  • Genie Migrate for Serverless는 클래식 워크로드를 서버리스로 전환하는 가장 복잡한 과정(군집 스캔, 연산 설정 및 라이브러리 변환, 30일 롤백 기능이 포함된 가역적 변경 적용)을 자동으로 처리합니다.
  • 제안된 모든 변경 사항은 적용 전에 검토 가능한 diff로 표시되므로, 마이그레이션이 수주 동안의 수동 시행착오 대신 검토 후 승인하는 단계로 간단해집니다.
  • 지금 바로 시작하실 수 있습니다. 에이전트는 워크로드 코드를 그대로 유지하며, 불확실한 Apache Spark 설정은 임의로 삭제하는 대신 검토하도록 플래그를 지정하여 프로덕션 환경에서 실행되는 내용을 사용자가 직접 제어할 수 있도록 합니다.

Databricks의 서버리스 컴퓨팅은 데이터 및 AI 워크로드를 더 간단하고 빠르게 실행할 수 있는 방법을 제공합니다. 인프라 관리의 운영 부담을 덜어주고 프로비저닝, 확장, 최적화를 자동으로 처리하므로 팀은 비즈니스 성과에 집중할 수 있습니다. 서버리스를 통해 조직은 복잡한 클러스터를 관리하고 유지 관리할 필요 없이 더 빠르게 움직이고, 효율성을 개선하며, 클라우드 네이티브 컴퓨팅의 이점을 누릴 수 있습니다.

서버리스 사용량은 지난 1년 동안만 해도 몇 배나 증가했으며, 현재 수천 명의 고객이 서버리스에서 노트북과 작업을 실행하고 있습니다. 대부분의 팀에는 인프라를 직접 관리하지 않으면서 비용 및 운영상의 이점을 얻기 위해 서버리스 환경으로 마이그레이션하려는 클래식 풀이 여전히 있습니다. 각 워크로드를 하나씩 이동하는 작업은 고객이 기존 워크로드에 서버리스의 이점을 적용하는 것을 가로막는 경우가 많습니다.

이러한 상황을 겪어보셨을 것입니다. 작업을 선택하고 서버리스로 전환한 다음 오류, 액세스 모드 비호환성, 적용되지 않는 Spark 설정, 클래식에는 설치되어 있지만 서버리스에는 설치되지 않은 라이브러리로 인해 문제가 발생합니다. 오후 시간이면 끝날 일이 몇 주 동안 이어지고, 대부분의 시간은 이전에 여러 번 수행했던 변환 작업에 소요됩니다.

이제 걱정하지 마세요! 오늘 베타 버전으로 제공되는 Genie Migrate for Serverless의 출시를 발표하게 되어 매우 기쁩니다. 이 도구는 Databricks 에이전트로, 클래식 컴퓨팅의 작업과 노트북을 서버리스 컴퓨팅으로 쉽고 간편하게 마이그레이션해 줍니다. 이제 워크로드 마이그레이션이 연구 프로젝트가 아니라 검토 및 승인 단계로 바뀝니다.

과거에는 엔지니어가 직접 수행해야 했던 마이그레이션

지금까지는 워크로드를 서버리스로 마이그레이션하는 작업이 수동으로 이루어졌습니다. 클래식 클러스터 설정이 서버리스에 어떻게 매핑되는지, 어떤 라이브러리가 해결되는지, 어떤 Spark 설정이 계속 적용되는지, 워크로드에 어떤 액세스 모드가 필요한지에 대한 지식은 엔지니어의 머릿속에 있거나, 노트북이나 작업을 실행하고 실패를 읽어보는 시행착오 속에서 얻어야 했습니다.

Genie Migrate for Serverless는 서버리스가 프로비저닝과 확장을 플랫폼으로 가져온 것과 마찬가지로, 이러한 변환 작업을 엔지니어의 어깨에서 덜어 플랫폼이 직접 수행하도록 합니다. 사용자가 담당하는 부분은 판단력입니다. 즉, 지금 워크로드를 마이그레이션할지 여부, 제안된 변경 사항이 올바라 보이는지 여부, 마이그레이션된 실행이 정상적인지 여부를 판단하는 것입니다. 에이전트가 직접 변환을 처리하며, 변경 사항이 적용되기 전에 검토할 수 있도록 diff 형태로 제안합니다.

성공적인 서버리스 마이그레이션 도구를 구축하기 위해 당사는 다음과 같은 핵심 원칙을 염두에 두었습니다:

  • 중단 없는 프로덕션: 비즈니스에 중요한 워크로드에서 조용한 회귀(regression)가 발생하는 것은 마이그레이션을 아예 하지 않는 것보다 못하므로, 에이전트는 먼저 각 워크로드를 평가하고 이동하기에 안전한 항목을 표시합니다.
  • 모든 변경 사항에 대한 제어: 무엇이 변경되고 무엇이 변경되지 않는지 확인하고, 제안된 각 편집 내용을 수락 또는 거부하며, 승인하지 않은 코드는 절대 건드리지 않는다는 신뢰를 제공합니다.
  • 깔끔한 복원: 서버리스 실행에 문제가 발생할 경우 몇 번의 클릭만으로 마이그레이션 전 상태로 되돌릴 수 있는 방법입니다.

이러한 세 가지 요구사항이 마이그레이션 에이전트의 작동 방식을 형성하며, 아래 워크플로는 마이그레이션 실행 방식을 정의합니다. 즉, 이동 가능한 항목을 평가하고, 변환하고, 변경 사항을 되돌릴 수 있도록 적용합니다.

Genie Migrate for Serverless의 주요 기능

  1. 평가(Assess): 작업과 노트북을 스캔하고 풀을 분류하여 지금 바로 이동할 수 있는 항목, 관리자가 필요한 항목, 아직 마이그레이션 준비가 되지 않은 항목을 파악할 수 있습니다.
  2. 변환(Translate): 서버리스에 필요한 워크로드의 인프라 및 코드 변경 사항을 제안하며, 각 항목은 검토할 수 있는 레이블이 지정된 diff(변경되는 내용과 유지되는 내용을 나란히 보여주는 보기)로 제공됩니다.
  3. 적용(Apply, 되돌리기 가능): 실행 중인 워크로드를 선점하지 않고 변환을 검증하여 적용하므로 원래 워크로드가 그대로 유지되며, 서버리스 실행이 정상이 아닐 경우 되돌릴 수 있습니다.

image2.png

에이전트는 Genie 내의 /compute migrate 슬래시 명령을 사용하여 모든 작업이나 노트북에서 실행됩니다. 완전 관리형 서비스이므로 스캔을 시작하기 위해 별도의 설정이 필요 없습니다. Databricks가 관리하므로 에이전트는 사용자의 작업 공간 내에서 작업 설정과 워크로드 코드를 읽습니다.

위에서 나열한 각 영역에 대해 조금 더 자세히 살펴보겠습니다.

평가

무언가를 수정하기 전에 에이전트는 작업과 노트북을 스캔하여 각 워크로드의 서버리스 준비 상태를 표시합니다. 풀을 수동으로 감사할 필요 없이 마이그레이션에 가장 적합한 워크로드를 한눈에 확인할 수 있으므로, 번거로운 수동 검색 및 분류 작업을 없애줍니다.

image1.png

외부 소스에 대한 간단한 참고 사항: 워크로드의 단일 진실 공급원(source of truth)이 작업 공간 외부(예: Databricks Asset Bundles로 관리되는 작업 또는 Git 폴더의 노트북)에 있는 경우, 에이전트는 아직 이를 마이그레이션할 수 없습니다. 해당 기능에 대한 지원은 곧 제공될 예정입니다.

변환

적격한 워크로드를 선택하면 마이그레이션 에이전트는 서버리스에 필요한 변경 사항을 제안하고 무언가가 작성되기 전에 검토를 위해 제시합니다. 사용자가 승인하기 전에는 어떠한 변경도 적용되지 않습니다.

마이그레이션 에이전트는 클래식과 서버리스 간에 다른 부분을 효과적으로 변환합니다:

  • 컴퓨팅 구성: 클래식 클러스터 설정이 서버리스 컴퓨팅 선택 항목에 매핑됩니다.
  • 환경 및 라이브러리: 라이브러리 목록이 서버리스 런타임에 맞춰 해결되고, 서버리스용 환경 정의가 합성됩니다.
  • Spark 구성: 계속 적용되는 설정은 유지되며, 적용되지 않는 설정은 조용히 삭제되는 대신 사용자가 결정할 수 있도록 표시됩니다.
  • 워크로드 코드: Spark Connect와 호환되지 않는 API 등 서버리스에서 실행되지 않는 패턴을 코드가 사용하는 경우, 에이전트는 이를 다시 작성하고 변경 사항을 diff로 보여줍니다.

코드 재작성을 포함한 모든 변경 사항은 검토 가능한 diff로 제공됩니다. 적용하기 전에 에이전트는 무엇이 변경되고 무엇이 변경되지 않는지 나란히 비교하여 보여주며, 이는 관리자나 온콜(on-call) 담당자에게 제시할 수 있는 명확한 계약 역할을 합니다.

Genie Migrate for Serverless를 사용하여 클래식 워크로드를 쉽게 마이그레이션하는 방법에 대한 최신 데모를 확인해 보세요.

Spark 설정이 여전히 필요한지 여부 등 에이전트가 확신하지 못하는 부분이 있는 경우, 설정을 임의로 제거하는 대신 해당 설정을 보고합니다. 정적 스캔에서는 사용되지 않는 것처럼 보이지만 런타임에 로드된 리스너가 해당 설정에 의존하고 있을 수 있습니다. 조용한 제거는 팀이 의존하는 텔레메트리를 누락시킬 수 있습니다. 에이전트는 이 결정을 사용자에게 맡깁니다.

적용

마이그레이션 적용은 가장 위험이 큰 단계이므로 Genie Migrate for Serverless는 이 단계에서 가장 보수적으로 작동합니다. 현재는 정확성에 대한 결정론적 검증을 수행하며, 향후 더 심층적인 런타임 검증이 추가될 예정입니다.

  • 적용 전 검증: 에이전트는 변환의 일관성을 확인하고, 라이브러리 종속성이 서버리스 런타임에 맞게 해결되는지, 구성이 깔끔하게 적용되는지 확인합니다. 이를 통해 내일의 SLA 시간 대신 워크로드 실행 전에 오류를 발견할 수 있습니다.
  • 모니터링되는 첫 번째 실행: 변경 사항이 복제된 작업에 적용되므로, 원래 작업에 승격하기 전에 서버리스에서 정상적으로 작동하는지 온디맨드로 복제본을 한 번 실행하여 확인할 수 있습니다. 따라서 첫 번째 서버리스 실행은 무인 상태가 아니라 사용자의 모니터링 하에 진행됩니다.

마이그레이션을 선택하지 않은 경우, 복제된 작업이나 노트북에 제안된 변경 사항은 적용되지 않습니다.

주의해야 할 점 한 가지는 변경된 버전을 사용하여 테스트한 경우, 그 사이에 서버리스가 프로덕션 테이블에 기록한 데이터를 이 기능이 되돌려주지는 않는다는 것입니다.

현재 검증은 정적 방식입니다. 워크로드를 실행하지 않고도 변환이 안전한지 확인하며, 증명된 부분과 증명되지 않은 부분을 솔직하게 보여줍니다. 더 심층적인 검증은 샌드박스 검증(Sandbox validation)을 통해 곧 제공될 예정입니다. 이를 통해 에이전트는 프로덕션 테이블에 영향을 주지 않고 격리된 샌드박스에서 마이그레이션된 워크로드를 실행할 수 있으며, 그 출력을 클래식 기준선과 비교하여 적용 후가 아니라 적용 전에 중요한 작업의 런타임 및 정확성 신호를 확인할 수 있습니다.

작업 일괄 마이그레이션

Genie에서 워크로드를 하나씩 마이그레이션하는 방식은 작업 수가 적을 때 유용합니다. 대규모 작업의 경우 Databricks CLI를 사용하여 백그라운드에서 Genie Migrate for Serverless를 실행할 수 있습니다. compute-migrations 명령 그룹을 사용하여 스크립트에서 여러 작업의 마이그레이션을 시작하면, 에이전트가 열린 Genie 세션 없이 각 작업의 서버리스 작업 복사본을 생성합니다. 마이그레이션을 검토하고 승인할 때까지 원본 작업은 변경되지 않으며, 승인하면 작업의 ID, 일정 및 권한이 유지됩니다. 대량 마이그레이션은 현재 작업(노트북 지원은 곧 제공 예정)을 지원하며 Databricks CLI 버전 1.24.0 이상이 필요합니다.

전체 그림

Genie Migrate for Serverless의 세 가지 핵심 기능을 다시 살펴보겠습니다.

  • 진단(Assess): 전체 작업에서 서버리스 마이그레이션 대상 여부를 식별하고 분류합니다.
  • 변환(Translate): 레이블이 지정된 검토 가능한 차이(diff) 형식으로 인프라 및 코드 변경 사항을 제안합니다.
  • 가역적 적용(Apply reversibly): 현재는 결정론적 검증을 수행하며, 샌드박스 검증 기능이 곧 추가될 예정입니다.

현재 에이전트를 사용하여 마이그레이션하기 좋은 워크로드와 향후 제공될 기능에 대한 간단한 요약은 다음과 같습니다.

image4.png

지금 시작하기

지금 바로 Genie Migrate for Serverless를 사용하여 워크로드를 서버리스로 이동할 수 있습니다. 시작하는 방법은 다음과 같습니다.

  1. 베타 켜기: 워크스페이스 미리보기 설정에서 Genie Migrate for Serverless를 활성화한 다음, 작업 또는 노트북의 Genie에서 /compute migrate을(를) 실행하여 대상 항목을 스캔합니다.
  2. 위험도가 낮은 워크로드 먼저 선택: 비즈니스 핵심 업무에 영향을 주기 전에 중요하지 않은 작업이나 노트북을 마이그레이션하여 흐름에 대한 확신을 가집니다.
  3. 적용 전 검토: 변경될 내용과 변경되지 않을 내용 패널을 읽고 제안된 각 변경 사항을 수락하거나 거부합니다.
  4. 첫 번째 서버리스 실행 모니터링: 마이그레이션된 워크로드가 정상적으로 실행되는지 확인합니다. 원본이 그대로 유지되므로 문제가 발생할 경우 되돌릴 수 있습니다.
  5. 범위 확장: 마이그레이션 대상인 나머지 작업을 마이그레이션하고, 관리자 조치가 필요한 배너를 사용하여 설정이 필요한 워크로드의 차단을 해제합니다.

Genie Migrate for Serverless는 현재 모든 작업 또는 노트북에서 Genie의 /compute migrate 명령을 통해 사용할 수 있습니다. 당사는 미리보기 고객과 함께 샌드박스 검증 기능을 적극적으로 구체화하고 있으며, 서버리스 마이그레이션을 더욱 빠르고 간단하며 쉽게 만들기 위해 에이전트를 지속적으로 발전시키고 있습니다.

자세히 보기:

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)

최신 게시물을 이메일로 받아보세요

블로그를 구독하고 최신 게시물을 이메일로 받아보세요.