더 빠르고 안전하며 간편해진 서버리스 마이그레이션
작성자: 피유시 싱, Vijay Raja , Feng Lu
Databricks의 서버리스 컴퓨팅은 데이터 및 AI 워크로드를 더 간단하고 빠르게 실행할 수 있는 방법을 제공합니다. 인프라 관리의 운영 부담을 덜어주고 프로비저닝, 확장, 최적화를 자동으로 처리하므로 팀은 비즈니스 성과에 집중할 수 있습니다. 서버리스를 통해 조직은 복잡한 클러스터를 관리하고 유지 관리할 필요 없이 더 빠르게 움직이고, 효율성을 개선하며, 클라우드 네이티브 컴퓨팅의 이점을 누릴 수 있습니다.
서버리스 사용량은 지난 1년 동안만 해도 몇 배나 증가했으며, 현재 수천 명의 고객 이 서버리스에서 노트북과 작업을 실행하고 있습니다. 대부분의 팀에는 인프라를 직접 관리하지 않으면서 비용 및 운영상의 이점을 얻기 위해 서버리스 환경으로 마이그레이션하려는 클래식 풀이 여전히 있습니다. 각 워크로드를 하나씩 이동하는 작업은 고객이 기존 워크로드에 서버리스의 이점을 적용하는 것을 가로막는 경우가 많습니다.
이러한 상황을 겪어보셨을 것입니다. 작업을 선택하고 서버리스로 전환한 다음 오류, 액세스 모드 비호환성, 적용되지 않는 Spark 설정, 클래식에는 설치되어 있지만 서버리스에는 설치되지 않은 라이브러리로 인해 문제가 발생합니다. 오후 시간이면 끝날 일이 몇 주 동안 이어지고, 대부분의 시간은 이전에 여러 번 수행했던 변환 작업에 소요됩니다.
이제 걱정하지 마세요! 오늘 베타 버전으로 제공되는 Genie Migrate for Serverless의 출시를 발표하게 되어 매우 기쁩니다. 이 도구는 Databricks 에이전트로, 클래식 컴퓨팅의 작업과 노트북을 서버리스 컴퓨팅으로 쉽고 간편하게 마이그레이션해 줍니다. 이제 워크로드 마이그레이션이 연구 프로젝트가 아니라 검토 및 승인 단계로 바뀝니다.
지금까지는 워크로드를 서버리스로 마이그레이션하는 작업이 수동으로 이루어졌습니다. 클래식 클러스터 설정이 서버리스에 어떻게 매핑되는지, 어떤 라이브러리가 해결되는지, 어떤 Spark 설정이 계속 적용되는지, 워크로드에 어떤 액세스 모드가 필요한지에 대한 지식은 엔지니어의 머릿속에 있거나, 노트북이나 작업을 실행하고 실패를 읽어보는 시행착오 속에서 얻어야 했습니다.
Genie Migrate for Serverless는 서버리스가 프로 비저닝과 확장을 플랫폼으로 가져온 것과 마찬가지로, 이러한 변환 작업을 엔지니어의 어깨에서 덜어 플랫폼이 직접 수행하도록 합니다. 사용자가 담당하는 부분은 판단력입니다. 즉, 지금 워크로드를 마이그레이션할지 여부, 제안된 변경 사항이 올바라 보이는지 여부, 마이그레이션된 실행이 정상적인지 여부를 판단하는 것입니다. 에이전트가 직접 변환을 처리하며, 변경 사항이 적용되기 전에 검토할 수 있도록 diff 형태로 제안합니다.
성공적인 서버리스 마이그레이션 도구를 구축하기 위해 당사는 다음과 같은 핵심 원칙을 염두에 두었습니다:
이러한 세 가지 요구사항이 마이그레이션 에이전트의 작동 방식을 형성하며, 아래 워크플로는 마이그레이션 실행 방식을 정의합니다. 즉, 이동 가능한 항목을 평가하고, 변환하고, 변경 사항을 되돌릴 수 있도록 적용합니다.

에이전트는 Genie 내의 /compute migrate 슬래시 명령을 사용하여 모든 작업이나 노트북에서 실행됩니다. 완전 관리형 서비스이므로 스캔을 시작하기 위해 별도의 설정이 필요 없습니다. Databricks가 관리하므로 에이전트는 사용자의 작업 공간 내에서 작업 설정과 워크로드 코드를 읽습니다.
위에서 나열한 각 영역에 대해 조금 더 자세히 살펴보겠습니다.
무언가를 수정하기 전에 에이전트는 작업과 노트북을 스캔하여 각 워크로드의 서버리스 준비 상태를 표시합니다. 풀을 수동으로 감사할 필요 없이 마이그레이션에 가장 적합한 워크로드를 한눈에 확인할 수 있으므로, 번거로 운 수동 검색 및 분류 작업을 없애줍니다.

외부 소스에 대한 간단한 참고 사항: 워크로드의 단일 진실 공급원(source of truth)이 작업 공간 외부(예: Databricks Asset Bundles로 관리되는 작업 또는 Git 폴더의 노트북)에 있는 경우, 에이전트는 아직 이를 마이그레이션할 수 없습니다. 해당 기능에 대한 지원은 곧 제공될 예정입니다.
적격한 워크로드를 선택하면 마이그레이션 에이전트는 서버리스에 필요한 변경 사항을 제안하고 무언가가 작성되기 전에 검토를 위해 제시합니다. 사용자가 승인하기 전에는 어떠한 변경도 적용되지 않습니다.
마이그레이션 에이전트는 클래식과 서버리스 간에 다른 부분을 효과적으로 변환합니다:
코드 재작성을 포함한 모든 변경 사항은 검토 가능한 diff로 제공됩니다. 적용하기 전에 에이전트는 무엇이 변경되고 무엇이 변경되지 않는지 나란히 비교하여 보여주며, 이는 관리자나 온콜(on-call) 담당자에게 제시할 수 있는 명확한 계약 역할을 합니다.
Genie Migrate for Serverless를 사용하여 클래식 워크로드를 쉽게 마이그레이션하는 방법에 대한 최신 데모를 확인해 보세요.
Spark 설정이 여전히 필요한지 여부 등 에이전트가 확신하지 못하는 부분이 있는 경우, 설정을 임의로 제거하는 대신 해당 설정을 보고합니다. 정적 스캔에서는 사용되지 않는 것처럼 보이지만 런타임에 로드된 리스너가 해당 설정에 의존하고 있을 수 있습니다. 조용한 제거는 팀이 의존하는 텔레메트리를 누락시킬 수 있습니다. 에이전트는 이 결정을 사용자에게 맡깁니다.
마이그레이션 적용은 가장 위험이 큰 단계이므로 Genie Migrate for Serverless는 이 단계에서 가장 보수적으로 작동합니다. 현재는 정확성에 대한 결정론적 검증을 수행하며, 향후 더 심층적인 런타임 검증이 추가될 예정입니다.
마이그레이션을 선택하지 않은 경우, 복제된 작업이나 노트북에 제안된 변경 사항은 적용되지 않습니다.
주의해야 할 점 한 가지는 변경된 버전을 사용하여 테스트한 경우, 그 사이에 서버리스가 프로덕션 테이블에 기록한 데이터를 이 기능이 되돌려주지는 않는다는 것입니다.
현재 검증은 정적 방식입니다. 워크로드를 실행하지 않고도 변환이 안전한지 확인하며, 증명된 부분과 증명되지 않은 부분을 솔직하게 보여줍니다. 더 심층적인 검증은 샌드박스 검증(Sandbox validation)을 통해 곧 제공될 예정입니다. 이를 통해 에이전트는 프로덕션 테이블에 영향을 주지 않고 격리된 샌드박스에서 마이그레이션된 워크로드를 실행할 수 있으며, 그 출력을 클래식 기준선과 비교하여 적용 후가 아니라 적용 전에 중요한 작업의 런타임 및 정확성 신호를 확인할 수 있습니다.
Genie에서 워크로드를 하나씩 마이그레이션하는 방식은 작업 수가 적을 때 유용합니다. 대규모 작업의 경우 Databricks CLI를 사용하여 백그라운드에서 Genie Migrate for Serverless를 실행할 수 있습니다. compute-migrations 명령 그룹을 사용하여 스크립트에서 여러 작업의 마이그레이션을 시작하면, 에이전트가 열린 Genie 세션 없이 각 작업의 서버리스 작업 복사본을 생성합니다. 마이그레이션을 검토하고 승인할 때까지 원본 작업은 변경되지 않으며, 승인하면 작업의 ID, 일정 및 권한이 유지됩니다. 대량 마이그레이션은 현재 작업(노트북 지원은 곧 제공 예정)을 지원하며 Databricks CLI 버전 1.24.0 이상이 필요합니다.
Genie Migrate for Serverless의 세 가지 핵심 기능을 다시 살펴보겠습니다.
현재 에이전트를 사용하여 마이그레이션하기 좋은 워크로드와 향후 제공될 기능에 대한 간단한 요약은 다음과 같습니다.

지금 바로 Genie Migrate for Serverless를 사용하여 워크로드를 서버리스로 이동할 수 있습니다. 시작하는 방법은 다음과 같습니다.
/compute migrate을(를) 실행하여 대상 항목을 스캔합니다.Genie Migrate for Serverless는 현재 모든 작업 또는 노트북에서 Genie의 /compute migrate 명령을 통해 사용할 수 있습니다. 당사는 미리보기 고객과 함께 샌드박스 검증 기능을 적극적으로 구체화하고 있으며, 서버리스 마이그레이션을 더욱 빠르고 간단하며 쉽게 만들기 위해 에이전트를 지속적으로 발전시키고 있습니다.
(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)
블로그를 구독하고 최신 게시물을 이메일로 받아보세요.