Lakebridge 소개: Databricks SQL로 무료 오픈 데이터 마이그레이션

저희는 엔터프라이즈 데이터 웨어하우스(EDW)를 Databricks SQL로 마이그레이션하는 과정을 단순화하고 가속화하는 무료 마이그레이션 도구인 Lakebridge를 소개하게 되어 기쁩니다.

많은 조직이 레거시 데이터 웨어하우스의 사일로화된 구조에서 벗어나 현대화하는 것은 더 빠른 인사이트 확보, 비용 절감, 그리고 Databricks의 개방형 통합 플랫폼에서의 분석 및 AI 워크로드 통합을 위해 매우 중요합니다. 하지만 마이그레이션은 종종 높은 위험을 수반하는 것으로 여겨집니다. 레거시 SQL 코드는 복잡하고, 종속성은 숨겨져 있으며, 문서화는 부족합니다. 번역된 로직을 검증하고, 데이터 품질을 보장하며, 수천 개의 SQL 스크립트와 저장 프로시저를 조정하는 작업은 가장 헌신적인 팀조차도 지연시킬 수 있습니다.

Lakebridge는 프로파일링, SQL 변환, 검증 및 조정 작업을 포함하여 마이그레이션 프로세스의 최대 80%를 자동화하여 이러한 과제를 극복하도록 돕습니다. 이를 통해 팀은 자신감을 가지고 더 빠르게 진행할 수 있습니다.

Lakebridge로 마이그레이션하면서 현대화하세요

Databricks SQL은 업계에서 가장 빠르게 성장하는 데이터 웨어하우스로, 가격 대비 성능, 효율성 및 AI 기반 인사이트로 인정받고 있습니다. 더 많은 조직이 Databricks를 개방적이고 유연한 데이터 아키텍처의 기반으로 선택함에 따라, Lakebridge는 마이그레이션이 더 이상 병목 현상이 아니라 전략적 이점이 되도록 보장합니다.

• 마이그레이션 범위 및 복잡성에 대한 명확한 통찰력
• 자동화되고 충실도가 높은 코드 변환 및 검증
• 데이터 정확성을 위한 마이그레이션된 워크로드의 쉬운 조정
• Databricks SQL로의 여정을 가속화하는 검증된 경로

Lakebridge는 리프트 앤 시프트(lift-and-shift) 및 하이브리드 마이그레이션 접근 방식es을 지원합니다. 하이브리드 접근 방식을 사용하면 첫날부터 모든 것을 현대화할 필요 없이, 미래 요구 사항에 맞춰 안정적인 기반 위에 구축할 수 있습니다.

Databricks로 빠르고 예측 가능한 마이그레이션

대규모 마이그레이션의 과제를 이해하는 숙련된 현장 엔지니어 및 실무자가 구축한 Lakebridge는 현대적이고 자동화 우선 접근 방식을 통해 레거시 시스템의 복잡성을 해결합니다. 또한 Lakebridge는 확장 가능하여 Databricks 파트너가 협업하고 기능을 기여하며 다양한 마이그레이션 요구 사항을 충족하도록 도구를 발전시킬 수 있습니다.

Lakebridge는 세 가지 주요 구성 요소를 통해 포괄적인 엔드투엔드 마이그레이션 경험을 제공합니다.

• Analyzer: 레거시 데이터 웨어하우스 환경에 대한 상세한 평가를 수행합니다.
• Converter: 레거시 ETL 워크플로 및 SQL 스크립트(저장 프로시저 포함)를 성능이 뛰어나고 호환되는 Databricks SQL 또는 Spark SQL 코드로 지능적으로 변환합니다.
• Validator: 내장된 조정 도구를 사용하여 데이터 정확성과 올바름을 보장합니다.

Lakebridge는 또한 마이그레이션 중 투명성과 제어를 지원하기 위해 Databricks 내에서 직접 대시보드와 보고서를 제공합니다. 이러한 보기를 통해 팀은 진행 상황을 추적하고, 결과를 검증하며, 진화하는 데이터 환경을 더 잘 이해하여 채택을 가속화하고 가치를 더 빠르게 제공할 수 있습니다.

이러한 기능을 통해 Lakebridge는 마이그레이션 작업의 최대 80%를 자동화하여 팀이 프로젝트 일정을 최대 2배까지 가속화하도록 돕습니다. 현재 Lakebridge는 10개 이상의 레거시 데이터 웨어하우스를 지원하며, 더 많은 웨어하우스가 곧 지원될 예정입니다.

더 나은 마이그레이션 계획

Lakebridge는 내장된 Analyzer 도구를 통해 레거시 환경에 대한 조기 상세 통찰력을 제공하여 마이그레이션 프로젝트의 불확실성을 줄입니다. 메타데이터와 레거시 코드를 스캔하여 테이블, 뷰, ETL 작업 및 저장 프로시저와 같이 마이그레이션이 필요한 모든 개체를 나열하고 워크로드를 낮음, 중간, 복잡, 매우 복잡으로 분류하는 다중 탭 보고서를 생성합니다.

이러한 통찰력을 통해 팀은 프로젝트 범위를 정확하게 지정하고, 비즈니스 영향에 따라 우선순위를 지정하며, 단계별 마이그레이션을 자신 있게 계획할 수 있습니다. 잠재적인 문제를 조기에 식별함으로써 Lakebridge는 더 원활한 실행, 더 나은 리소스 계획 및 더 효과적인 사용자 승인 테스트를 보장하여 궁극적으로 Databricks로의 전환을 더 예측 가능하고 관리하기 쉽게 만듭니다.

포괄적인 마이그레이션 솔루션

Lakebridge는 실제 복잡한 엔터프라이즈 마이그레이션을 처리하도록 설계되었으며, 도구, 소스 지원 및 자동화 전반에 걸쳐 강력한 기능을 제공합니다.

• 광범위한 소스 지원: Teradata, Snowflake, Oracle, SQL Server 등을 포함한 10개 이상의 주요 데이터 웨어하우스 및 ETL 도구에서 마이그레이션할 수 있습니다. 추가 커넥터는 Private Preview로 제공되며 지속적으로 추가됩니다. 자세한 내용은 계정 팀에 문의하십시오.
• 검증된 툴킷: Lakebridge는 Accenture, Capgemini, Celebal Technologies 및 Tredence와 같은 시스템 통합업체가 신뢰하는 마이그레이션 엔진인 BladeBridge의 검증된 기술을 통합합니다. 이러한 도구는 고급 SQL 구문 분석, 코드 변환 및 검증을 포함하여 수백 건의 성공적인 마이그레이션을 지원했습니다.
• 엔드투엔드 워크플로: 워크로드 검색 및 평가부터 코드 변환 및 데이터 검증까지, Lakebridge는 마이그레이션 라이프사이클의 모든 단계를 포괄합니다. Code Converter 및 Data Validator와 같은 도구는 프로세스 전반에 걸쳐 무결성과 성능을 보장합니다.
• 검증되고 예측 가능한 결과: 주요 기업 및 파트너가 채택한 기술을 기반으로 구축된 Lakebridge는 팀이 일정을 준수하고 현대화 목표를 달성하도록 돕습니다.

파트너 및 고객은 Lakebridge 위에 마이그레이션 도구를 구축할 수도 있습니다. 예를 들어, DoorDash는 Lakebridge를 사용하여 마이그레이션 팩토리를 구축했습니다.

현대적인 레이크하우스 아키텍처에서는 데이터 상호 운용성이 필수적입니다. 이를 통해 성능, 일관성 또는 개발자 속도를 저하시키지 않으면서 다양한 엔진과 팀 간에 원활하게 데이터에 액세스할 수 있습니다. Transaxle(Lakebridge 기반)과 같은 SQL 변환기는 이러한 상호 운용성을 현실로 만드는 데 중요합니다. 이러한 변환기는 방언 격차를 해소하고, 인적 오류를 줄이며, 공유 데이터 자산의 더 빠르고 협업적인 사용을 가능하게 합니다.—Harsha Venkat Annapa Reddy, Data Foundations Engineering Manager, DoorDash

Lakebridge는 또한 데이터를 개방형 형식, 카탈로그 및 기술로 마이그레이션하여 개방형 표준으로 현대화할 수 있도록 지원합니다. 이 솔루션은 BTEQ(Teradata), T-SQL(Microsoft) 및 PL/SQL(Oracle)과 같은 독점 구문을 Databricks SQL에서 원활하게 실행되는 개방형 ANSI 호환 SQL로 변환합니다. 이 접근 방식은 공급업체 종속성에서 벗어나 비즈니스가 Databricks의 개방적이고 상호 운용 가능하며 미래 지향적인 데이터 생태계의 이점을 최대한 활용할 수 있도록 합니다.

비즈니스 신뢰도 향상

데이터 웨어하우스 및 ETL 워크로드를 Databricks로 마이그레이션하는 것은 변혁적인 비즈니스 결정이지만, 비즈니스는 데이터 품질, 호환성 및 프로젝트 위험에 대해 확신을 가져야 합니다. Lakebridge는 데이터 웨어하우스 마이그레이션의 모든 단계를 명확하게 가시화하여 이러한 문제를 해결합니다. 실시간 대시보드, 자동화된 검증 및 엔드투엔드 추적 기능을 통해 Lakebridge는 비즈니스 리더가 마이그레이션의 다양한 단계를 거치면서 명확성과 확신을 가지고 진행할 수 있도록 보장하며, 마이그레이션을 불확실성의 원천에서 전략적 이점으로 전환합니다.

다음 단계

Databricks는 마이그레이션 프로세스를 더욱 빠르고 스마트하며 예측 가능하게 만들기 위해 지속적으로 개선하고 있습니다. 앞으로 몇 달 안에 고급 AI를 활용한 차세대 마이그레이션이 도입될 예정입니다.

곧 출시될 Lakebridge에는 다음이 포함될 예정입니다.

• 강화 학습을 활용하여 번역 정확도를 개선하는 Mosaic AI 기반 코드 변환.
• 데이터 이동 워크플로를 자동화하고 최적화하는 전용 데이터 마이그레이션 모듈.
• 직관적인 탐색, 마이그레이션 추적 및 검증 통찰력을 위한 그래픽 사용자 인터페이스(GUI).

이러한 개선 사항은 엔터프라이즈 요구 사항에 맞춰 구축된 GenAI 기반 마이그레이션 솔루션을 제공하려는 저희의 광범위한 비전의 일부이며, 가드레일이 적용된 대규모 언어 모델을 적용합니다. 일반적인 AI 도구와 달리 Lakebridge AI는 생성된 모든 출력이 검증되고, 추적 가능하며, 소스 논리에 기반하도록 목적에 맞게 구축되었습니다.

고객은 자체 속도에 맞춰 GenAI 기반 기능을 선택적으로 사용할 수 있어 마이그레이션 여정 전반에 걸쳐 더 큰 확신, 속도 및 제어력을 확보할 수 있습니다.

시작하기

Lakebridge Foundations는 이제 Databricks 고객 및 파트너에게 무료로 제공됩니다. 첫 마이그레이션을 계획하든 수백 개의 워크로드를 확장하든 Lakebridge는 자신 있게 현대화하는 데 필요한 자동화, 인텔리전스 및 안정성을 제공합니다.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)