Lakeflow Connect의 SQL Server 커넥터 정식 출시 발표

Lakeflow Connect에서 제공하는 SQL Server 커넥터 정식 출시를 발표하게 되어 기쁩니다. 이 완전 관리형 커넥터는 내장된 CDC(Change Data Capture) 및 CT(Change Tracking)를 통해 안정적이고 프로덕션급 데이터 수집을 위해 설계되었습니다. 맞춤형 파이프라인이나 복잡한 도구가 필요 없으므로 데이터 수집을 단순화하고, 데이터 최신성을 보장하며, 운영 오버헤드를 줄여 인사이트를 가속화합니다. 또한, BI 우선 마이그레이션의 경우, 기본 제공되는 CDC 지원을 통해 분석 워크로드를 지속적으로 최신 상태로 유지하여 기업에서 필요로 하는 성능, 보안 및 확장성을 통해 SQL Server 데이터를 레이크하우스로 더 쉽게 가져올 수 있습니다.

Microsoft SQL Server는 세계에서 가장 중요한 비즈니스 애플리케이션의 기반이 되지만, 해당 데이터는 종종 분석이 아닌 트랜잭션에 특화된 시스템에 잠겨 있습니다. 기업이 이러한 워크로드를 lakehouse로 옮길 때, 안정적인 데이터 수집이 중요합니다. 기존의 데이터 수집 파이프라인은 구축하기 복잡하고 유지 관리 비용이 많이 들며 프로덕션 시스템에 과부하를 줄 수 있습니다. 여러 인스턴스와 온-프레미스 및 클라우드 하이브리드 환경은 관리하기 어려운 임시 솔루션으로 이어집니다. SQL Server 커넥터 by Lakeflow Connect 는 고급 분석 및 AI를 위해 SQL Server 데이터를 활용하는 완전 관리형의 간소화되고 관리되는 솔루션으로 이러한 문제를 해결합니다.

다양한 SQL Server 데이터베이스 환경에 대한 기본 데이터 수집 지원

SQL Server 커넥터 를 사용하면 다양한 SQL Server 환경에서 lakehouse로 데이터를 쉽게 수집하여 다음과 같은 조직 전체의 분석 및 비즈니스 인텔리전스에 사용할 수 있습니다. 

• Azure SQL
• Azure SQL Managed Instance
• SQL Server용 AWS RDS
• GCP의 SQL Server
• 온-프레미스 SQL Server 배포  

이 커넥터는 포인트 앤 클릭 UI 또는 간단한 API로 쉽게 설정할 수 있으며 기존 워크플로우와 원활하게 통합되며 Databricks와 깊이 있는 플랫폼 통합을 제공합니다. 예를 들어, Databricks Asset Bundles 또는 Databricks Terraform provider를 통해 CI/CD 관행에 맞춰 사용할 수 있습니다.

또한 효율성을 위해 구축되었습니다. 이 커넥터는 전체 새로 고침을 실행할 필요 없이 증분적 수집을 위해 CDC 및 CT를 모두 지원합니다. 새로운 레코드 또는 업데이트된 레코드만 캡처함으로써 고객은 lakehouse를 지속적으로 최신 상태로 유지하여 가치 있는 비즈니스 통찰력을 제공하고 의사 결정을 가속화하며 비용을 절감할 수 있습니다.

고객 세부 정보, 제품 속성 또는 조직 구조와 같이 시간이 지남에 따라 데이터 변경 사항을 관리해야 하는 조직의 경우 Lakeflow Connect는 또한 SCD(Slowly Changing Dimensions) Type 2를 사용하여 기록 변경 사항을 추적하는 즉시 사용 가능한 지원을 제공하여 현재 값과 함께 기록 변경 사항을 추적하는 데 중요한 기능의 복잡성을 줄여줍니다. 

Enterprise 고객은 Lakeflow Connect로 임팩트를 창출합니다.

1년 전에 출시된 이후 2,000명 이상의 고객이 Lakeflow Connect를 사용하여 가장 중요한 비즈니스 데이터를 수집하여 긍정적인 결과를 이끌어냈습니다.

예를 들어, Cirrus Aircraft Limited는 1984년에 설립되어 전 세계에서 프리미엄 항공기를 설계, 개발, 제조 및 판매합니다. SQL Server 커넥터의 초기 사용자인 이들은 여러 하이브리드 SQL Server 환경에서 lakehouse로 데이터를 이동하여 팀에 더 가치 있는 데이터를 제공해야 했습니다. 간단한 설정과 효율적인 증분 수집을 통해 커넥터를 통해 Cirrus는 파이프라인 통합 및 유지 관리에서 비즈니스에 중요한 영향을 미치는 전략적 이니셔티브로 전환할 수 있었습니다.

"Lakeflow Connect의 SQL Server 커넥터는 획기적입니다. 저희는 하이브리드 환경에서 수백 개의 테이블을 몇 달이 아닌 며칠, 때로는 몇 시간 만에 마이그레이션했습니다. 진정한 성과는 개발자들이 더 많은 시간을 들여 비즈니스에 더 가치 있는 데이터와 통찰력을 제공할 수 있다는 것입니다.— Nick Patullo, 데이터 엔지니어 Sr., Cirrus Aircraft Limited

또 다른 Databricks 고객인 Australian Red Cross Lifeblood 는 호주 정부의 자금 지원을 받아 생명을 살리는 혈액, 혈장, 이식 및 생물학적 제품(모유 및 FMT 포함)을 제공하여 1,050만 명의 자격 있는 기증자들과 함께 세계 최고의 건강 결과를 제공합니다. 그들은 Lakeflow 및 SQL Server 커넥터를 사용하여 안정적이고 유지 관리 가능한 파이프라인을 빠르고 일관되게 구축합니다. 온디맨드 프레젠테이션을 시청하여 자세히 알아보세요. “번아웃에서 돌파구까지: 데이터 엔지니어링에 대한 새로운 접근 방식” 의 일부이거나 2025 Data + AI Summit 세션인 “Datavault에서 Delta Lake까지: Lakeflow Connect를 사용하여 데이터 동기화 간소화”를 시청하세요.

"Databricks Lakeflow Connect는 복잡한 데이터 엔지니어링 없이 데이터를 lakehouse로 전달하는 간단하고 안정적인 SQL Server 커넥터를 제공합니다.” — Dr. Andrew Clarke, 수석 AI/ML 엔지니어, 호주 적십자사 혈액원

Ubisoft 는 독창적이고 기억에 남는 엔터테인먼트 경험을 통해 플레이어의 삶을 풍요롭게 하기 위해 노력하는 세계 제작자입니다. Ubisoft의 글로벌 팀은 Assassin’s Creed®, Just Dance® 등과 같은 브랜드가 포함된 깊고 다양한 게임 포트폴리오를 제작하고 개발합니다.  2024-25 회계 연도에 Ubisoft는 18억 5천만 유로의 순 매출을 기록했습니다. 

Ubisoft는 주요 프로젝트에서 SQL Server 데이터를 실행 가능한 게임 제작 통찰력으로 변환하는 데 도움이 되도록 Lakeflow Connect의 SQL Server 커넥터를 브랜드 전반에 걸쳐 구현하기를 기대하고 있습니다. — Valéry Simon, 데이터 플랫폼 및 엔지니어링 이사, Ubisoft

Databricks를 통해 다양한 SQL Server 사용 사례를 활용하세요

SQL Server 커넥터를 사용하면 고객 360, 포트폴리오 관리, 소비자 분석, 의미 있는 영향을 미치도록 돕는 내부 챗봇과 같은 광범위한 산업별 사용 사례를 사용할 수 있습니다. 

예를 들어, 소매 마케팅에서 고객 360 사용 사례는 고객 페르소나를 적절한 프로모션에 매칭해야 할 수 있으며, 이는 종종 다음과 같은 사일로화된 시스템의 데이터를 함께 연결하는 것을 의미합니다. 

• SQL Server operational 데이터: 프로모션, 재고, 거래
• Salesforce 고객 데이터: 이메일, 거래, 페르소나

문제는 SQL Server가 또한 중요 애플리케이션의 기반이 되므로, 과도한 쿼리를 실행하거나 전체 새로 고침을 수행하면 지연 시간이 발생하고 운영 성능에 영향을 미칠 수 있다는 것입니다.

Lakeflow Connect를 사용하면 복잡한 파이프라인이나 운영상의 영향 없이 데이터가 레이크하우스로 원활하게 흐릅니다. SQL Server 커넥터는 기본 제공 CDC 및 CT를 통해 다중 환경 수집을 지원하는 반면 Salesforce 커넥터는 Salesforce core에서 데이터를 점진적으로 수집합니다. 결과적으로, 그들은 관리되고 분석 준비가 된 Customer 360 뷰를 제공하여 통찰력을 가속화하고 취약한 타사 도구 또는 사용자 지정 코드의 필요성을 제거합니다.

Lakeflow Connect를 사용한 고객 360 유스 케이스

Lakeflow Connect 시작하기

Lakeflow Connect 는 인기 있는 애플리케이션, 데이터베이스, 클라우드 스토리지 소스, 메시지 버스 등에서 데이터를 수집할 수 있는 간단하고 효율적인 커넥터를 제공합니다. 6월 Data + AI Summit 이후, Lakeflow Connect에서 지원하는 데이터 소스의 범위를 지속적으로 확장해 왔습니다. ServiceNow 및 Google Analytics 커넥터가 이제 GA이며, Zerobus Ingest, SharePoint, PostgreSQL 및 SFTP에 대한 더 많은 릴리스가 제공될 예정입니다. 또한 Oracle DB, MySQL, Teradata 등과 같은 데이터베이스 및 데이터 웨어하우스 소스에 대한 새로운 쿼리 기반 커넥터가 곧 미리보기로 제공될 예정입니다.  참여에 관심이 있으시면 계정 팀에 문의하세요. 

SQL Server 커넥터로 지금 시작하여 고가치 유스 케이스를 여는 데 도움을 받으세요. SQL Server 및 최신 기능 설정 방법,요금 에 대한 자세한 내용은 SQL Server 설명서 를 참조하세요. 새로운 "Databricks를 사용한 데이터 엔지니어링" YouTube 동영상 시리즈 를 통해 Lakeflow 기능에 대해 자세히 알아보거나 Databricks의 Lakeflow Connect 과정 에 등록할 수 있습니다.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)