Lakeflow Connect의 일반 공급 발표

Databricks에서 Lakeflow Connect의 정식 출시를 발표하게 되어 기쁩니다. 이 기능은 Salesforce Platform 및 Workday Reports를 지원합니다. Lakeflow Connect는 인기 있는 SaaS 애플리케이션, 데이터베이스 및 파일 소스를 위한 코드가 필요 없는 데이터 수집 커넥터를 제공하여 확장 가능한 데이터 수집 파이프라인을 구축하고 Databricks Data Intelligence Platform으로 데이터의 잠재력을 최대한 활용할 수 있도록 지원합니다. Salesforce 및 Workday 커넥터는 지난 7월 Lakeflow Connect 발표 이후 정식 출시된 첫 번째 관리형 커넥터이며, 앞으로 더 많은 커넥터가 출시될 예정입니다.

Lakeflow Connect의 관리형 데이터 커넥터는 서버리스 컴퓨팅으로 구동되며 AWS, Azure 및 GCP 전반에서 사용할 수 있습니다. 또한 거버넌스, 관찰 가능성 및 엔터프라이즈 보안을 위해 Data Intelligence Platform과 완벽하게 통합됩니다.

Lakeflow Connect는 데이터 수집, 변환 및 오케스트레이션을 위한 통합 엔지니어링 솔루션인 Lakeflow의 일부로 출시된 세 가지 구성 요소 중 첫 번째입니다. 변환을 위해서는 DLT와, 오케스트레이션을 위해서는 Databricks Workflows와 원활하게 작동합니다.

Porsche Holding, Insulet, Equiniti, Stroër SE & Co. 및 Flick와 같은 초기 도입 고객들은 이미 Lakeflow Connect를 사용하여 가장 어려운 데이터 문제를 해결하고 있습니다.

데이터 사일로로 인한 데이터 수집의 복잡성 및 비효율성

오늘날 SaaS 애플리케이션을 위한 데이터 수집 파이프라인을 직접 구축하고 유지 관리하는 것은 어렵습니다. 각 API는 고유하며 자주 변경되기 때문입니다. 한편, 데이터베이스 데이터 수집은 훨씬 더 복잡할 수 있으며, 추출 도구를 위한 가상 머신, 스트리밍을 위한 Kafka, 효율적인 데이터 수집을 위한 변경 데이터 캡처(CDC) 기술에 대한 깊은 이해와 같은 추가 인프라가 필요한 경우가 많습니다.

그 결과, 조직은 여러 파이프라인을 구축, 최적화 및 유지 관리하는 데 많은 시간을 소비합니다. 이는 프로젝트를 지연시키고 관리하기 어려운 파편화된 ETL 아키텍처를 만들 수 있습니다. 또한 숙련된 데이터 엔지니어들이 전략적 혁신 개발 대신 데이터 이동 및 파이프라인 모니터링에 시간을 할애하게 만듭니다.

Salesforce 및 Workday에 대한 내장형 데이터 수집 지원

Lakeflow Connect는 UI에서 몇 번의 클릭 또는 몇 줄의 코드로 프로덕션 준비가 된 파이프라인을 쉽게 생성할 수 있도록 하여 이러한 문제를 해결합니다. 내부적으로는 증분 업데이트와 최적화된 API 사용을 통해 효율적인 데이터 수집을 지원합니다. 관리형 파이프라인이 실행되는 동안 스키마 변경, 타사 API 업그레이드 및 내장 알림을 통한 포괄적인 관찰 가능성을 저희가 처리합니다.

"Salesforce 커넥터를 사용하여 네 개의 서비스를 성공적으로 폐기했으며, 이는 기술 스택을 크게 간소화하고 비용을 절감했습니다. 이 통합은 아키텍처를 단순화했을 뿐만 아니라 운영 효율성을 향상시켜 더 적은 리소스로 더 많은 가치를 제공하는 데 집중할 수 있게 해주었습니다." — Simon Salmeri, Head of Data Platform, Ströer

Salesforce Platform용 Lakeflow Connect를 사용하면 Databricks의 고급 분석 및 AI 도구와 Salesforce의 CRM 데이터를 결합하여 더 효과적인 영업 경험을 구축할 수 있습니다. 판매 추세를 예측하고, 고객 행동에 대한 통찰력을 심화하며, 개인화된 참여 전략을 수립할 수 있습니다. 이 커넥터는 사용자 지정 개체 및 수식 필드와 같은 Salesforce별 요구 사항을 지원합니다.

“마케팅 세분화 사용 사례에 Lakeflow Connect Salesforce 커넥터를 사용하고 있습니다. 저희 Salesforce 데이터에는 고객에 대한 중요한 정보가 담겨 있으며, 이 커넥터는 이 데이터 세트를 저희 레이크하우스로 가져오는 데 필요한 마지막 조각이었습니다… 이제 고객을 더 잘 이해하고 고객 경험을 개선하는 여정의 시작점에 서 있습니다.” — Ana-Maria Mocanu, Data and Insights Lead, Flick

Databricks와 Salesforce는 2023년에 공동 고객을 위한 강력한 통합을 구축하기 위한 전략적 파트너십을 발표했습니다. 그 이후로 저희는 고객이 Unity Catalog에서 직접 Salesforce Data Cloud를 검색, 쿼리 및 관리할 수 있도록 제로 복사 Salesforce Data Cloud 커넥터를 출시했습니다. Salesforce Platform용 Lakeflow Connect와 함께 사용하면 고객이 Databricks에서 CRM 데이터를 활용하는 방법에 대한 선택권을 제공합니다.

Workday용 Lakeflow Connect는 간단하고 유지 관리가 적은 데이터 수집을 제공합니다. 직원 인력에 대한 중앙 집중식 분석을 위해 사용자 지정 Workday 보고서에 액세스할 수 있습니다.

두 커넥터 모두 Data Intelligence Platform과 원활하게 통합되므로 다음을 사용할 수 있습니다.

• 데이터가 계속 스트리밍됨에 따라 선언적으로 데이터를 변환하고 변환을 점진적으로 업데이트하는 DLT
• 이러한 파이프라인을 오케스트레이션하는 Databricks Workflows
• 지속적인 통합 및 배포를 관리하는 Databricks Asset Bundles(DABs)
• 비즈니스 가치를 창출하는 고급 분석 및 머신러닝 도구
• 데이터 및 파이프라인을 관리하는 Unity Catalog
• 데이터 품질을 유지하는 Lakehouse Monitoring

고부가가치 비즈니스 사용 사례 추진

Lakeflow Connect는 고객 행동 이해, HR 데이터 분석 또는 추가 판매 기회 식별과 같은 다양한 산업 분야에서 고부가가치 사용 사례를 실현하는 데 도움이 됩니다.

일반적인 사용 사례는 고객 이탈 예측입니다. 아래 동영상에서는 소매업체가 Salesforce 고객 주문 데이터를 수집하고 다른 채널의 고객 상호 작용과 결합하여 통찰력을 강화함으로써 이를 수행하는 방법을 보여줍니다.

데모: Lakeflow Connect for Salesforce를 사용하여 고객 이탈을 예측하는 방법.

또 다른 사용 사례는 경영진 및 지원팀을 위한 고객 지원 대시보드를 만드는 것입니다. 이 단계별 블로그 게시물에서 볼 수 있듯이 LLM을 사용하여 대시보드에 나타나는 추세를 진단할 수도 있습니다.

인사 부서의 경우 Workday 커넥터를 사용하여 직원 이직과 같은 HR 추세를 추적하고 예측하는 데 도움이 될 수 있습니다. 예를 들어 관련 Workday 보고서를 수집하고 DLT로 변환한 다음 결과를 AI/BI 대시보드에 통합할 수 있습니다.

수백 명의 고객이 Lakeflow Connect 사용

고객들은 이미 Lakeflow Connect를 사용하여 다양한 소스의 데이터를 수집하고 있습니다.

세계에서 가장 성공적인 자동차 회사 중 하나인 Porsche Holding Salzburg(Porsche)는 23개국에서 운영되는 유럽 최대의 자동차 소매 회사입니다. Porsche는 데이터 통합 문제를 해결하고 Salesforce Sales Cloud의 고객 데이터에 대한 액세스를 간소화하고자 했습니다. Lakeflow Connect를 사용하여 Porsche는 Salesforce에서 데이터를 수집하고, 배치 및 스트리밍 모드로 변환하고, 프로덕션에서 파이프라인을 배포 및 운영할 수 있었습니다. 오늘날 Databricks Data Intelligence Platform은 Porsche 그룹의 데이터 플랫폼의 핵심을 형성합니다. Lakeflow Connect를 사용한 Porsche의 성공 사례에 대해 자세히 알아보세요.

“Lakeflow Connect의 Salesforce 커넥터를 사용하면 비즈니스 측면에서 사용 편의성과 가격 면에서 Porsche의 중요한 격차를 해소하는 데 도움이 됩니다. 고객 측면에서는 통합되고 파편화되지 않은 고객 여정을 통해 Porsche와 고객 간의 유대감을 강화하는 완전히 새로운 고객 경험을 창출할 수 있습니다.” — Lucas Salzburger, Project Manager, Porsche Holding

Insulet는 옴니팟 제품 플랫폼을 개발한 의료 기기 회사이며, Lakeflow Connect를 조기에 도입했습니다. 당뇨병 및 기타 질환을 앓고 있는 사람들의 삶을 단순화하겠다는 사명으로 CRM 인사이트를 활용하여 고객의 요구를 더 잘 이해하고자 했습니다. Salesforce 커넥터를 사용하여 ETL 지연 시간을 며칠에서 몇 분으로 단축하여 거의 실시간 인사이트로 고객 문제 해결 프로세스를 개선했습니다.

“Lakeflow Connect의 Salesforce 커넥터는 고객 피드백, 판매 데이터 및 서비스 상호 작용을 Salesforce CRM에서 Databricks로 직접 수집할 수 있게 해주었기 때문에 특히 중요했습니다. Lakeflow Connect는 Salesforce 데이터를 처리하는 방식을 완전히 바꾸어 놓았습니다. 불안정한 미들웨어를 제거하고 이제 Databricks에서 모든 것을 더 빠르고 수동적인 노력 없이 분석할 수 있습니다.” — Bill Whiteley, Insulet AI, Analytics 및 Advanced Algorithms 수석 이사

Equiniti(EQ)는 주주, 연금 및 구제 서비스 분야의 글로벌 리더이며, 운영에 데이터와 인사이트를 중앙 집중화하고자 했습니다. Salesforce, Workday 및 SQL Server용 Lakeflow Connect를 사용하여 EQ는 수집 문제를 원활하게 해결하여 136개국에 걸쳐 6,000개 회사에 대한 고객 경험을 향상시키기 위해 Mosaic AI를 사용하는 데 중요한 엔지니어링 인력을 확보했습니다. EQ의 경우 핵심 플랫폼에 대한 코드 없는 통합을 원활하게 생성하는 기능은 시간과 추가 비용을 절약하여 Gen AI 애플리케이션과 같은 가치 승수(value multiplier)에 집중할 수 있게 했습니다. EQ가 3단계로 안전하고 통합된 데이터 및 AI 플랫폼을 구축한 방법 알아보기.

Lakeflow Connect 시작하기

이제 데이터 팀은 몇 번의 클릭이나 몇 줄의 코드로 Lakeflow Connect를 사용하여 효율적이고 점진적인 파이프라인을 대규모로 구축할 수 있습니다. Salesforce 또는 Workday 커넥터로 오늘 시작하여 고객 이탈 예측, 개인화된 고객 분석 실행, 업셀 기회 식별과 같은 가치 높은 사용 사례를 잠금 해제하세요.

Lakeflow Connect의 로드맵에는 SQL Server, Google Analytics, ServiceNow, SFTP, SharePoint 및 PostgreSQL과 같은 추가 커넥터가 포함됩니다. 올해 더 많은 발표를 기대하거나 미리 액세스하여 미리 보기 프로그램에 참여하는 데 관심이 있다면 Databricks 계정 팀에 문의하세요.

Lakeflow Connect는 컴퓨팅 기반 가격 책정 모델을 사용합니다. 서버리스 인프라에서 독점적으로 실행되는 Salesforce 및 Workday는 서버리스 DLT DBT 요금이 발생합니다. 요금에 대한 자세한 내용을 확인하세요.

Salesforce 및 Workday용 Lakeflow Connect를 시작하려면 설명서를 검토하거나 이 솔루션 가속기를 사용해 보세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)