Anunciando a Disponibilidade Geral do Lakeflow Connect

Temos o prazer de anunciar a Disponibilidade Geral (GA) do Lakeflow Connect para Salesforce Platform e Workday Reports. O Lakeflow Connect introduz conectores de ingestão sem código para aplicações SaaS populares, bancos de dados e fontes de arquivos, permitindo que você crie pipelines de ingestão escaláveis e libere todo o poder dos seus dados com a Databricks Data Intelligence Platform. Os conectores Salesforce e Workday são os primeiros conectores gerenciados a serem lançados em GA desde o anúncio do Lakeflow Connect em julho passado, com muitos outros a caminho.

Os conectores de dados gerenciados do Lakeflow Connect são alimentados por computação serverless e estão disponíveis em AWS, Azure e GCP. Eles são totalmente integrados com a Data Intelligence Platform para governança, observabilidade e segurança corporativa.

O Lakeflow Connect é o primeiro de três componentes lançados como parte do Lakeflow, a solução unificada de engenharia para ingestão, transformação e orquestração. Ele funciona perfeitamente com DLT para transformação e Databricks Workflows para orquestração.

Adotantes iniciais como Porsche Holding, Insulet, Equiniti, Stroër SE & Co. e Flick já estão usando o Lakeflow Connect para resolver alguns de seus desafios de dados mais difíceis.

Silos de dados causam complexidade e ineficiência na ingestão

Hoje, é difícil criar e manter pipelines de ingestão para aplicações SaaS por conta própria, pois cada API é única e muda com frequência. Enquanto isso, a ingestão de bancos de dados pode ser ainda mais complexa, muitas vezes exigindo infraestrutura adicional, como máquinas virtuais para ferramentas de extração, Kafka para streaming e um bom entendimento de tecnologias de captura de dados de alteração (CDC) para ingestão eficiente.

Como resultado, as organizações gastam muito tempo construindo, otimizando e mantendo uma colcha de retalhos de pipelines. Isso atrasa projetos e pode criar uma arquitetura ETL fragmentada que é difícil de governar. Também força engenheiros de dados altamente qualificados a gastar tempo movendo dados e monitorando pipelines em vez de desenvolver inovações estratégicas.

Suporte de ingestão de dados integrado para Salesforce e Workday

O Lakeflow Connect elimina esses desafios, facilitando a criação de pipelines prontos para produção com alguns cliques na interface do usuário ou algumas linhas de código. Nos bastidores, a ingestão é eficiente, com atualizações incrementais e uso otimizado de API. À medida que seus pipelines gerenciados são executados, cuidamos da evolução do esquema, atualizações perfeitas de API de terceiros e observabilidade abrangente com alertas integrados.

"Com o conector Salesforce, desativamos com sucesso quatro serviços, o que simplificou significativamente nossa pilha de tecnologia e reduziu nossos custos. Essa integração não apenas simplificou nossa arquitetura, mas também melhorou nossa eficiência operacional, permitindo-nos focar em entregar mais valor com menos recursos." — Simon Salmeri, Head of Data Platform, Ströer

O Lakeflow Connect para Salesforce Platform permite que você combine as ferramentas avançadas de análise e IA da Databricks com os dados de CRM do Salesforce para criar uma experiência de vendedor mais eficaz: prevendo tendências de vendas, aprofundando insights sobre o comportamento do cliente e personalizando estratégias de engajamento. O conector suporta requisitos específicos do Salesforce, como objetos personalizados e campos de fórmula.

“Temos usado o conector Salesforce do Lakeflow Connect para um caso de uso de segmentação de marketing. Nossos dados do Salesforce contêm informações cruciais sobre nossos clientes, e o conector tem sido a peça que faltava para trazer esse conjunto de dados para nosso lakehouse… Estamos apenas no começo de entender melhor nossos clientes e melhorar a experiência deles.” — Ana-Maria Mocanu, Data and Insights Lead, Flick

A Databricks e o Salesforce anunciaram uma parceria estratégica em 2023 para construir integrações robustas para nossos clientes conjuntos. Desde então, lançamos o conector Salesforce Data Cloud sem cópia para que os clientes possam descobrir, consultar e governar o Salesforce Data Cloud diretamente do Unity Catalog. Combinado com o Lakeflow Connect para Salesforce Platform, oferecemos aos clientes opções sobre como eles desejam alavancar seus dados de CRM na Databricks.

O Lakeflow Connect para Workday também oferece ingestão simples e de baixa manutenção. Você pode acessar relatórios personalizados do Workday para análise centralizada de sua força de trabalho.

Ambos os conectores se integram perfeitamente à Data Intelligence Platform, para que você possa usar:

• DLT para transformar dados declarativamente e atualizar transformações incrementalmente à medida que os dados continuam a chegar em streaming
• Databricks Workflows para orquestrar esses pipelines
• Databricks Asset Bundles (DABs) para gerenciar integração e entrega contínuas
• Ferramentas avançadas de análise e machine learning para impulsionar o valor de negócios
• Unity Catalog para governar seus dados e pipelines
• Lakehouse Monitoring para manter a qualidade dos seus dados

Impulsionando casos de uso de negócios de alto valor

O Lakeflow Connect ajuda a desbloquear casos de uso de alto valor em vários setores, como entender o comportamento do cliente, analisar dados de RH ou identificar oportunidades de upsell.

Um caso de uso comum é prever o churn de clientes. No vídeo abaixo, demonstramos como um varejista pode fazer isso ingerindo dados de pedidos de clientes do Salesforce e combinando-os com interações de clientes em outros canais para insights enriquecidos.

Demo: Como usar o Lakeflow Connect para Salesforce para prever o churn de clientes.

Outro caso de uso é criar um painel de suporte ao cliente para executivos e equipes de suporte. Você pode até usar LLMs para diagnosticar as tendências que aparecem no painel, como mostrado neste post detalhado no blog.

Para departamentos de recursos humanos, o conector Workday pode ajudar a rastrear e prever tendências de RH, como rotatividade de funcionários. Por exemplo, você pode ingerir relatórios relevantes do Workday, transformá-los com DLT e incorporar os resultados em um painel de IA/BI.

Centenas de clientes usando o Lakeflow Connect

Os clientes já estão ingerindo dados de uma variedade de fontes com o Lakeflow Connect.

Como uma das empresas automotivas de maior sucesso do mundo, a Porsche Holding Salzburg (Porsche) é a maior empresa de varejo automotivo da Europa, com operações em 23 países. A Porsche queria resolver seus desafios de integração de dados e simplificar o acesso aos seus dados de clientes no Salesforce Sales Cloud. Usando o Lakeflow Connect, a Porsche conseguiu ingerir dados do Salesforce, transformá-los em modos batch e streaming, e implantar e operar os pipelines em produção. Hoje, a Databricks Data Intelligence Platform forma o núcleo da Plataforma de Dados do grupo Porsche. Saiba mais sobre o sucesso da Porsche usando o Lakeflow Connect.

“Usar o conector Salesforce do Lakeflow Connect nos ajuda a fechar uma lacuna crítica para a Porsche do lado do negócio em termos de facilidade de uso e preço. Do lado do cliente, conseguimos criar uma experiência de cliente totalmente nova que fortalece o vínculo entre a Porsche e o cliente com uma jornada do cliente unificada e não fragmentada.” — Lucas Salzburger, Gerente de Projeto, Porsche Holding

Insulet é uma empresa de dispositivos médicos que desenvolveu a plataforma de produtos Omnipod e foi uma das primeiras a adotar o Lakeflow Connect. Com a missão de simplificar a vida de pessoas com diabetes e outras condições, eles buscaram aproveitar os insights de seu CRM para entender melhor as necessidades de seus clientes. Eles usaram o conector Salesforce para reduzir a latência de ETL de dias para minutos, melhorando o processo de resolução para seus clientes com insights quase em tempo real.

“O conector Salesforce do Lakeflow Connect foi especialmente importante, pois nos permitiu ingerir diretamente o feedback do cliente, dados de vendas e interações de serviço do Salesforce CRM no Databricks. O Lakeflow Connect mudou completamente a forma como lidamos com os dados do Salesforce. Eliminamos middlewares não confiáveis e agora podemos analisar tudo diretamente no Databricks - de forma mais rápida e com menos esforço manual.” — Bill Whiteley, Senior Director of AI, Analytics and Advanced Algorithms, Insulet

Equiniti (EQ) é líder global em serviços de acionistas, pensões e remediação, e eles queriam centralizar dados e insights em suas operações. Usando o Lakeflow Connect para Salesforce, Workday e SQL Server, a EQ resolveu a ingestão de forma integrada, liberando talentos de engenharia críticos para se concentrarem no uso do Mosaic AI para aprimorar a experiência do cliente de suas 6.000 empresas em 136 países. Para a EQ, a capacidade de criar integrações sem código de forma integrada às suas plataformas principais os ajudou a economizar tempo e custos adicionais, permitindo que se concentrassem em multiplicadores de valor como aplicativos Gen AI. Saiba como a EQ construiu uma plataforma de dados e IA segura e unificada em três etapas.

Começando com o Lakeflow Connect

As equipes de dados agora podem usar o Lakeflow Connect para construir pipelines incrementais eficientes em escala, com apenas alguns cliques ou linhas de código. Comece hoje mesmo com o conector Salesforce ou Workday para ajudar a desbloquear casos de uso de alto valor, como prever o churn de clientes, executar análises personalizadas de clientes e identificar oportunidades de upsell.

O roteiro do Lakeflow Connect inclui conectores adicionais como SQL Server, Google Analytics, ServiceNow, SFTP, SharePoint e PostgreSQL. Fique atento a mais anúncios este ano ou entre em contato com sua equipe de contas Databricks se estiver interessado em participar de uma prévia para acesso antecipado.

O Lakeflow Connect possui um modelo de precificação baseado em computação. Salesforce e Workday, que rodam exclusivamente em infraestrutura serverless, incorrerão em cobranças DLT DBT serverless. Veja mais detalhes sobre tarifas.

Para começar com o Lakeflow Connect para Salesforce e Workday, você pode revisar a documentação ou experimentar este acelerador de solução.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original