Apresentando o conector SQL Server do Lakeflow Connect, agora disponível para uso geral

Estamos animados em anunciar a Disponibilidade Geral do conector do SQL Server do Lakeflow Connect. Este conector totalmente gerenciado foi projetado para ingestão confiável em nível de produção com Change Data Capture (CDC) e Change Tracking (CT) integrados. Ao remover a necessidade de pipelines personalizados ou ferramentas complexas, ele simplifica a ingestão, garante a atualização dos dados e reduz a sobrecarga operacional para acelerar os insights. Além disso, para migrações BI-first, o suporte CDC integrado mantém as cargas de trabalho de análise continuamente atualizadas, facilitando a transferência de dados do SQL Server para o lakehouse com o desempenho, a segurança e a escalabilidade que as empresas exigem.

O Microsoft SQL Server alimenta alguns dos aplicativos mais críticos para os negócios do mundo, mas seus dados costumam ficar bloqueados em um sistema construído especificamente para transações, não para análises. À medida que as organizações movem essas cargas de trabalho para o lakehouse, a ingestão confiável é fundamental. Os pipelines de ingestão tradicionais são complexos de construir, caros de manter e podem sobrecarregar os sistemas de produção, enquanto várias instâncias e ambientes híbridos on-premises e na nuvem levam a soluções remendadas que são difíceis de governar. O conector SQL Server do Lakeflow Connect resolve esses desafios com uma solução totalmente gerenciada, simplificada e governada que desbloqueia os dados do SQL Server para análises avançadas e IA.

Suporte interno de ingestão de dados para muitos ambientes de banco de dados SQL Server

O conector do SQL Server facilita a ingestão de dados de vários ambientes do SQL Server no lakehouse, onde pode ser usado para análises e business intelligence em toda a organização, incluindo: 

• Azure SQL
• Azure SQL Managed Instance
• AWS RDS para SQL Server
• SQL Server no GCP
• Implantações do SQL Server no local  

O conector é fácil de configurar com uma interface do usuário de apontar e clicar ou API simples e integra-se perfeitamente com seus fluxos de trabalho existentes e profunda integração de plataforma com Databricks. Por exemplo, você pode se alinhar às suas práticas de CI/CD via Databricks Asset Bundles ou o Databricks Terraform provider.

Também foi construído para ser eficiente. O conector oferece suporte a CDC e CT para ingestão incremental, em vez de exigir execuções de atualização completa. Ao capturar apenas registros novos ou atualizados, os clientes podem manter seu lakehouse continuamente atualizado para fornecer insights valiosos de negócios, acelerar a tomada de decisões e reduzir custos.

Para organizações que precisam gerenciar mudanças de dados ao longo do tempo — como detalhes de clientes, atributos de produtos ou estruturas organizacionais — Lakeflow Connect também oferece suporte imediato para rastrear alterações históricas com Slowly Changing Dimensions (SCD) Tipo 2, reduzindo a complexidade com um recurso crítico para rastrear alterações históricas juntamente com os valores atuais. 

Clientes Enterprise geram impacto com Lakeflow Connect

Desde que lançamos há um ano, mais de 2.000 clientes usaram o Lakeflow Connect para ingerir seus dados mais importantes e obter resultados positivos.

Por exemplo, a Cirrus Aircraft Limited, fundada em 1984, projeta, desenvolve, fabrica e vende aeronaves premium em todo o mundo. Um dos primeiros a adotar o conector do SQL Server, eles precisavam transferir dados de vários ambientes híbridos do SQL Server para seu lakehouse para fornecer dados mais valiosos para suas equipes. Com sua configuração simples e ingestão incremental eficiente, o conector permitiu que a Cirrus mudasse da integração e manutenção de pipeline para iniciativas estratégicas que impulsionaram os resultados de seus negócios.

“O conector SQL Server do Lakeflow Connect é revolucionário.” Migramos centenas de tabelas de ambientes híbridos em dias - às vezes horas - em vez de meses. A verdadeira vitória: nossos desenvolvedores podem dedicar mais tempo para fornecer dados e insights de maior valor para os negócios."— Nick Patullo, Engenheiro de Dados Sênior, Cirrus Aircraft Limited

Outro cliente Databricks, a Australian Red Cross Lifeblood , é financiada pelos governos australianos para fornecer sangue que salva vidas, plasma, transplante e produtos biológicos, incluindo leite materno e FMT para oferecer resultados de saúde de ponta com 10,5 milhões de doadores elegíveis. Eles usam Lakeflow e o conector do SQL Server para ajudar a construir pipelines confiáveis ​​e sustentáveis ​​de forma rápida e consistente. Saiba mais assistindo à apresentação sob demanda, parte de “Do Burnout ao Breakthrough: Uma nova abordagem para Engenharia de Dados”, ou assista à sessão Data + AI Summit de 2025, “De Datavault para Delta Lake: Simplificando a sincronização de dados com Lakeflow Connect.”

"O Databricks Lakeflow Connect nos oferece um conector SQL Server simples e confiável que entrega dados em nosso lakehouse sem engenharia de dados complexa.” — Dr. Andrew Clarke, Engenheiro Sênior de AI/ML, Australian Red Cross Lifeblood

A Ubisoft é uma criadora de mundos, comprometida em enriquecer a vida dos jogadores com experiências de entretenimento originais e memoráveis. As equipes globais da Ubisoft criam e desenvolvem um portfólio profundo e diversificado de jogos, com marcas como Assassin's Creed®, Just Dance® e muito mais.  Para o ano fiscal de 2024-25, a Ubisoft gerou reservas líquidas de €1,85 bilhão. 

A Ubisoft está ansiosa para implementar o conector SQL Server do Lakeflow Connect em todas as nossas marcas para projetos importantes, a fim de acelerar a tradução dos dados do SQL Server em insights acionáveis ​​de produção de jogos. — Valéry Simon, Diretor de Data Platform & Engineering, Ubisoft

Libere uma ampla gama de casos de uso do SQL Server com o Databricks

O conector do SQL Server permite uma ampla gama de casos de uso específicos do setor, como customer 360, gerenciamento de portfólio, análise do consumidor e chatbots internos para ajudar a impulsionar um impacto significativo. 

Por exemplo,, um caso de uso Customer 360 em marketing de varejo pode precisar combinar personas de clientes com as promoções certas, o que geralmente significa unir dados de sistemas isolados, como: 

• Dados operacionais doSQL Server: promoções, inventário, transações
• Dados Salesforce do cliente: e-mails, negócios, personas

O desafio é que o SQL Server também serve de base para aplicativos de missão crítica, portanto, a execução de consultas pesadas ou a realização de atualizações completas podem introduzir latência e impactar o desempenho operacional.

Com o Lakeflow Connect, os dados fluem perfeitamente para o lakehouse sem pipelines complexos ou impacto operacional. O conector do SQL Server suporta a ingestão em vários ambientes com CDC e CT integrados, enquanto o conector do Salesforce ingere dados incrementalmente do Salesforce core. Juntos, eles fornecem uma visão 360 do cliente governada e pronta para análise - acelerando insights e removendo a necessidade de ferramentas de terceiros frágeis ou código personalizado.

Caso de uso do Customer 360 com Lakeflow Connect

Começando com o Lakeflow Connect

Lakeflow Connect oferece conectores simples e eficientes para ingerir dados de aplicativos populares, bancos de dados, fontes de armazenamento em nuvem, message buses e muito mais. Desde a Data + AI Summit em junho, continuamos a expandir a variedade de fontes de dados suportadas para o Lakeflow Connect. Tanto os conectores ServiceNow e Google Analytics agora estão GA, com mais lançamentos chegando para Zerobus Ingest, SharePoint, PostgreSQL e SFTP. Também temos novos conectores baseados em consultas para fontes de banco de dados e data warehouse, como Oracle DB, MySQL, Teradata e muito mais, em breve em versão preliminar.  Entre em contato com sua equipe de contas se estiver interessado em participar. 

Comece hoje mesmo com o conector do SQL Server para ajudar a desbloquear casos de uso de alto valor. Confira a documentação do SQL Server para obter detalhes sobre como configurar seu SQL Server e os recursos mais recentes, bem como mais detalhes sobre rates. Você pode saber mais sobre os recursos do Lakeflow através de nossa nova "Série de vídeos sobre Engenharia de Dados com Databricks" no YouTube ou se inscrever nos cursos do Lakeflow Connect da Databricks.

(This blog post has been translated using AI-powered tools) Original Post