Novidades: Zerobus e Outros Anúncios Melhoram a Ingestão de Dados para o Lakeflow Connect

Tudo começa com bons dados, então a ingestão é frequentemente seu primeiro passo para desbloquear insights. No entanto, a ingestão apresenta desafios, como se familiarizar com as complexidades de cada fonte de dados, acompanhar essas fontes à medida que mudam e governar tudo isso ao longo do caminho.

Lakeflow Connect torna a ingestão de dados eficiente e fácil, com uma interface de usuário point-and-click, uma API simples e integrações profundas com a Plataforma de Inteligência de Dados. No ano passado, mais de 2.000 clientes usaram o Lakeflow Connect para extrair valor de seus dados. 

Neste blog, revisaremos os fundamentos do Lakeflow Connect e recapitularemos os anúncios mais recentes da Data + AI Summit de 2025.

Ingira todos os seus dados em um só lugar com o Lakeflow Connect

O Lakeflow Connect oferece conectores de ingestão simples para aplicativos, bancos de dados, armazenamento em nuvem, barramentos de mensagens e muito mais. Por baixo dos panos, a ingestão é eficiente, com atualizações incrementais e uso otimizado da API. Conforme seus pipelines gerenciados são executados, cuidamos da evolução do esquema, atualizações perfeitas de API de terceiros e observabilidade abrangente com alertas integrados. 

Anúncios da Data + AI Summit 2025

Na Data + AI Summit deste ano, a Databricks anunciou a Disponibilidade Geral do Lakeflow, a abordagem unificada para engenharia de dados em ingestão, transformação e orquestração. Como parte disso, o Lakeflow Connect anunciou o Zerobus, uma API de gravação direta que simplifica a ingestão para IoT, clickstream, telemetria e outros casos de uso semelhantes. Também expandimos a variedade de fontes de dados suportadas com mais conectores integrados para aplicativos corporativos, fontes de arquivos, bancos de dados e data warehouses, bem como dados de armazenamento de objetos na nuvem.

Zerobus: uma nova maneira de enviar dados de eventos diretamente para seu lakehouse

Fizemos um anúncio empolgante apresentando o Zerobus, uma nova abordagem inovadora para enviar dados de eventos diretamente para seu lakehouse, aproximando você da fonte de dados. Eliminar saltos de dados e reduzir o fardo operacional permite que o Zerobus forneça gravações diretas de alto rendimento com baixa latência, entregando desempenho quase em tempo real em escala.

Anteriormente, algumas organizações usavam barramentos de mensagens como o Kafka como camadas de transporte para o Lakehouse. O Kafka oferece uma maneira durável e de baixa latência para produtores de dados enviarem dados, e é uma escolha popular ao gravar em vários destinos. No entanto, ele também adiciona complexidade e custos extras, além do fardo de gerenciar outra cópia de dados — tornando-o ineficiente quando seu único destino é o Lakehouse. O Zerobus fornece uma solução simples para esses casos. 

Joby Aviation já está usando o Zerobus para enviar dados de telemetria diretamente para o Databricks.

A Joby consegue usar nossos agentes de fabricação com o Zerobus para enviar gigabytes de dados de telemetria por minuto diretamente para nosso lakehouse, acelerando o tempo para obter insights — tudo com Databricks Lakeflow e a Plataforma de Inteligência de Dados.”

Como parte do Lakeflow Connect, o Zerobus também é unificado com a Plataforma Databricks, para que você possa aproveitar recursos mais amplos de análise e IA imediatamente. O Zerobus está atualmente em Private Preview; entre em contato com sua equipe de contas para acesso antecipado.

🎥 Assista e saiba mais sobre o Zerobus: Sessão no Data + AI Summit, apresentando a Joby Aviation, "Lakeflow Connect: eliminando saltos na sua arquitetura de streaming”

Lakeflow Connect expande as capacidades de ingestão e fontes de dados

Novos conectores totalmente gerenciados continuam sendo lançados em vários estados de lançamento (veja a lista completa abaixo), incluindo Google Analytics e ServiceNow, bem como SQL Server – o primeiro conector de banco de dados, todos atualmente em Public Preview com Disponibilidade Geral em breve.

Também continuamos inovando para clientes que desejam mais opções de personalização e usam nossa solução de ingestão existente, Auto Loader. Ele processa de forma incremental e eficiente novos arquivos de dados à medida que chegam ao armazenamento em nuvem. Lançamos algumas melhorias significativas de custo e desempenho para o Auto Loader, incluindo listagens de diretórios 3x mais rápidas e limpeza automática com “CleanSource”, ambos agora em disponibilidade geral, juntamente com descoberta de arquivos mais inteligente e econômica usando eventos de arquivo. Também anunciamos suporte nativo para ingestão de arquivos Excel e ingestão de dados de servidores SFTP, ambos em Private Preview, disponíveis mediante solicitação para acesso antecipado.

Fontes de dados suportadas:

• Aplicativos: Salesforce, Workday, ServiceNow, Google Analytics, Microsoft Dynamics 365, Oracle NetSuite 
• Fontes de arquivos: S3, ADLS, GCS, SFTP, SharePoint
• Bancos de dados: SQL Server, Oracle Database, MySQL, PostgreSQL
• Data warehouses: Snowflake, Amazon Redshift, Google BigQuery

Dentro da oferta expandida de conectores, estamos introduzindo conectores baseados em consulta que simplificam a ingestão de dados. Esses novos conectores permitem que você extraia dados diretamente de seus sistemas de origem sem modificações no banco de dados e trabalhe com réplicas de leitura onde os logs de captura de alterações de dados (CDC) não estão disponíveis. Isso está atualmente em Private Preview; entre em contato com sua equipe de contas para acesso antecipado.

🎥 Assista e saiba mais sobre o Lakeflow Connect: Sessão no Data + AI Summit, “Começando com o Lakeflow Connect” 

🎥 Assista e saiba mais sobre ingestão de aplicativos SaaS corporativos: Sessão no Data + AI Summit apresentando o cliente Databricks Porsche Holding, "Lakeflow Connect: Ingestão de Dados Perfeita de Aplicativos Corporativos"

🎥 Assista e saiba mais sobre conectores de banco de dados: Sessão no Data + AI Summit, "Lakeflow Connect: Ingestão Fácil e Eficiente de Bancos de Dados"

Lakeflow Connect em Jobs, agora em disponibilidade geral

Continuamos a desenvolver recursos para facilitar o uso de nossos conectores de ingestão ao criar pipelines de dados, como parte da experiência unificada de engenharia de dados do Lakeflow. A Databricks anunciou recentemente o Lakeflow Connect em Jobs, que permite criar pipelines de ingestão dentro do Lakeflow Jobs. Portanto, se você tem jobs como o centro do seu processo de ETL, essa integração perfeita oferece uma experiência mais intuitiva e unificada para gerenciar a ingestão. 

Os clientes podem definir e gerenciar seus fluxos de trabalho de ponta a ponta — da ingestão à transformação — tudo em um só lugar. O Lakeflow Connect em Jobs agora está em disponibilidade geral. 

🎥 Assista e saiba mais sobre o Lakeflow Jobs: Sessão especial no Data + AI Summit "Orquestração com Lakeflow Jobs" (link)

Lakeflow Connect: mais novidades em 2025 e além

A Databricks entende as necessidades de engenheiros de dados e organizações que impulsionam a inovação com seus dados usando ferramentas de análise e IA. Para isso, o Lakeflow Connect continuou a desenvolver recursos de ingestão robustos e eficientes com conectores totalmente gerenciados para recursos e APIs mais personalizáveis. 

Estamos apenas começando com o Lakeflow Connect. Fique atento a mais anúncios ainda este ano ou entre em contato com sua equipe de contas Databricks para participar de uma prévia e ter acesso antecipado.

Para experimentar o Lakeflow Connect, você pode consultar a documentação ou conferir o Demo Center.  

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original