O que há de novo: Zerobus e outros anúncios melhoram a ingestão de dados para o Lakeflow Connect

Tudo começa com bons dados, então a ingestão geralmente é o seu primeiro passo para desbloquear insights. No entanto, a ingestão apresenta desafios, como se atualizar sobre as complexidades de cada fonte de dados, acompanhar essas fontes à medida que mudam e governar tudo isso ao longo do caminho.

Lakeflow Connect torna a ingestão eficiente de dados fácil, com uma interface de usuário de apontar e clicar, uma API simples e integrações profundas com a Plataforma de Inteligência de Dados. No ano passado, mais de 2.000 clientes usaram o Lakeflow Connect para extrair valor de seus dados. 

Neste blog, vamos revisar os conceitos básicos do Lakeflow Connect e recapitular os últimos anúncios do Data + AI Summit 2025.

Ingestione todos os seus dados em um único lugar com o Lakeflow Connect

Lakeflow Connect oferece conectores de ingestão simples para aplicações, bancos de dados, armazenamento em nuvem, ônibus de mensagens e muito mais. Por trás das cenas, a ingestão é eficiente, com atualizações incrementais e uso otimizado da API. Enquanto seus pipelines gerenciados são executados, cuidamos da evolução do esquema, atualizações contínuas de APIs de terceiros e observabilidade abrangente com alertas integrados. 

Anúncios do Data + AI Summit 2025

No Data + AI Summit deste ano, a Databricks anunciou a Disponibilidade Geral do Lakeflow, a abordagem unificada para engenharia de dados, abrangendo ingestão, transformação e orquestração. Como parte disso, a Lakeflow Connect anunciou o Zerobus, uma API de gravação direta que simplifica a ingestão para IoT, clickstream, telemetria e outros casos de uso semelhantes. Também ampliamos a amplitude das fontes de dados suportadas com mais conectores integrados em aplicativos empresariais, fontes de arquivos, bancos de dados e data warehouses, bem como dados de armazenamento de objetos na nuvem.

Zerobus: uma nova maneira de enviar dados de eventos diretamente para o seu lakehouse

Fizemos um anúncio empolgante apresentando o Zerobus, uma nova abordagem inovadora para enviar dados de eventos diretamente para o seu lakehouse, aproximando você da fonte de dados.  Eliminar saltos de dados e reduzir o ônus operacional permite que o Zerobus forneça gravações diretas de alta capacidade com baixa latência, entregando desempenho quase em tempo real em escala.

Anteriormente, algumas organizações usavam barramentos de mensagens como o Kafka como camadas de transporte para o Lakehouse. Kafka oferece uma maneira durável e de baixa latência para os produtores de dados enviarem dados, sendo uma escolha popular ao escrever para múltiplos destinos. No entanto, também adiciona complexidade e custos extras, bem como o ônus de gerenciar outra cópia de dados - portanto, é ineficiente quando seu único destino é o Lakehouse. Zerobus fornece uma solução simples para esses casos. 

Joby Aviation já está usando Zerobus para enviar diretamente dados de telemetria para o Databricks.

Joby é capaz de usar nossos agentes de fabricação com Zerobus para enviar gigabytes de dados de telemetria diretamente para nosso lakehouse por minuto, acelerando o tempo para insights -- tudo com Databricks Lakeflow e a Plataforma de Inteligência de Dados." — Dominik Müller, Líder de Sistemas de Fábrica, Joby Aviation, Inc.

Como parte do Lakeflow Connect, o Zerobus também está unificado com a Plataforma Databricks, para que você possa aproveitar as capacidades mais amplas de análise e IA imediatamente. Zerobus está atualmente em Visualização Privada; entre em contato com sua equipe de conta para acesso antecipado.

🎥 Assista e saiba mais sobre o Zerobus: Sessão de destaque no Data + AI Summit, apresentando a Joby Aviation, "Lakeflow Connect: eliminando saltos na sua arquitetura de streaming”

Lakeflow Connect expande as capacidades de ingestão e fontes de dados

Novos conectores totalmente gerenciados continuam sendo lançados em vários estados de lançamento (veja a lista completa abaixo), incluindo Google Analytics e ServiceNow, bem como SQL Server - o primeiro conector de banco de dados, todos atualmente em Visualização Pública com Disponibilidade Geral em breve.

Também continuamos inovando para clientes que desejam mais opções de personalização e usam nossa solução de ingestão existente, Auto Loader. Ele processa de forma incremental e eficiente novos arquivos de dados à medida que chegam no armazenamento em nuvem. Lançamos algumas melhorias significativas de custo e desempenho para o Auto Loader, incluindo listagens de diretórios 3X mais rápidas e limpeza automática com "CleanSource", ambos agora disponíveis para o público em geral, juntamente com a descoberta de arquivos mais inteligente e econômica usando eventos de arquivo. Também anunciamos suporte nativo para ingestão de arquivos Excel e ingestão de dados de servidores SFTP, ambos em Visualização Privada, disponíveis mediante solicitação para acesso antecipado.

Fontes de dados suportadas:

• Aplicações: Salesforce, Workday, ServiceNow, Google Analytics, Microsoft Dynamics 365, Oracle NetSuite 
• Fontes de arquivo: S3, ADLS, GCS, SFTP, SharePoint
• Bancos de dados: SQL Server, Oracle Database, MySQL, PostgreSQL
• Armazéns de dados: Snowflake, Amazon Redshift, Google BigQuery

Dentro da oferta expandida de conectores, estamos introduzindo conectores baseados em consultas que simplificam a ingestão de dados. Esses novos conectores permitem que você extraia dados diretamente de seus sistemas de origem sem modificações no banco de dados e trabalhe com réplicas de leitura onde os logs de captura de alterações de dados (CDC) não estão disponíveis. Isso está atualmente em Visualização Privada; entre em contato com sua equipe de conta para acesso antecipado.

🎥 Assista e aprenda mais sobre o Lakeflow Connect: Sessão de destaque no Data + AI Summit, “Começando com Lakeflow Connect” 

🎥 Assista e saiba mais sobre a ingestão de aplicativos SaaS empresariais: Sessão de destaque no Data + AI Summit apresentando o cliente Databricks, Porsche Holding, "Lakeflow Connect: Ingestão de Dados Sem Interrupções de Aplicativos Empresariais"

🎥 Assista e aprenda mais sobre conectores de banco de dados: Sessão de discussão no Data + AI Summit, "Lakeflow Connect: Ingestão Fácil e Eficiente de Bancos de Dados"

Lakeflow Connect em Jobs, agora disponível para o público em geral

Estamos continuando a desenvolver capacidades para facilitar o uso de nossos conectores de ingestão ao construir pipelines de dados, como parte da experiência unificada de engenharia de dados do Lakeflow. A Databricks anunciou recentemente o Lakeflow Connect em Jobs, que permite criar pipelines de ingestão dentro de Lakeflow Jobs. Portanto, se você tem jobs como o centro do seu processo ETL, essa integração perfeita proporciona uma experiência mais intuitiva e unificada para gerenciar a ingestão. 

Os clientes podem definir e gerenciar suas cargas de trabalho de ponta a ponta - da ingestão à transformação - tudo em um só lugar. Lakeflow Connect em Jobs agora está disponível para o público em geral. 

🎥 Assista e aprenda mais sobre Lakeflow Jobs: Sessão de discussão no Data + AI Summit "Orquestração com Lakeflow Jobs"

Lakeflow Connect: mais novidades a caminho em 2025 e além

A Databricks entende as necessidades dos engenheiros de dados e das organizações que impulsionam a inovação com seus dados usando ferramentas de análise e IA. Nesse sentido, o Lakeflow Connect continuou a desenvolver capacidades de ingestão robustas e eficientes com conectores totalmente gerenciados para recursos e APIs mais personalizáveis. 

Estamos apenas começando com o Lakeflow Connect. Fique atento para mais anúncios ainda este ano, ou entre em contato com a sua equipe de conta Databricks para participar de uma prévia para acesso antecipado.

Para experimentar o Lakeflow Connect, você pode revisar a documentação, ou conferir o Centro de Demonstração.  

(This blog post has been translated using AI-powered tools) Original Post