Anunciando a disponibilidade geral do Zerobus Ingest

À medida que as organizações escalam a inteligência operacional em tempo real, as arquiteturas de transmissão tradicionais se tornam gargalos dispendiosos. Gerenciar barramentos de mensagens como o Kafka e lidar com registros de esquema e frameworks de conector cria um significativo “imposto de complexidade” que desvia recursos de engenharia de alto valor de iniciativas de negócios estratégicas. Enquanto isso, o armazenamento duplicado aumenta o valor das contas da cloud e as arquiteturas multi-hop atrasam percepções essenciais. Finalmente, os dados em trânsito geralmente ficam fora das estruturas de governança centralizadas, criando riscos de compliance e pontos cegos na linhagem de dados. 

Apresentando o Zerobus Ingest: streaming quase em tempo real para o Lakehouse

Hoje, temos o prazer de anunciar a disponibilidade geral do Zerobus Ingest, parte do Lakeflow Connect. O Zerobus Ingest é um serviço totalmente gerenciado e serverless que transmite dados diretamente para tabelas Delta governadas, removendo camadas intermediárias para fornecer uma arquitetura simplificada e de alto desempenho. 

Ao permitir que os dados fluam diretamente dos produtores para o lakehouse, o Zerobus Ingest reduz os custos e elimina a proliferação de ferramentas. Ele também oferece alto desempenho em escala, suportando milhares de conexões concorrentes e atingindo mais de 10 GB/segundo de throughput agregada para uma tabela em menos de 5 segundos. 

A Vantagem do Coletor Único: Arquitetura Simplificada para uma Redução de Custos Significativa

Os barramentos de mensagens tradicionais, como o Kafka, foram projetados como arquiteturas multi-sink: hubs universais que roteiam dados para dezenas de consumidores independentes. No entanto, essa flexibilidade pode ter um custo elevado quando seu único destino é o lakehouse. O Zerobus Ingest usa uma abordagem fundamentalmente diferente, com uma arquitetura single-sink otimizada para um único job: enviar dados diretamente para o lakehouse. 

Essa escolha arquitetônica elimina a complexidade e reduz drasticamente o custo:

• Sem brokers para escalar à medida que seu volume de dados aumenta
• Sem partições para otimizar o desempenho
• Nenhum grupo de consumidores para monitorar e depurar
• Sem upgrades de cluster para planejar e executar
• Não é necessária especialização, como em Kafka, na sua equipe  

Com o Zerobus Ingest, há um único endpoint gerenciado do Databricks. Crie sua tabela no Unity Catalog, comece a gravar dados com a API ou o SDK e pronto. É isso, não há mais nada para configurar. A arquitetura serverless escala automaticamente para suportar a ingestão de gigabytes por segundo sem nenhuma alteração na configuração. 

O Zerobus Ingest permite que os produtores de dados contornem o barramento de mensagens e enviem eventos diretamente para tabelas Delta gerenciadas em seu Lakehouse. 

O Zerobus Ingest simplifica a arquitetura de transmissão tradicional, reduzindo de cinco sistemas gerenciados para apenas dois componentes, eliminando vários pontos de falha, reduzindo a sobrecarga operacional e removendo a necessidade de conhecimento especializado.

• Arquitetura tradicional: Sistemas de origem → Barramento de mensagens (Cluster Kafka) com um registro de esquema → Conectores → Lakehouse
• Arquitetura do Zerobus Ingest: Sistemas de origem → Zerobus Ingest → Lakehouse

Ao eliminar o barramento de mensagens intermediário, você remove dois principais centros de custo: o compute e o armazenamento do próprio barramento e o tempo de engenharia dedicado necessário para gerenciá-lo. O Zerobus Ingest oferece ingestão por uma fração do custo por gigabyte em comparação com a execução e manutenção de um cluster Kafka autogerenciado.

O Zerobus Ingest oferece ingestão por uma fração do custo por gigabyte em comparação com a execução e manutenção de um cluster Kafka autogerenciado.

Saiba mais sobre como o Zerobus funciona neste blog detalhado da Comunidade Databricks ou na documentação.

Interfaces compatíveis e integração nativa

Os desenvolvedores podem fazer a integração via gRPC e APIs REST ou usar SDKs específicos da linguagem. O Zerobus Ingest fornece um amplo conjunto de interfaces baseadas em push para integrações específicas do setor, tornando-o uma ferramenta única e flexível que simplifica a ingestão.

• API gRPC: Recomendada para aplicações de alto desempenho que exigem a menor latência e o maior throughput.
• API REST (Beta): Ideal para webhooks, funções sem servidor e linguagens em que o suporte a gRPC pode ser limitado.
• SDKs: bibliotecas prontas para produção para Python, Java, Rust, Go e TypeScript simplificam a lógica de autenticação e de lotes utilizando o gRPC.
• Open Telemetry (Beta): Traga seus logs operacionais, métricas e rastreamentos para o Lakehouse para análise histórica de longo prazo com apenas uma alteração de configuração. Saiba mais sobre o ecossistema Open Telemetry aqui.

Saiba mais sobre as diferenças entre REST e gRPC.

Além disso, como cada gravação é governada pelo Unity Catalog, você obtém acompanhamento de linhagem automático e controle de acesso refinado desde o momento em que os dados são criados, garantindo que seus dados de transmissão tenham governança unificada com o resto do seu lakehouse. 

Gerando resultados inovadores para os clientes: percepções exponencialmente mais rápidas em escala 

Monitoramento da produção em tempo real para a Toyota Motor Corporation

A Toyota buscava uma solução unificada para processar instantaneamente a telemetria de milhares de dispositivos de fábrica, sem a latência e a complexidade das arquiteturas de IoT tradicionais. 

"O Zerobus Ingest nos permite detectar condições de superaquecimento na fábrica em minutos, em vez de horas, apoiando diretamente nossa estratégia de neutralidade de carbono e a eficiência operacional. Mas não se trata apenas de rastrear a telemetria de temperatura; ter o Zerobus Ingest como uma opção adicional de ingestão de dados nos dá a capacidade de coletar diversos dados da fábrica em tempo quase real e acionar contramedidas imediatas que transformaram nossas operações.” —Kento Izumi, Gerente Geral, Divisão de Promoção da Transformação Digital, Toyota Motor Corporation

Em vez de integrar vários serviços em nuvem, a Toyota usa o Zerobus Ingest, integrado com a conectividade IoT global da Soracom, para mitigar os altos custos de manutenção de operações em tempo real, transformar suas operações de manufatura e apoiar suas metas de sustentabilidade.

Arquitetura de pipeline de dados de IoT: da borda à plataforma de analítica com Zerobus Ingest e Soracom Beam

Izumi também explicou que eles conseguem acelerar a eficiência operacional: “Quando combinado com o 'vista', nossa plataforma unificada de dados e IA da Databricks, não estamos apenas coletando dados mais rapidamente; estamos otimizando nossas operações de dados."

Joby Aviation: acelerando a análise de desempenho de voo de dias para minutos

Uma das primeiras a adotar o Zerobus Ingest, a Joby Aviation transmite gigabytes de telemetria de aeronaves a cada minuto diretamente para o lakehouse, permitindo que suas equipes de engenharia analisem o desempenho do voo em tempo quase real. Leia o estudo de caso da Joby Aviation.

"O Zerobus Ingest reduziu nossa latência de resolução de telemetria de dias para minutos. Isso permite que nossas equipes de engenharia analisem o desempenho do voo em tempo quase real e acelerem nossa missão de transformar o transporte." — Dominik Müller, líder de sistemas de fábrica, Joby Aviation

Potencializando casos de uso da indústria

A infraestrutura tradicional desacelera as operações em tempo real. Ao remover a complexidade dos barramentos de mensagens intermediários, o Zerobus Ingest cria um caminho direto de menos de 5 segundos para gerar valor em todas as indústrias.

Acelere sua transformação digital enviando dados de qualquer origem e de todas as indústrias diretamente para o seu lakehouse.

Manufatura: maximize a eficiência do chão de fábrica. Use os SDKs do Zerobus Ingest para criar agentes de encaminhamento personalizados que transmitem volumes massivos de sensores para o Lakehouse. Isso otimiza o desempenho da máquina, eliminando a sobrecarga pesada da infraestrutura de rede.

Telecomunicações e IoT: monitore redes globais em grande escala. Implantado na borda, o Zerobus Ingest envia a telemetria da sua rede para o lakehouse para rastrear a carga da sua rede em tempo quase real. Nossa parceria com a Soracom expande a integração com ingestão de dados de IoT global, segura e confiável por meio de redes celulares, de satélite e LPWAN.

IT e cibersegurança: Identifique ameaças sem o atraso do ETL. Contorne pipelines complexos transmitindo logs e eventos comportamentais diretamente para o Lakehouse. Isso permite a detecção de ameaças em segundos, o retreinamento adaptativo de modelos e uma resposta a incidentes mais rápida.

Comércio e Clickstream: personalize experiências quase em tempo real. Capture grandes volumes de dados de clickstream de aplicativos e dispositivos com sobrecarga mínima de infraestrutura. Isso permite a disponibilidade instantânea de dados para potencializar mecanismos de personalização, testes A/B e otimização de conversão.

Disponibilidade

O Zerobus Ingest já está em Disponibilidade Geral na AWS e no Microsoft Azure, com suporte para a plataforma Google Cloud chegando em breve. A definição de preços é baseada em volume no SKU Lakeflow Jobs Serverless .

Como parte do lançamento da GA, estamos introduzindo um período de preços promocionais de 6 meses. Saiba mais na página de preços do Lakeflow Connect. 

Primeiros passos com o Zerobus Ingest

Pronto para eliminar a complexidade da infraestrutura de transmissão? Com apenas algumas linhas de código, você pode começar a transmitir dados diretamente para suas tabelas governadas pelo Unity Catalog, garantindo que seus dados estejam prontos no momento em que chegam para ajudar a fornecer percepções.

Confira os seguintes recursos do Zerobus Ingest para começar hoje mesmo:

• Experimente o Zerobus Ingest agora: acesse a documentação e os guias de início rápido.
• Faça um tour pelo produto: Navegue pelo Zerobus Ingest e aprenda como começar a ingerir dados.
• Crie uma aplicação de ponta a ponta: Um simulador de navegação em tempo real rastreia uma frota de veleiros usando o SDK do Python e a API REST, com Databricks Apps e Databricks Asset Bundles. Leia o blog
• Crie uma solução de Gêmeos Digitais: Aprenda a maximizar a eficiência operacional, acelerar insights em tempo real e manutenção preditiva com Databricks Apps e Lakebase. Leia o blog

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original