Anunciando a prévia pública do Zerobus Ingest

Zerobus Ingest, parte do Lakeflow Connect, oferece uma maneira simplificada de enviar dados de eventos diretamente para o lakehouse, eliminando totalmente a camada do barramento de mensagens de coletor único. Ao reduzir a infraestrutura, simplificar as operações e oferecer ingestão em escala quase em tempo real, o Zerobus Ingest torna mais fácil do que nunca desbloquear o valor dos seus dados de eventos.

Tradicionalmente, as organizações usam barramentos de mensagens como o Kafka como uma camada de transporte. Embora o Kafka forneça durabilidade e baixa latência, ele introduz uma arquitetura de dois saltos: os dados são primeiro gravados no Kafka e depois extraídos para o lakehouse com Spark Declarative Pipelines (SDP). Isso adiciona infraestrutura, duplica dados e exige ferramentas e conhecimentos especializados, o que pode dificultar a depuração. O resultado são custos mais altos, entrega mais lenta e mais sobrecarga operacional — especialmente quando o único destino é o lakehouse.

Com apenas algumas linhas de código, o Zerobus Ingest permite criar uma transmissão e começar a enviar seus dados diretamente para o seu lakehouse.

Desempenho em escala, arquitetura simplificada

Os dados de eventos alimentam aplicações essenciais de analítica em tempo real e de AI. De clickstreams e telemetria a dados de sensores de IoT, as organizações dependem de pipelines rápidos e confiáveis para tomar decisões em segundos, e não em horas. O Zerobus Ingest foi projetado para desempenho em grande escala, oferecendo latência de apenas cinco segundos, throughput de até 100 MB/s por conexão e suporte para milhares de clientes concorrentes gravando na mesma tabela.

Ao eliminar saltos de dados, cópias redundantes e barramentos de mensagens externos, o Zerobus simplifica a infraestrutura e reduz a sobrecarga operacional para ingestão de dados de eventos. Totalmente unificado com a Databricks Data Intelligence Platform, o Zerobus grava nativamente em tabelas Delta, integra-se com o Unity Catalog para segurança e governança e conecta-se perfeitamente com ferramentas de analítica e AI.

Interfaces e SDKs do Zerobus Ingest:
O Databricks é compatível com um conjunto expandido de interfaces para otimizar a ingestão e fornece um SDK que permite criar aplicações personalizadas de alta throughput usando o Zerobus Ingest. Também há compatibilidade com interfaces padronizadas, como o Open Telemetry, para permitir que seus aplicativos existentes encaminhem dados com apenas uma alteração de configuração.

Os SDKs e APIs de ingestão do Zerobus oferecem suporte a integrações personalizadas de dispositivos, permitindo a comunicação direta com as tabelas Delta gerenciadas com o mínimo de infraestrutura. 

Estamos lançando as seguintes interfaces:

• SDKs
  • SDK para Python (PuPr)
  • SDK para Java (PuPr)
  • SDK para Rust (PuPr)
• APIs
  • APIs gRPC (PuPr) *
  • REST API (PrPr) *
  • APIs do OpenTelemetry (PrPr) * 

Entre em contato com seu representante da Databricks para obter mais informações.

Essas novas interfaces oferecem suporte para suas crescentes necessidades de throughput da origem ao destino, sem a necessidade de infraestrutura especializada. Consulte a documentação técnica para mais detalhes. 
 

O Zerobus Ingest permite que os produtores de dados ignorem o barramento de mensagens e enviem eventos diretamente para tabelas Delta gerenciadas no seu Lakehouse. 

Casos de uso de dados de eventos em diversas indústrias

O Zerobus Ingest foi projetado para lidar com dados de eventos diversificados e de alto volume em escala—em casos de uso de telemetria, clickstream e IoT, dando suporte a indústrias como manufatura, telecomunicações, e-commerce e varejo, e IT e cibersegurança em tempo real. Ao conectar sistemas físicos e ambientes digitais diretamente ao lakehouse, o Zerobus Ingest permite analítica governada e de alto desempenho quase em tempo real. 

Manufatura e IoT

As fábricas produzem transmissões contínuas de dados de máquinas e sensores para análise de desempenho histórica e em tempo real, ajudando a melhorar a eficiência e a reduzir o tempo de inatividade não planejado. Eles costumam fazer isso sob rígidas restrições de rede e integração. Com o Zerobus Ingest e seu SDK de gravação direta, as equipes podem criar agentes de encaminhamento personalizados para transmissão de dados diretamente para o lakehouse. Combinado com o Unity Catalog, isso oferece ingestão segura e de baixa latência com governança de ponta a ponta, da borda à analítica.

A Joby Aviation está reinventando as viagens aéreas com aeronaves elétricas construídas do zero — fabricando componentes de precisão e analisando a telemetria de voo. A Joby usa o Zerobus Ingest para transmissão gigabytes de dados de telemetria por minuto diretamente no lakehouse deles. gerando percepções quase em tempo real que apoiam o desenvolvimento de aeronaves, a otimização operacional pós-voo e as otimizações de fabricação até o nível da máquina. Leia o estudo de caso da Joby Aviation. 

“Com o Zerobus Ingest, estamos enviando gigabytes de telemetria por minuto para o lakehouse de nossas unidades de fabricação… Não é só que o Zerobus é rápido, ele escala conosco. Não precisamos reprojetar nada para dar suporte a mais unidades, mais dispositivos ou mais dados.” —Dominik Müller, Líder de Sistemas de Fábrica, Joby Aviation

Solução de ingestão simplificada usando agentes de encaminhamento Joby personalizados com o Zerobus Ingest.

Telecomunicações e IoT

Para organizações de telecomunicações com dispositivos distribuídos globalmente, o processamento em tempo real de milhões de sinais de dispositivos por segundo é crucial para a analítica, o monitoramento do desempenho da rede e a otimização da experiência do cliente.

A Databricks está fazendo uma parceria com a Soracom, um provedor global de conectividade IoT, para estender o Zerobus Ingest para o serviço de celular, satélite e LPWAN em todo o mundo. Juntos, eles podem ajudar os clientes a mover dados de forma segura e confiável de qualquer dispositivo para o lakehouse. 

“Nossos clientes agora podem enviar dados de alta fidelidade de dispositivos de todo o mundo para a Databricks Data Intelligence Platform usando nossos serviços de celular, satélite e LPWAN e acelerar o tempo de geração de percepções para alcançar resultados transformadores.” — Kenta Yasukawa, CTO e cofundador, Soracom, Inc.

Comércio, Varejo e Clickstream

No varejo e no e-commerce, analisar dados comportamentais e de clickstream de sites, aplicativos e dispositivos conectados à medida que são gerados é key para impulsionar a personalização quase em tempo real, os testes A/B e a otimização da conversão. O Zerobus Ingest ajuda a viabilizar esse caso de uso gravando dados diretamente nas tabelas Delta, removendo dependências de barramento de mensagens e sobrecarga de infraestrutura e fornecendo uma única fonte de verdade pronta para analítica.

IT e Cibersegurança

Para as equipes de segurança, o acesso rápido a dados de telemetria e eventos em tempo real é fundamental para reduzir a latência entre detecção, feedback do modelo, análise e resposta. O Zerobus Ingest permite a ingestão contínua e de baixa latência de logs e métricas para acelerar a identificação de ameaças e o retreinamento adaptativo de modelos. Ele também pode permitir a detecção de anomalia de fraude em tempo real, transmitindo eventos comportamentais diretamente para o seu lakehouse, sem os atrasos do ETL tradicional ou da ingestão em lotes. 

Começar com o Zerobus Ingest

Como parte do Public Preview, estamos animados para ver como clientes de diversas indústrias usarão o Zerobus para desbloquear novas possibilidades com a Databricks Data Intelligence Platform. Para ajudar você a começar, também lançamos várias demos, um acelerador de soluções e tutoriais passo a passo com dados de amostra para ajudar você a experimentar os recursos do Zerobus Ingest em primeira mão.  

Para habilitar o Zerobus Ingest no seu workspace hoje, entre em contato com seu representante de account da Databricks.

• Acelerador de soluções: Gêmeos digitais
  Implante sua própria solução de Gêmeos digitais usando recursos nativos do Databricks (Zerobus Ingest, Lakeflow Declarative Pipelines, Lakebase) para reduzir os custos e a complexidade de integrar uma solução de terceiros. Leia o blog | repo no Github
• Tutorial: como usar Databricks Apps como um Lambda com o Zerobus para gravar no Delta
  Um tutorial passo a passo sobre como usar o Databricks Direct Write App, um aplicativo FastAPI modular e pronto para produção, projetado para a ingestão de alto desempenho de dados estruturados usando o Zerobus Ingest para tabelas do Delta Lake. Os key benefícios incluem transferência de dados rápida e por transmissão, e carregamento de dados eficiente e seguro. Leia o blog | repo do Github
• Tutorial: simplifique a ingestão de dados com o Zerobus Ingest: do RabbitMQ para o lakehouse
  O Zerobus Ingest permite a criação de agentes de encaminhamento que assinam facilmente as mensagens do RabbitMQ, enviando esses dados de forma transparente para o Databricks e transformando-os em tabelas do Delta Lake para analítica. Leia o blog | repo no Github
• Serviço de contêiner: Zerobus-Station
  Um serviço de contêiner escalável que fornece uma interface RESTful para tabelas do Zerobus Ingest. 
  Leia o blog | repo do Github

(This blog post has been translated using AI-powered tools) Original Post