Anunciamos la disponibilidad general de Zerobus Ingest

A medida que las organizaciones escalan la inteligencia operativa en tiempo real, las arquitecturas de transmisión tradicionales se han convertido en cuellos de botella costosos. La gestión de buses de mensajes como Kafka y el manejo de registros de esquemas y marcos de conectores crea un importante “impuesto a la complejidad” que desvía recursos de ingeniería de alto valor de las iniciativas empresariales estratégicas. Mientras tanto, el almacenamiento duplicado infla las facturas de la nube y las arquitecturas de múltiples saltos retrasan los insights críticos. Por último, los datos en tránsito a menudo se encuentran fuera de los marcos de gobernanza centralizados, lo que crea riesgos de cumplimiento y puntos ciegos en el linaje. 

Presentamos Zerobus Ingest: transmisión casi en tiempo real al lakehouse

Hoy, nos complace anunciar la disponibilidad general de Zerobus Ingest, que forma parte de Lakeflow Connect. Zerobus Ingest es un servicio serverless y totalmente gestionado que transmite datos directamente a las tablas Delta gobernadas, eliminando las capas intermedias para ofrecer una arquitectura simplificada y de alto rendimiento. 

Al permitir que los datos fluyan directamente desde los productores al lakehouse, Zerobus Ingest recorta drásticamente los costos y elimina la proliferación de herramientas. También ofrece un alto rendimiento a escala, ya que admite miles de conexiones simultáneas y alcanza un rendimiento agregado de más de 10 GB/segundo en una tabla en menos de 5 segundos. 

La ventaja del receptor único: arquitectura simplificada para una reducción de costos significativa

Los buses de mensajes tradicionales como Kafka se diseñaron como arquitecturas de múltiples destinos: hubs universales que enrutan datos a docenas de consumidores independientes. Sin embargo, esta flexibilidad puede tener un costo elevado cuando tu único destino es el lakehouse. Zerobus Ingest utiliza un enfoque fundamentalmente diferente, con una arquitectura de un solo receptor optimizada para una única tarea: enviar datos directamente al lakehouse. 

Esta elección arquitectónica elimina la complejidad y reduce drásticamente los costos:

• Sin brókeres que escalar a medida que crece el volumen de datos
• Sin particiones que ajustar para un rendimiento óptimo
• Sin grupos de consumidores que monitorear y depurar
• Sin actualizaciones de clústeres que planificar y ejecutar
• No se requiere experiencia especializada, como Kafka, en su equipo  

Con Zerobus Ingest, hay un único punto de conexión de Databricks administrado. Crea tu tabla en Unity Catalog, empieza a escribir datos con la API o el SDK, y listo. Eso es todo, no hay nada más que configurar. La arquitectura sin servidor se escala automáticamente para admitir una ingesta de gigabytes por segundo sin ningún cambio en la configuración. 

Zerobus Ingest permite a los productores de datos omitir el bus de mensajes y enviar eventos directamente a las tablas Delta administradas en su Lakehouse. 

Zerobus Ingest simplifica la arquitectura de streaming tradicional de cinco sistemas administrados a solo dos componentes, lo que elimina múltiples puntos de falla, reduce la sobrecarga operativa y elimina la necesidad de conocimientos especializados.

• Arquitectura tradicional: Sistemas de origen → Bus de mensajes (clúster de Kafka) con un registro de esquemas → Conectores → Lakehouse
• Arquitectura de Zerobus Ingest: Sistemas de origen → Zerobus Ingest → Lakehouse

Al eliminar el bus de mensajes intermedio, eliminas dos centros de costos principales: la computación y el almacenamiento del propio bus, y el tiempo de ingeniería dedicado a su gestión. Zerobus Ingest ofrece ingesta a una fracción del costo por gigabyte en comparación con la ejecución y el mantenimiento de un clúster de Kafka autoadministrado.

Zerobus Ingest ofrece una ingesta a una fracción del costo por gigabyte en comparación con la ejecución y el mantenimiento de un clúster de Kafka autogestionado.

Obtenga más información sobre cómo funciona Zerobus en este blog de la comunidad de Databricks con un análisis detallado o en la documentación.

Interfaces compatibles e integración nativa

Los desarrolladores pueden integrarse a través de las API de gRPC y REST, o usar los SDK específicos del lenguaje. Zerobus Ingest ofrece un amplio conjunto de interfaces basadas en push para integraciones específicas de la industria, lo que la convierte en una herramienta única y flexible que simplifica la ingesta.

• API de gRPC: Recomendada para aplicaciones de alto rendimiento que requieren la latencia más baja y el mayor rendimiento.
• API de REST (Beta): Ideal para webhooks, funciones sin servidor y lenguajes donde el soporte de gRPC puede ser limitado.
• SDK: Las bibliotecas listas para producción para Python, Java, Rust, Go y TypeScript simplifican la lógica de autenticación y procesamiento por lotes utilizando gRPC.
• Open Telemetry (Beta): Incorpore sus registros operativos, métricas y trazas en el Lakehouse para un análisis histórico a largo plazo con solo un cambio de configuración. Obtenga más información sobre el ecosistema de Open Telemetry aquí.

Obtén más información sobre las diferencias entre REST y gRPC.

Además, dado que cada escritura está gobernada por Unity Catalog, obtiene seguimiento automático del linaje y control de acceso detallado desde el momento en que se crean los datos, lo que garantiza que sus datos de transmisión tengan una gobernanza unificada con el resto de su lakehouse. 

Impulsando avances para el cliente: información exponencialmente más rápida a escala 

Monitoreo de la fabricación en tiempo real para Toyota Motor Corporation

Toyota buscaba una solución unificada para procesar de forma instantánea la telemetría de miles de dispositivos de fábrica, sin la latencia ni la complejidad de las arquitecturas de IoT tradicionales. 

“Zerobus Ingest nos permite detectar condiciones de sobrecalentamiento en la fábrica en minutos en lugar de horas, apoyando directamente nuestra estrategia de neutralidad de carbono y eficiencia operativa.” Pero no se trata solo de rastrear la telemetría de temperatura; tener Zerobus Ingest como una opción adicional de ingesta de datos nos da la capacidad de recopilar diversos datos de la fábrica casi en tiempo real y activar contramedidas inmediatas que han transformado nuestras operaciones”. —Kento Izumi, Gerente General, División de Promoción de la Transformación Digital, Toyota Motor Corporation

En lugar de ensamblar múltiples servicios en la nube, Toyota usa Zerobus Ingest, integrado con la conectividad global de IoT de Soracom, para mitigar los altos costos de mantenimiento de las operaciones en tiempo real, transformar sus operaciones de fabricación y respaldar sus objetivos de sostenibilidad.

Arquitectura de canalización de datos de IoT: del edge a la plataforma de análisis con Zerobus Ingest y Soracom Beam

Izumi también explicó que pueden acelerar su eficiencia operativa: “Cuando se combina con 'vista', nuestra plataforma unificada de datos e IA impulsada por Databricks, no solo recopilamos datos más rápido, sino que estamos optimizando nuestras operaciones de datos”.

Joby Aviation: Aceleración del análisis del rendimiento de los vuelos de días a minutos

Como uno de los primeros en adoptar Zerobus Ingest, Joby Aviation transmite gigabytes de telemetría de aeronaves cada minuto directamente al lakehouse, lo que permite a sus equipos de ingeniería analizar el rendimiento de los vuelos casi en tiempo real. Leer el caso de estudio de Joby Aviation.

"Zerobus Ingest redujo la latencia de resolución de nuestra telemetría de días a minutos. Esto permite a nuestros equipos de ingeniería analizar el rendimiento de los vuelos casi en tiempo real y acelerar nuestra misión de transformar el transporte”. —Dominik Müller, líder de Sistemas de Fábrica, Joby Aviation

Impulsando los casos de uso de la industria

La infraestructura tradicional ralentiza las operaciones en tiempo real. Al eliminar la complejidad de los buses de mensajes intermedios, Zerobus Ingest crea una ruta directa al valor en menos de 5 segundos en todas las industrias.

Acelere su transformación digital enviando datos desde cualquier fuente de todas las industrias directamente a su lakehouse.

Fabricación: Maximiza la eficiencia de la planta de producción. Usa los SDK de ingesta de Zerobus para crear agentes de reenvío personalizados que transmiten volúmenes masivos de datos de sensores al Lakehouse. Esto optimiza el rendimiento de la máquina al eliminar la pesada sobrecarga de la infraestructura de red.

Telecomunicaciones e IoT: Monitorea redes globales a escala. Implementado en el borde, Zerobus Ingest canaliza la telemetría desde su red hasta el lakehouse para monitorear la carga de su red casi en tiempo real. Nuestra asociación con Soracom amplía la integración con una ingesta de datos de IoT global, segura y confiable a través de redes celulares, satelitales y LPWAN.

TI y ciberseguridad: Identifique amenazas sin la demora de ETL. Evite las canalizaciones complejas transmitiendo registros y eventos de comportamiento directamente al Lakehouse. Esto permite la detección de amenazas en segundos, el reentrenamiento adaptativo de modelos y una respuesta a incidentes más rápida.

Comercio y clickstream: Personaliza experiencias casi en tiempo real. Capture datos de flujo de clics de gran volumen desde aplicaciones y dispositivos con una sobrecarga de infraestructura mínima. Esto permite la disponibilidad instantánea de datos para potenciar los motores de personalización, las pruebas A/B y la optimización de la conversión.

Disponibilidad

Zerobus Ingest ya está disponible de forma general en AWS, Microsoft Azure, y el soporte para la plataforma Google Cloud llegará pronto. Los precios se basan en el volumen bajo el SKU Lakeflow Jobs Serverless .

Como parte del lanzamiento de la disponibilidad general (GA), presentamos un período de precios promocionales de 6 meses. Obtenga más información en la página de precios de Lakeflow Connect. 

Primeros pasos con Zerobus Ingest

¿Está listo para eliminar la complejidad de la infraestructura de streaming? Con solo unas pocas líneas de código, puede comenzar a transmitir datos directamente a sus tablas gobernadas por Unity Catalog, lo que garantiza que sus datos estén listos en el momento en que llegan para ayudar a proporcionar información valiosa.

Consulte los siguientes recursos de Zerobus Ingest para comenzar hoy mismo:

• Pruebe Zerobus Ingest ahora: Acceda a la documentación y a las guías de inicio rápido.
• Recorrido del producto: Navegue por Zerobus Ingest y aprenda a comenzar a ingerir datos.
• Cree una aplicación de extremo a extremo: un simulador de navegación en tiempo real sigue una flota de veleros utilizando el SDK de Python y la API de REST, con Databricks Apps y Databricks Asset Bundles. Leer el blog
• Crea una solución de gemelos digitales: Aprende a maximizar la eficiencia operativa, a acelerar la obtención de información en tiempo real y el mantenimiento predictivo con las aplicaciones de Databricks y Lakebase. Leer el blog

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original