Annonce de la disponibilité générale de Zerobus Ingest

À mesure que les organisations montent en charge leur intelligence opérationnelle en temps réel, les architectures de streaming traditionnelles sont devenues des goulots d'étranglement coûteux. La gestion des bus de messagerie comme Kafka et la gestion des registres de schémas et des frameworks de connecteurs créent une « taxe sur la complexité » significative qui détourne des ressources d'ingénierie des données de grande valeur des initiatives commerciales stratégiques. Parallèlement, le stockage en double gonfle les factures cloud et les architectures à plusieurs sauts retardent l'obtention d'insights critiques. Enfin, les données en transit se trouvent souvent en dehors des cadres de gouvernance centralisés, créant des risques de conformité et des angles morts pour le lignage. 

Présentation de Zerobus Ingest : le streaming en quasi-temps réel vers le Lakehouse

Aujourd'hui, nous sommes ravis d'annoncer la disponibilité générale de Zerobus Ingest, qui fait partie de Lakeflow Connect. Zerobus Ingest est un service serverless et entièrement géré qui diffuse les données en streaming directement dans des tables Delta gouvernées, éliminant ainsi les couches intermédiaires pour offrir une architecture simplifiée et haute performance. 

En permettant aux données de circuler directement des producteurs vers le lakehouse, Zerobus Ingest réduit considérablement les coûts et élimine la prolifération des outils. Il offre également des performances élevées à l'échelle de la montée en charge, prenant en charge des milliers de connexions simultanées et atteignant un débit agrégé de plus de 10 Go/seconde vers une table en moins de 5 secondes. 

L'avantage du récepteur unique : une architecture simplifiée pour une réduction significative des coûts

Les bus de messages traditionnels comme Kafka ont été conçus comme des architectures multi-destinataires : des hubs universels qui acheminent les données vers des dizaines de consommateurs indépendants. Cependant, cette flexibilité peut s'avérer très coûteuse lorsque votre seule destination est le lakehouse. Zerobus Ingest utilise une approche fondamentalement différente, avec une architecture à récepteur unique optimisée pour un seul job : transférer les données directement vers le lakehouse. 

Ce choix architectural élimine la complexité et réduit considérablement les coûts :

• Aucun agent à monter en charge à mesure que votre volume de données augmente
• Aucune partition à régler pour des performances optimales
• Aucun groupe de consommateurs à surveiller et à déboguer
• Aucune mise à niveau de cluster à planifier et à exécuter
• Aucune expertise spécialisée, telle que Kafka, n'est requise au sein de votre équipe  

Avec Zerobus Ingest, il existe un Databricks unique et géré endpoint. Créez votre table dans Unity Catalog, commencez à écrire des données avec l'API ou le SDK, et le tour est joué. C'est tout, rien d'autre à configurer. L'architecture serverless monte automatiquement en charge pour prendre en charge une ingestion de plusieurs gigaoctets par seconde, sans aucune modification de la configuration. 

Zerobus Ingest permet aux producteurs de données de contourner le bus de messages et de pousser les événements directement dans des tables Delta gérées au sein de votre Lakehouse. 

Zerobus Ingest simplifie l'architecture de streaming traditionnelle en la faisant passer de cinq systèmes gérés à deux composants, ce qui élimine de multiples points de défaillance, réduit la surcharge opérationnelle et supprime le besoin d'une expertise spécialisée.

• Architecture traditionnelle : Systèmes sources → Bus de messagerie (Cluster Kafka) avec un Schema Registry → Connecteurs → Lakehouse
• Architecture de Zerobus Ingest : Systèmes sources → Zerobus Ingest → Lakehouse

En éliminant le bus de messages intermédiaire, vous supprimez deux centres de coûts majeurs : le compute et le stockage pour le bus lui-même, et le temps d'ingénierie dédié à sa gestion. Zerobus Ingest propose l'ingestion de données pour une fraction du coût par gigaoctet par rapport à l'exécution et à la maintenance d'un cluster Kafka autogéré.

Zerobus Ingest propose l'ingestion à une fraction du coût par gigaoctet par rapport à l'exploitation et à la maintenance d'un cluster Kafka autogéré.

Découvrez plus en détail le fonctionnement de Zerobus dans ce blog d'analyse approfondie de la communauté Databricks ou dans la documentation.

Interfaces prises en charge et intégration native

Les développeurs peuvent s'intégrer via les API gRPC et REST, ou utiliser des SDK spécifiques à un langage. Zerobus Ingest fournit un large éventail d'interfaces push pour des intégrations spécifiques aux secteurs d'activité, ce qui en fait un outil unique et flexible qui simplifie l'ingestion.

• API gRPC : recommandée pour les applications à hautes performances nécessitant la latence la plus faible et le throughput le plus élevé.
• API REST (bêta) : Idéal pour les webhooks, les fonctions serverless et les langages où la prise en charge de gRPC peut être limitée.
• SDKs : Les bibliothèques prêtes pour la production pour Python, Java, Rust, Go et TypeScript simplifient la logique d'authentification et de batch à l'aide de gRPC.
• Open Telemetry (Bêta) : importez vos logs opérationnels, vos métriques et vos traces dans le Lakehouse pour une analyse historique à long terme avec une simple modification de la configuration. En savoir plus sur l'écosystème Open Telemetry ici.

En savoir plus sur les différences entre REST et gRPC.

De plus, comme chaque écriture est régie par Unity Catalog, vous bénéficiez d'un suivi automatique de la lignée des données et d'un contrôle d'accès affiné dès la création des données, garantissant ainsi une gouvernance unifiée de vos données de streaming avec le reste de votre lakehouse. 

Générer des avancées majeures pour les clients : des insights exponentiellement plus rapides Monter en charge 

Monitoring de la production en temps réel pour Toyota Motor Corporation

Toyota recherchait une solution unifiée pour traiter instantanément la télémétrie provenant de milliers d'appareils d'usine, sans la latence et la complexité des architectures IoT traditionnelles. 

« Zerobus Ingest nous permet de détecter les conditions de surchauffe en usine en quelques minutes plutôt qu'en quelques heures, ce qui soutient directement notre stratégie de neutralité carbone et notre efficacité opérationnelle. Mais il ne s'agit pas seulement de suivre la télémétrie de la température ; le fait de disposer de Zerobus Ingest comme option d'ingestion de données supplémentaire nous donne la possibilité de collecter diverses données d'usine en temps réel et de triggerer des contre-mesures immédiates qui ont transformé nos Opérations. » — Kento Izumi, Directeur général, Division de la promotion de la transformation numérique, Toyota Motor Corporation

Au lieu d'assembler plusieurs services cloud, Toyota utilise Zerobus Ingest, intégré à la connectivité IoT mondiale de Soracom, pour réduire les coûts de maintenance élevés des opérations en temps réel, transformer ses opérations de fabrication et soutenir ses objectifs de durabilité.

Architecture de pipeline de données IoT : de l'Edge à la plateforme analytique avec Zerobus Ingest et Soracom Beam

Izumi a également expliqué qu'ils sont capables d'accélérer leur efficacité opérationnelle : « Combiné à 'vista', notre plateforme unifiée de données et d'IA optimisée par Databricks, nous ne collectons pas seulement les données plus rapidement ; nous optimisons nos opérations de données. »

Joby Aviation : une analyse des performances de vol qui passe de plusieurs jours à quelques minutes

Joby Aviation, l'un des premiers à adopter Zerobus Ingest, diffuse chaque minute des gigaoctets de télémétrie aéronautique directement dans le lakehouse, ce qui permet à ses équipes d'ingénierie d'analyser les performances de vol en temps réel. Lire l'étude de cas de Joby Aviation.

« Zerobus Ingest a réduit la latence de résolution de notre télémétrie de plusieurs jours à quelques minutes. Cela permet à nos équipes d'ingénierie d'analyser les performances de vol en quasi temps réel et d'accélérer notre mission qui est de transformer le secteur des transports." Dominik Müller, responsable des systèmes d’usine, Joby Aviation

Alimenter les cas d'usage des Secteurs d'activité

L'infrastructure traditionnelle ralentit les opérations en temps réel. En supprimant la complexité des bus de messagerie intermédiaires, Zerobus Ingest crée un chemin direct vers la valeur en moins de 5 secondes pour tous les secteurs d'activité.

Accélérez votre transformation numérique en envoyant des données depuis n'importe quelle source de tous les Secteurs d'activité directement vers votre lakehouse.

Fabrication : optimisez l'efficacité de l'atelier de production. Utilisez les SDK Zerobus Ingest pour créer des agents de transfert personnalisés qui streament des volumes massifs de données de capteurs vers le Lakehouse. Cela optimise les performances des machines en éliminant la lourde surcharge de l'infrastructure réseau.

Télécommunications et IoT : surveillez les réseaux mondiaux à grande échelle. Déployé en périphérie, Zerobus Ingest achemine la télémétrie de votre réseau vers le lakehouse pour suivre la charge de votre réseau en quasi temps réel. Notre partenariat avec Soracom étend l'intégration avec une ingestion de données IoT mondiale, sécurisée et fiable via les réseaux cellulaires, satellites et LPWAN.

IT et cybersécurité : identifiez les menaces sans la latence de l'ETL. Contournez les pipelines complexes en streamant les logs et les événements comportementaux directement vers le Lakehouse. Cela permet la détection des menaces en quelques secondes, le réentraînement adaptatif des modèles et une réponse plus rapide aux incidents.

Commerce et clickstream : personnalisez les expériences en temps quasi réel. Capturez des données de flux de clics à grand volume depuis des applications et des appareils avec une surcharge d'infrastructure minimale. Cela permet une disponibilité instantanée des données pour alimenter les moteurs de personnalisation, les tests A/B et l'optimisation des conversions.

Disponibilité

Zerobus Ingest est maintenant en disponibilité générale sur AWS et Microsoft Azure, et la prise en charge de la plateforme Google Cloud sera bientôt disponible. La tarification est basée sur le volume sous le SKU Lakeflow Jobs Serverless .

Dans le cadre du lancement de la version en disponibilité générale (GA), nous proposons une période de Tarifs promotionnels de 6 mois. En savoir plus sur la page de Tarifs de Lakeflow Connect. 

Premiers pas avec Zerobus Ingest

Prêt à éliminer la complexité de l'infrastructure de streaming ? Avec seulement quelques lignes de code, vous pouvez commencer à diffuser des données en streaming directement dans vos tables régies par Unity Catalog, garantissant que vos données sont prêtes dès leur arrivée pour vous aider à obtenir des insights.

Consultez les ressources Zerobus Ingest suivantes pour commencer dès aujourd'hui :

• Essayez Zerobus Ingest maintenant : Accédez à la documentation et aux guides de démarrage rapide.
• Visite guidée du produit : Naviguez dans Zerobus Ingest et découvrez comment commencer à ingérer des données.
• Créer une application de bout en bout : un simulateur de navigation en temps réel suit une flotte de voiliers à l'aide du SDK Python et de l'API REST, avec Databricks Apps et Databricks Asset Bundles. Lire l'article de blog
• Créez une solution de jumeaux numériques : découvrez comment maximiser l'efficacité opérationnelle, accélérer les insight en temps réel et la maintenance prédictive avec les Databricks Apps et Lakebase. Lire l'article de blog

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original