¿Qué es la transmisión estructurada?
Aprenda a procesar datos en tiempo real utilizando las mismas API de Spark que utiliza para el procesamiento por lotes
Archived. This article has not been updated since the publish date above. The dynamic nature of information means that previously accurate content can become outdated or even obsolete over time. Readers are advised to exercise due diligence and cross-check any information found in this blog post before making decisions or adopting any practices based on said information.
- Comprenda qué es la transmisión estructurada y cómo proporciona una API de alto nivel para el procesamiento de transmisiones en Apache Spark.
- Aprenda a convertir trabajos por lotes a transmisión con cambios mínimos en el código para reducir la latencia y el procesamiento incremental.
- Explore cómo la transmisión estructurada simplifica el procesamiento de datos en tiempo real utilizando las mismas API estructuradas de Spark.
Structured Streaming es una API de alto nivel para el procesamiento de streams que estuvo lista para producción en Spark 2.2. Structured Streaming te permite realizar las mismas operaciones que haces en modo por lotes con las API estructuradas de Spark y ejecutarlas en modo de streaming. Esto puede reducir la latencia y permitir el procesamiento incremental. Lo mejor de Structured Streaming es que te permite obtener valor de los sistemas de streaming rápidamente y casi sin hacer cambios en el código. También facilita el razonamiento sobre el proceso, ya que puedes escribir tu trabajo por lotes a modo de prototipo y, luego, convertirlo en un trabajo de streaming. La manera en que todo esto funciona es procesando esos datos de forma incremental.
La guía de IA agéntica para la empresa
Recibe las últimas publicaciones en tu bandeja de entrada
Suscríbete a nuestro blog y recibe las últimas publicaciones directamente en tu bandeja de entrada.