¿Qué es la transmisión estructurada?
Aprenda a procesar datos en tiempo real utilizando las mismas API de Spark que utiliza para el procesamiento por lotes
Summary
- Comprenda qué es la transmisión estructurada y cómo proporciona una API de alto nivel para el procesamiento de transmisiones en Apache Spark.
- Aprenda a convertir trabajos por lotes a transmisión con cambios mínimos en el código para reducir la latencia y el procesamiento incremental.
- Explore cómo la transmisión estructurada simplifica el procesamiento de datos en tiempo real utilizando las mismas API estructuradas de Spark.
Structured Streaming es una API de alto nivel para el procesamiento de streams que estuvo lista para producción en Spark 2.2. Structured Streaming te permite realizar las mismas operaciones que haces en modo por lotes con las API estructuradas de Spark y ejecutarlas en modo de streaming. Esto puede reducir la latencia y permitir el procesamiento incremental. Lo mejor de Structured Streaming es que te permite obtener valor de los sistemas de streaming rápidamente y casi sin hacer cambios en el código. También facilita el razonamiento sobre el proceso, ya que puedes escribir tu trabajo por lotes a modo de prototipo y, luego, convertirlo en un trabajo de streaming. La manera en que todo esto funciona es procesando esos datos de forma incremental.
