Transmisión estructurada

Structured Streaming es una API de alto nivel para el procesamiento de streams que estuvo lista para producción en Spark 2.2. Structured Streaming te permite realizar las mismas operaciones que haces en modo por lotes con las API estructuradas de Spark y ejecutarlas en modo de streaming. Esto puede reducir la latencia y permitir el procesamiento incremental. Lo mejor de Structured Streaming es que te permite obtener valor de los sistemas de streaming rápidamente y casi sin hacer cambios en el código. También facilita el razonamiento sobre el proceso, ya que puedes escribir tu trabajo por lotes a modo de prototipo y, luego, convertirlo en un trabajo de streaming. La manera en que todo esto funciona es procesando esos datos de forma incremental.