Arquitectura Lambda
¿Qué es la Arquitectura Lambda?
La arquitectura Lambda es una forma de procesar grandes cantidades de datos (es decir, “Big Data”) que ofrece acceso a métodos de procesamiento por lotes y procesamiento de transmisión con un enfoque híbrido. La arquitectura Lambda se usa para resolver el problema del cálculo de funciones arbitrarias. La arquitectura Lambda en sí está compuesta por 3 capas:
Más temas para descubrir
Capa por lotes
Los nuevos datos llegan de forma continua al sistema de datos. Se envían simultáneamente a la capa por lotes y a la capa de velocidad. El sistema analiza todos los datos a la vez y, finalmente, los corrige en la capa de transmisión. Aquí podemos encontrar mucho ETL y un almacén de datos tradicional. Esta capa se crea con un cronograma predefinido, normalmente una o dos veces al día. La capa por lotes tiene dos funciones muy importantes:
- Gestionar el conjunto de datos maestro
- Calcular previamente las vistas por lotes
Capa de servicio
Las salidas de la capa por lotes, en forma de vistas por lotes, y las que provienen de la capa de velocidad, en forma de vistas casi en tiempo real, se envían al servicio. Esta capa indexa las vistas por lotes para que se puedan consultar con baja latencia de forma ad hoc.
Capa de velocidad (capa de transmisión)
Esta capa gestiona los datos que aún no se entregan en la vista por lotes debido a la latencia de la capa por lotes. Además, solo maneja datos recientes para proporcionar una visión completa de los datos al usuario mediante la creación de vistas en tiempo real.
Beneficios de las arquitecturas lambda
Estos son los principales beneficios de las arquitecturas lambda:
- No tiene administración de servidores: no tienes que instalar, mantener ni administrar ningún software.
- Escalado flexible: tu aplicación puede escalarse automáticamente o escalarse mediante el ajuste de su capacidad.
- Alta disponibilidad automatizada: se refiere al hecho de que las aplicaciones sin servidor ya tienen disponibilidad incorporada y tolerancia a fallas. Representa una garantía de que todas las solicitudes obtendrán una respuesta sobre si tuvieron éxito o no.
- Agilidad empresarial: reacciona en tiempo real a los cambiantes escenarios del negocio/mercado
Desafíos con las arquitecturas lambda
- Complejidad: las arquitecturas Lambda pueden ser muy complejas. Los administradores normalmente deben mantener bases de código separadas para las capas por lotes y de transmisión, lo que puede dificultar la depuración.
Relacionado
Delta Lake: fuente y destino unificados para procesamiento por lotes y de transmisión