Lakeflow: ingeniería unificada de datos agénticos

Una canalización de datos suele referirse a un proceso de varios pasos para mover y procesar datos. Las canalizaciones de datos son fundamentales para la ingeniería de datos y se utilizan para incorporar datos de una fuente de datos, limpiarlos, modificarlos, enriquecerlos y hacerlos utilizables. Por lo tanto, las canalizaciones de datos forman parte de casi todas las iniciativas analíticas o de IA. Las canalizaciones de datos pueden ser simples o complejas y, a menudo, necesitan manejar diferentes tipos de datos (por ejemplo, datos estructurados o no estructurados) y datos en tiempo real, y también deben poder escalarse para procesar grandes cantidades de datos.

El streaming de datos se refiere a los datos que se generan en tiempo real y que a menudo se organizan y consumen a través de flujos de datos. Hoy en día, cada vez más datos se generan en tiempo real por sensores, sitios web, aplicaciones móviles, etc. Las organizaciones que buscan utilizar flujos de datos para implementar soluciones como el análisis en tiempo real a menudo encuentran que los flujos de datos pueden ser difíciles de gestionar y procesar de manera eficiente. Por este motivo, muchos clientes de Databricks recurren a la plataforma de datos + AI, que ofrece capacidades de transmisión integradas para que el procesamiento de transmisión sea fácil, eficiente y altamente escalable.

Databricks proporciona un motor de ingeniería de datos potente y unificado a través de Lakeflow, diseñado para manejar todo, desde la ingesta hasta la transformación y la orquestación a escala. Las capacidades principales incluyen la ingesta de datos de una amplia gama de fuentes con Lakeflow Connect, el desarrollo y la gestión de canalizaciones de datos con Lakeflow Spark Declarative Pipelines y la orquestación de flujos de trabajo con Lakeflow Jobs. Estas capacidades no se limitan a los ingenieros de datos. Los profesionales de SQL y los usuarios no técnicos pueden acceder al mismo motor a través de interfaces como el editor SQL de Databricks y Lakeflow Designer (utilizando SQL, lenguaje natural o flujos de trabajo visuales) y beneficiarse del rendimiento, la automatización y la fiabilidad de la plataforma subyacente. Con Genie Code, los equipos pueden ir más allá con la ingeniería de datos agéntica, utilizando la IA agéntica para generar, refinar y optimizar canalizaciones con pleno conocimiento de sus datos.

Lakeflow está diseñado para todos los equipos involucrados en la creación de canalizaciones de datos, no solo para ingenieros de datos dedicados. Los profesionales de SQL y otros usuarios no técnicos pueden crear, gestionar y solucionar problemas de canalizaciones a través de interfaces como el editor SQL de Databricks y Lakeflow Designer, utilizando SQL, lenguaje natural o flujos de trabajo visuales. Al mismo tiempo, los equipos de ingeniería de datos trabajan en el mismo motor subyacente, por lo que siguen obteniendo el rendimiento, la automatización y la fiabilidad de la plataforma. Esta base compartida permite a las organizaciones ampliar el trabajo de canalización de datos más allá de un solo equipo especializado.

Lakeflow combina la ingesta, la transformación y la orquestación en una pila de herramientas única y unificada, en lugar de requerir soluciones puntuales independientes para cada etapa. Esto reduce los costos y la sobrecarga de integración en comparación con la gestión de varias herramientas desconectadas, y mantiene los datos bajo una gobernanza y un linaje unificados e integrados en toda la canalización. Componentes como Lakeflow Connect para la ingesta, Spark Declarative Pipelines para la transformación y Lakeflow Jobs para la orquestación se ejecutan en el mismo motor, que optimiza automáticamente el uso de recursos tanto para casos de uso por lotes como en tiempo real.

Puedes comenzar a utilizar Lakeflow haciendo la formación gratuita en ingeniería de datos, un programa diseñado para familiarizarse con los conceptos básicos de ingeniería de datos en 90 minutos. A partir de ahí, la documentación de Lakeflow cubre todo lo necesario para comenzar a crear canalizaciones, incluida la ingesta, la transformación y la orquestación. Los equipos que deseen ver primero la plataforma en acción también pueden ver las demostraciones de ingeniería de datos que cubren la plataforma de datos + IA de Databricks.