Deploy Workloads with Lakeflow Jobs - Spanish

Este es un curso introductorio que sirve como punto de partida adecuado para aprender ingeniería de datos con Databricks. 

A continuación, describimos cada uno de los cuatro módulos de cuatro horas incluidos en este curso.

1. Data Ingestion with Lakeflow Connect

Este curso ofrece una introducción completa a Lakeflow Connect como solución escalable y simplificada para la ingestión de datos en Databricks desde diversas fuentes de datos. Comenzará explorando los diferentes tipos de conectores de Lakeflow Connect (estándar y gestionados), aprenderá diversas técnicas de ingestión, como por lotes, por lotes incrementales y en streaming, y luego repasará las principales ventajas de las tablas Delta y la arquitectura Medallion.

A partir de ahí, adquirirá habilidades prácticas para ingestar datos de forma eficiente desde el almacenamiento de objetos en la nube utilizando los conectores estándar de Lakeflow Connect con métodos como CREATE TABLE AS (CTAS), COPY INTO y Auto Loader, junto con las ventajas y consideraciones de cada enfoque. A continuación, aprenderá a añadir columnas de metadatos a sus tablas de nivel bronce durante la ingestión en la plataforma de inteligencia de datos Databricks. A continuación, trabajará con la columna de datos rescatados, que gestiona los registros que no coinciden con el esquema de su tabla bronce, incluidas las estrategias para gestionar estos datos rescatados.

El curso también presenta técnicas para la ingestión y el aplanamiento de datos JSON semiestructurados, así como la ingestión de datos de nivel empresarial utilizando los conectores gestionados de Lakeflow Connect.

Por último, los alumnos explorarán estrategias de ingestión alternativas, incluidas las operaciones MERGE INTO y el aprovechamiento del Databricks Marketplace, lo que les proporcionará los conocimientos básicos para respaldar la ingestión de datos de ingeniería moderna.

2. Deploy Workloads with Lakeflow Jobs

El curso Implementar cargas de trabajo con Lakeflow Jobs enseña cómo orquestar y automatizar los flujos de trabajo de datos, análisis e inteligencia artificial utilizando Lakeflow Jobs. Aprenderá a crear canalizaciones robustas y listas para la producción con una programación flexible, una orquestación avanzada y las mejores prácticas en materia de fiabilidad y eficiencia, todo ello integrado de forma nativa en la plataforma de inteligencia de datos Databricks. Se recomienda tener experiencia previa con Databricks, Python y SQL.

3. Build Data Pipelines with Lakeflow Declarative Pipelines

Este curso presenta a los usuarios los conceptos y habilidades esenciales necesarios para crear canalizaciones de datos utilizando Lakeflow Declarative Pipelines en Databricks para la ingestión y el procesamiento incremental por lotes o en streaming a través de múltiples tablas de streaming y vistas materializadas. Diseñado para ingenieros de datos que se inician en Lakeflow Declarative Pipelines, el curso ofrece una visión general completa de los componentes básicos, como el procesamiento incremental de datos, las tablas de streaming, las vistas materializadas y las vistas temporales, destacando sus propósitos específicos y sus diferencias.

Entre los temas tratados se incluyen:

⇾ Desarrollo y depuración de canalizaciones ETL con el editor de múltiples archivos de Lakeflow utilizando SQL (con ejemplos de código Python).

⇾ Cómo las canalizaciones declarativas de Lakeflow realizan un seguimiento de las dependencias de datos en una canalización a través del gráfico de la canalización.

⇾ Configuración de los recursos informáticos de la canalización, los activos de datos, los modos de activación y otras opciones avanzadas.

A continuación, el curso presenta las expectativas de calidad de los datos en Lakeflow y guía a los usuarios a través del proceso de integración de las expectativas en las canalizaciones para validar y garantizar la integridad de los datos. A continuación, los alumnos explorarán cómo poner en producción una canalización, incluidas las opciones de programación, el modo de producción y la habilitación del registro de eventos de la canalización para supervisar su rendimiento y estado.

Por último, el curso trata cómo implementar la captura de datos modificados (CDC) utilizando la sintaxis APPLY CHANGES INTO dentro de los pipelines declarativos de Lakeflow para gestionar dimensiones que cambian lentamente (SCD tipo 1 y tipo 2), preparando a los usuarios para integrar CDC en sus propios pipelines.

4. Data Management and Governance with Unity Catalog

En este curso, aprenderá sobre la gestión y la gobernanza de datos utilizando Databricks Unity Catalog. Cubre los conceptos básicos de la gobernanza de datos, las complejidades de la gestión de lagos de datos, la arquitectura de Unity Catalog, la seguridad, la administración y temas avanzados como el control de acceso detallado, la segregación de datos y la gestión de privilegios.

* Este curso tiene como objetivo preparar a los alumnos para completar el examen de certificación de ingeniería de datos asociada y proporciona los conocimientos necesarios para realizar el curso Ingeniería de datos avanzada con Databricks.

Languages Available: English | 日本語 | Português BR | 한국어 | Español

Este curso presenta a los usuarios los conceptos y habilidades esenciales necesarios para crear canalizaciones de datos utilizando Lakeflow Declarative Pipelines en Databricks para la ingesta y el procesamiento incrementales por lotes o de transmisión a través de varias tablas de transmisión y vistas materializadas. Diseñado para ingenieros de datos nuevos en Lakeflow Declarative Pipelines, el curso proporciona una descripción general completa de los componentes principales, como el procesamiento de datos incremental, las tablas de transmisión, las vistas materializadas y las vistas temporales, destacando sus propósitos y diferencias específicos.

Los temas tratados incluyen:

- Desarrollo y depuración de canalizaciones ETL con el editor de archivos múltiples en Lakeflow usando SQL (con ejemplos de código Python proporcionados)

- Cómo Lakeflow Declarative Pipelines rastrean las dependencias de datos en un pipeline a través del grafo del pipeline

- Configuración de recursos informáticos del pipeline, activos de datos, modos de activación y otras opciones avanzadas

A continuación, el curso presenta las expectativas de calidad de los datos en Lakeflow, guiando a los usuarios a través del proceso de integración de las expectativas en las canalizaciones para validar y hacer cumplir la integridad de los datos. Luego, los alumnos explorarán cómo poner un pipeline en producción, incluidas las opciones de programación, el modo de producción y la habilitación del registro de eventos de pipeline para monitorear el rendimiento y la salud de pipeline.

Finalmente, el curso cubre cómo implementar Change Data Capture (CDC) utilizando la sintaxis APPLY CHANGES INTO dentro de Lakeflow Declarative Pipelines para administrar dimensiones que cambian lentamente (SCD Tipo 1 y Tipo 2), preparando a los usuarios para integrar CDC en sus propias canalizaciones.

Este curso proporciona una introducción completa a Lakeflow Connect, una solución escalable y simplificada para ingerir datos en Databricks desde una amplia gama de fuentes. Comenzará explorando los diferentes tipos de conectores de Lakeflow Connect (estándar y administrados) y aprenderá varias técnicas de ingesta de datos, incluida la ingesta Batch, Batch incremental y transmisión. También revisará los beneficios clave de usar tablas Delta y la arquitectura Medallion.

A continuación, desarrollará habilidades prácticas para ingerir datos del almacenamiento de objetos en la nube mediante los conectores estándar de Lakeflow Connect. Esto incluye trabajar con métodos como CREATE TABLE AS SELECT (CTAS), COPY INTO y Auto Loader, con énfasis en los beneficios y consideraciones de cada enfoque. También aprenderá a anexar columnas de metadatos a las tablas de nivel bronce durante la ingesta en el Databricks Data Intelligence Platform. A continuación, el curso cubre cómo controlar los registros que no coinciden con el esquema de la tabla mediante la columna de datos rescatados, junto con estrategias para administrar y analizar estos datos. También explorará técnicas para ingerir y aplanar datos JSON semiestructurados.

A continuación, explorará cómo realizar la ingesta de datos de nivel empresarial mediante los conectores administrados de Lakeflow Connect para incorporar datos de bases de datos y aplicaciones de software como servicio (SaaS). El curso también presenta Partner Connect como una opción para integrar herramientas de socios en sus flujos de trabajo de ingesta.

Finalmente, el curso concluye con estrategias de ingesta alternativas, que incluyen operaciones MERGE INTO y aprovechar el Databricks Marketplace, equipándolo con una base sólida para respaldar los casos de uso de ingeniería de datos modernos.