Data Engineering with Databricks - Spanish

Este es un curso introductorio que sirve como un punto de entrada adecuado para aprender Data Engineering con Databricks.

A continuación, describimos cada uno de los cuatro módulos de cuatro horas incluidos en este curso.

Nota: para los siguientes cuatro módulos, Databricks Academy está migrando a un formato basado en notebooks para las sesiones en el aula dentro del entorno de Databricks, y dejará de usar diapositivas para las clases. Puede acceder a los notebooks de las clases en el entorno de lab de Vocareum.

1. Data Ingestion with Lakeflow Connect

Este curso ofrece una introducción integral a Lakeflow Connect, una solución escalable y simplificada para ingerir datos en Databricks desde una amplia variedad de fuentes. Comenzará explorando los diferentes tipos de conectores de Lakeflow Connect (Standard y Managed) y aprenderá diversas técnicas de ingesta de datos, incluidas la ingesta por batch, batch incremental y streaming. También repasará los principales beneficios de usar la Delta table y la arquitectura Medallion.

A continuación, desarrollará habilidades prácticas para ingerir datos desde cloud object storage utilizando los Lakeflow Connect Standard Connectors. Esto incluye trabajar con métodos como CREATE TABLE AS SELECT (CTAS), COPY INTO y Auto Loader, con énfasis en los beneficios y las consideraciones de cada enfoque. También aprenderá a agregar columnas de metadatos a sus tablas de nivel bronze durante la ingesta en la Databricks Data Intelligence Platform. Luego, el curso aborda cómo gestionar los registros que no coinciden con el schema de su tabla mediante la columna rescued data, junto con estrategias para administrar y analizar estos datos. También explorará técnicas para ingerir y aplanar datos JSON semiestructurados.

Después de esto, explorará cómo realizar una ingesta de datos de nivel empresarial utilizando los Lakeflow Connect Managed Connectors para incorporar datos desde bases de datos y aplicaciones Software-as-a-Service (SaaS). El curso también presenta Partner Connect como una opción para integrar herramientas de partners en sus cargas de trabajo de ingesta.

Por último, el curso concluye con estrategias de ingesta alternativas, incluidas las operaciones MERGE INTO y el aprovechamiento de Databricks Marketplace, lo que le proporcionará una base sólida para respaldar casos de uso modernos de data engineering.

2. Deploy Workloads with Lakeflow Jobs

El curso Deploy Workloads with Lakeflow Jobs enseña a orquestar y automatizar flujos de trabajo de datos, analytics e IA utilizando Lakeflow Jobs como una plataforma de orquestación unificada dentro del ecosistema de Databricks.

• Aprenderá a diseñar e implementar cargas de trabajo de datos mediante Directed Acyclic Graphs (DAGs), a configurar diversas opciones de programación y a implementar funciones avanzadas de flujo de trabajo, como la ejecución condicional de tareas, las dependencias run-if y los bucles for each.

• El curso abarca las prácticas recomendadas para crear pipelines robustos y listos para producción, con una selección adecuada de compute, orquestación modular, técnicas de manejo de errores y un diseño tolerante a fallos, todo ello integrado de forma nativa en la Databricks Data Intelligence Platform.

3. Build Data Pipelines with Apache Spark Declarative Pipelines

Este curso presenta a los usuarios los conceptos y las habilidades esenciales necesarios para crear pipelines de datos utilizando Apache Spark Declarative Pipelines (SDP) en Databricks para la ingesta y el procesamiento por batch incremental o streaming a través de múltiples streaming tables y materialized views. Diseñado para data engineers que se inician en Spark Declarative Pipelines, el curso ofrece una descripción general integral de componentes esenciales como el procesamiento incremental de datos, las streaming tables, las materialized views y las temporary views, y destaca sus propósitos específicos y sus diferencias.

Los temas tratados incluyen:

• Desarrollo y depuración de pipelines de ETL con el editor multiarchivo de Spark Declarative Pipelines usando SQL (se proporcionan ejemplos de código en Python)

• Cómo Spark Declarative Pipelines rastrea las dependencias de datos en un pipeline a través del pipeline graph

• Configuración de los recursos de compute del pipeline, los activos de datos, los modos de activación y otras opciones avanzadas

A continuación, el curso presenta las data quality expectations en Spark Declarative Pipelines, y guía a los usuarios a través del proceso de integración de expectations en los pipelines para validar y hacer cumplir la integridad de los datos. Luego, los alumnos explorarán cómo poner un pipeline en producción, incluidas las opciones de programación, y cómo habilitar el registro de eventos del pipeline para supervisar su rendimiento y su estado.

Por último, el curso aborda cómo implementar Change Data Capture (CDC) mediante la sintaxis AUTO CDC INTO en Spark Declarative Pipelines para gestionar slowly changing dimensions (SCD Type 1 y Type 2), lo que prepara a los usuarios para integrar CDC en sus propios pipelines.

4. DevOps Essentials for Data Engineering

Este curso explora las prácticas recomendadas de ingeniería de software y los principios de DevOps, diseñados específicamente para data engineers que trabajan con Databricks. Los participantes construirán una base sólida en temas clave como la calidad del código, el control de versiones, la documentación y las pruebas. El curso hace hincapié en DevOps, y abarca sus componentes esenciales, sus beneficios y el papel de la integración y entrega continuas (CI/CD) en la optimización de los flujos de trabajo de data engineering.

Aprenderá a aplicar principios de modularidad en PySpark para crear componentes reutilizables y estructurar el código de manera eficiente. La experiencia práctica incluye diseñar e implementar pruebas unitarias para funciones de PySpark utilizando el framework pytest, seguidas de pruebas de integración para pipelines de datos de Databricks con Spark Declarative Pipeline y Jobs a fin de garantizar la fiabilidad.

El curso también abarca operaciones esenciales de Git en Databricks, incluido el uso de las Databricks Git Folders para integrar prácticas de integración continua. Por último, obtendrá una visión general de alto nivel de los diversos métodos de deployment de activos de Databricks, como REST API, CLI, SDK y Declarative Automation Bundles (DABs), lo que le proporcionará el conocimiento de las técnicas para desplegar y administrar sus pipelines.

Al finalizar el curso, dominará las prácticas recomendadas de ingeniería de software y DevOps, lo que le permitirá crear soluciones de data engineering escalables, fáciles de mantener y eficientes.

Languages Available: English | 日本語 | Português BR | 한국어 | Español | française