Build Data Pipelines with Apache Spark Declarative Pipelines - Spanish

Este curso introduce a los usuarios a los conceptos y habilidades esenciales necesarios para construir pipelines de datos utilizando Apache Spark™ Declarative Pipelines (SDP) en Databricks para la ingesta y el procesamiento incremental en Batch o transmisión a través de múltiples tablas de transmisión y vistas materializadas. Diseñado para ingenieros de datos nuevos en Spark Declarative Pipelines, el curso ofrece una visión general completa de los componentes principales, como el procesamiento incremental de datos, las tablas de transmisión, las vistas materializadas y las vistas temporales, destacando sus propósitos específicos y diferencias.

Los temas tratados incluyen:

• Desarrollo y depuración de pipelines ETL con el editor de múltiples archivos en Spark Declarative Pipelines usando SQL (con ejemplos de código en Python)

• Cómo Spark Declarative Pipelines realiza el seguimiento de las dependencias de datos en un pipeline a través del grafo del pipeline

• Configuración de recursos de compute del pipeline, activos de datos, modos de Trigger y otras opciones avanzadas

A continuación, el curso presenta las expectativas de calidad de datos en Spark Declarative Pipelines, guiando a los usuarios a través del proceso de integración de expectativas en los pipelines para validar y aplicar la Integridad de los datos. Los estudiantes explorarán cómo poner un pipeline en producción, incluyendo las opciones de programación y la habilitación del registro de eventos del pipeline para monitorear el rendimiento y el estado del pipeline.

Por último, el curso explica cómo implementar Change Data Capture (CDC) utilizando la sintaxis AUTO CDC INTO dentro de Spark Declarative Pipelines para administrar slowly changing dimensions (SCD Tipo 1 y Tipo 2), preparando a los usuarios para integrar CDC en sus propios pipelines.

Nota: Databricks Academy está migrando a un formato basado en notebooks para las sesiones en el aula dentro del entorno de Databricks, y dejará de usar diapositivas para las clases. Puede acceder a los notebooks de las clases en el entorno de lab de Vocareum.

Skill Level

Associate

Duration

Prerequisites

En este curso, el contenido se desarrolló para participantes con estas habilidades/conocimientos/aptitudes:

• Conocimiento básico de la Plataforma de Inteligencia de Datos de Databricks, incluyendo Databricks Workspaces, Apache Spark, Delta Lake, la Arquitectura de Medallas, Lakeflow Jobs y Unity Catalog.

• Experiencia en la ingesta de Datos sin procesar en tablas Delta, incluyendo el uso de la función SQL read_files para cargar formatos como CSV, JSON, TXT y Parquet.

• Dominio en la transformación de datos mediante SQL, incluyendo la escritura de consultas de nivel intermedio y un conocimiento básico de los joins de SQL.

• Comprensión de los conceptos ETL y de los flujos de trabajo de Batch/transmisión.

Outline

• Introducción a la Ingeniería de datos en Databricks

• Demo - Configuración del curso y creación de un Pipeline

• Descripción general del proyecto del curso y tipos de dataset

• Simplified Pipeline Development and Common Pipeline Settings

• Demo - Developing a Simple Pipeline

• Garantizar la calidad de los datos con Expectations

• Demo - Añadir Expectativas de Calidad de Datos

• Lab - Create a Pipeline

• Transmisión de Joins y Despliegue de Pipelines en Producción

• Demo - Implementación de un Pipeline en producción

• Descripción general de Change Data Capture (CDC)

• Demo - Change Data Capture con AUTO CDC con SCD TYPE 1

• Resumen y Próximos Pasos

• Bonus Lab - AUTO CDC INTO with SCD Type 1

Inscripción a clases públicas

Si su empresa ha adquirido créditos de servicio (Success Credits) o cuenta con una suscripción de aprendizaje, por favor complete el formulario de Solicitud de Capacitación. De lo contrario, puede registrarse a continuación.

Registro de clientes Registro de socios

Solicitud de clase privada

Si su empresa está interesada en capacitación privada, envíe una solicitud.

Solicitar Entrenamiento Privado

Ver todas nuestras opciones de inscripción

Registration options

Databricks ofrece modalidades de aprendizaje para acompañarlo en todo su recorrido.

A tu propio ritmo

Rutas de aprendizaje personalizadas para roles y trayectorias profesionales de datos, analítica e IA, con videos a pedido.

Regístrese ahora

Instruido por expertos

Cursos públicos y privados impartidos por instructores expertos en sesiones de medio día o dos días.

Regístrese ahora

Aprendizaje combinado (Blended Learning)

Sesiones semanales dirigidas por un instructor, junto con opciones a tu propio ritmo, para todos los estilos de aprendizaje, optimizando la finalización y la retención del conocimiento. Visite la pestaña “Catálogo de suscripciones” para comprar.

Comprar ahora

Skills@Scale

Oferta de capacitación integral para clientes a gran escala que incluye elementos para todos los estilos de aprendizaje. Consulte con su ejecutivo de cuenta para obtener más detalles.

Próximas clases públicas

Introduction to Python for Data Science and Data Engineering - Spanish

Este curso está dirigido a personas sin ningún conocimiento previo de Python y proporciona los fundamentos de la interacción programática con datos. El curso comienza con una introducción básica a las expresiones de programación, variables y tipos de datos. Luego avanza hacia sentencias condicionales y de control, funciones, tipos de Colección, bucles, manejo de errores y clases. Aprenderás a extender Python con bibliotecas externas y adquirirás experiencia en el uso de la biblioteca Pandas para el análisis y la visualización de datos, incluyendo el escalado de Flujos de trabajo de Pandas con Apache Spark. Por último, explorarás los fundamentos de la computación en la nube. A lo largo del curso, adquirirás práctica mediante ejercicios de laboratorio, con recursos adicionales para profundizar en tu conocimiento de la programación después de la clase.

Nota: Databricks Academy está realizando la transición a un formato basado en notebooks para las sesiones en el aula dentro del entorno de Databricks, descontinuando el uso de presentaciones de diapositivas para las clases. Puede acceder a los notebooks de las clases en el entorno de laboratorio de Vocareum.

Generative AI Engineer

Agent Evaluation on Databricks - Spanish

Este curso enseña a los estudiantes a evaluar de forma sistemática agentes de IA utilizando el marco de evaluación de MLflow, abordando los desafíos particulares de los sistemas de IA no deterministas que las pruebas de software tradicionales no pueden manejar. Los estudiantes aprenden a implementar diversos enfoques de evaluación, incluidos jueces incorporados para criterios comunes como la corrección y la seguridad, jueces de directrices para requisitos específicos del negocio y jueces personalizados para necesidades especializadas. El curso abarca tanto la evaluación offline mediante datasets curados como el monitoreo online en producción, con experiencia práctica utilizando las capacidades de tracing de MLflow para comprender los patrones de ejecución de los agentes y recopilar comentarios humanos de distintos tipos de partes interesadas. A través de demostraciones prácticas y laboratorios, los estudiantes desarrollan habilidades para crear flujos de trabajo de evaluación que impulsan mejoras continuas de calidad a lo largo de todo el ciclo de vida del desarrollo de agentes de IA.

Nota: Databricks Academy está migrando a un formato basado en notebooks para las sesiones en el aula dentro del entorno de Databricks, y deja de utilizar diapositivas para las clases. Puede acceder a los notebooks de las clases en el entorno de laboratorio de Vocareum.

Generative AI Engineer

Building Agentic Applications on Databricks - Spanish

Este curso enseña a los participantes a crear aplicaciones de agentes listas para producción en Databricks. Aprenderán a crear herramientas de agentes gobernadas mediante Unity Catalog y MCP, a crear sistemas de uno o varios agentes con OpenAI Agents SDK y a aprovechar Agent Bricks y Genie en casos de uso de Knowledge Assistant orquestados con un agente supervisor. El curso abarca todo el proceso, desde la creación de prototipos de herramientas hasta la implementación en producción, con experiencia práctica en el uso de trazas de MLflow para observar la ejecución de agentes.