Advanced Techniques with Apache Spark Declarative Pipelines - Spanish
Este curso explora Declarative Pipelines de Apache Spark de Databricks (SDP) para construir pipelines de transmisión de nivel de producción. Aprenderás patrones de diseño avanzados, aplicación robusta de calidad de datos e integración multiplataforma esenciales para la ingeniería de lakehouse en el mundo real.
A lo largo del curso, profundizarás en técnicas modernas de ingesta de datos y procesamiento, dominando herramientas como liquid clustering para la optimización del diseño y el patrón Multiplex Streaming para eventos con esquemas mixtos. Al finalizar los módulos, sabrás cómo manejar con confianza la evolución del esquema, automatizar change data capture (CDC) y garantizar la integridad de los datos.
A través de clases y demostraciones prácticas, podrás:
• Construir pipelines de múltiples flujos para ingestar datos de múltiples fuentes en una Tabla Bronce unificada.
• Aplicar liquid clustering y Expectativas de Calidad de Datos en las capas Plata y oro.
• Implementar el patrón Multiplex con Iceberg UniForm para el acceso a datos multiplataforma.
• Automatizar el seguimiento del historial SCD Tipo 2 mediante AUTO CDC INTO.
• Diseñar pipelines de cuarentena sin pérdida de datos para auditar y administrar registros no válidos.
Nota: Databricks Academy está pasando a un formato basado en cuadernos para las sesiones presenciales en el entorno de Databricks, dejando de utilizar presentaciones de diapositivas para las clases. Puedes acceder a los cuadernos de las clases en el entorno de laboratorio de Vocareum.
Languages Available: English | 日本語 | Português BR | 한국어
El contenido fue desarrollado para participantes con las siguientes habilidades/conocimientos/competencias:
• Spark Declarative Pipelines — Finalización del curso "Build Data Pipelines with Apache Spark Declarative Pipelines", o familiaridad con CREATE OR REFRESH STREAMING TABLE, CONSTRAINTS y la interfaz de usuario de Pipelines
• Delta Lake Fundamentals — Comprensión de las tablas Delta y cómo Delta gestiona los archivos de datos y los logs de transacciones
• Conceptos de transmisión — Conocimiento del streaming de micro-lotes, checkpointing y procesamiento de tiempo de evento en SDP
• Competencia en SQL — Capacidad para leer y escribir SQL, incluyendo SELECT, JOIN, MERGE, CASE WHEN y funciones de agregación comunes
• Python in Databricks Notebooks — Comodidad con la lectura y ejecución de código Python en Databricks Notebooks
• Unity Catalog Basics — Comprensión de catálogos, esquemas, tablas y volúmenes en Unity Catalog
Outline
Técnicas Avanzadas con Spark Declarative Pipelines:
• Introducción a Multi Flows, Expectation y Liquid Clustering en SDP
• Demo: Multi Flow SDP with Liquid Clustering and Data Quality
• Introducción a la transmisión multiplex, Delta Sinks e Iceberg Reads
• Demo: Transmisión Multiplex SDP con Destinos Delta y Lecturas Iceberg
• Change Data Capture (CDC) Review
• Demo: Automatización de SCD Type 2 con AUTO CDC en Apache Spark Declarative Pipelines
• Verificaciones Avanzadas de Calidad de Datos y Expectativas en SDP
• Demo: Advanced Data Quality Checks and Expectation in SDP
• Laboratorio: Creación de un Pipeline de Comercio electrónico Multi-fuente con SDP
Inscripción a clases públicas
Si su empresa ha adquirido créditos de servicio (Success Credits) o cuenta con una suscripción de aprendizaje, por favor complete el formulario de Solicitud de Capacitación. De lo contrario, puede registrarse a continuación.
Solicitud de clase privada
Si su empresa está interesada en capacitación privada, envíe una solicitud.
Registration options
Databricks ofrece modalidades de aprendizaje para acompañarlo en todo su recorrido.
A tu propio ritmo
Rutas de aprendizaje personalizadas para roles y trayectorias profesionales de datos, analítica e IA, con videos a pedido.
Regístrese ahora
Instruido por expertos
Cursos públicos y privados impartidos por instructores expertos en sesiones de medio día o dos días.
Regístrese ahora
Aprendizaje combinado (Blended Learning)
Sesiones semanales dirigidas por un instructor, junto con opciones a tu propio ritmo, para todos los estilos de aprendizaje, optimizando la finalización y la retención del conocimiento. Visite la pestaña “Catálogo de suscripciones” para comprar.
Comprar ahora
Skills@Scale
Oferta de capacitación integral para clientes a gran escala que incluye elementos para todos los estilos de aprendizaje. Consulte con su ejecutivo de cuenta para obtener más detalles.
