Advanced Techniques with Apache Spark Declarative Pipelines - Spanish
Este curso explora Declarative Pipelines de Apache Spark de Databricks (SDP) para construir pipelines de transmisión de nivel de producción. Aprenderás patrones de diseño avanzados, aplicación robusta de calidad de datos e integración multiplataforma esenciales para la ingeniería de lakehouse en el mundo real.
A lo largo del curso, profundizarás en técnicas modernas de ingesta de datos y procesamiento, dominando herramientas como liquid clustering para la optimización del diseño y el patrón Multiplex Streaming para eventos con esquemas mixtos. Al finalizar los módulos, sabrás cómo manejar con confianza la evolución del esquema, automatizar change data capture (CDC) y garantizar la integridad de los datos.
A través de clases y demostraciones prácticas, podrás:
• Construir pipelines de múltiples flujos para ingestar datos de múltiples fuentes en una Tabla Bronce unificada.
• Aplicar liquid clustering y Expectativas de Calidad de Datos en las capas Plata y oro.
• Implementar el patrón Multiplex con Iceberg UniForm para el acceso a datos multiplataforma.
• Automatizar el seguimiento del historial SCD Tipo 2 mediante AUTO CDC INTO.
• Diseñar pipelines de cuarentena sin pérdida de datos para auditar y administrar registros no válidos.
Nota:
- Este curso es el primero de la serie 'Advanced Data Engineering with Databricks'.
- Para los archivos de lecciones SCORM, asegúrate de cerrar la ventana de SCORM después de completar el contenido. No hagas clic en el botón ‘Next Lesson’, ya que hacerlo podría impedir que el módulo SCORM se marque como completado.
En este curso, el contenido se desarrolló para participantes con las siguientes habilidades, conocimientos y capacidades:
• Spark Declarative Pipelines — Finalización del curso "Build Data Pipelines with Apache Spark Declarative Pipelines", o familiaridad con CREATE OR REFRESH STREAMING TABLE, CONSTRAINTS y la interfaz de usuario de Pipelines
• Delta Lake Fundamentals — Comprensión de las tablas Delta y cómo Delta gestiona los archivos de datos y los logs de transacciones
• Conceptos de transmisión — Conocimiento del streaming de micro-lotes, checkpointing y procesamiento de tiempo de evento en SDP
• Competencia en SQL — Capacidad para leer y escribir SQL, incluyendo SELECT, JOIN, MERGE, CASE WHEN y funciones de agregación comunes
• Python in Databricks Notebooks — Comodidad con la lectura y ejecución de código Python en Databricks Notebooks
• Unity Catalog Basics — Comprensión de catálogos, esquemas, tablas y volúmenes en Unity Catalog
A tu propio ritmo
Rutas de aprendizaje personalizadas para roles y trayectorias profesionales de datos, analítica e IA, con videos a pedido.
Registration options
Databricks ofrece modalidades de aprendizaje para acompañarlo en todo su recorrido.
A tu propio ritmo
Rutas de aprendizaje personalizadas para roles y trayectorias profesionales de datos, analítica e IA, con videos a pedido.
Regístrese ahora
Instruido por expertos
Cursos públicos y privados impartidos por instructores expertos en sesiones de medio día o dos días.
Regístrese ahora
Aprendizaje combinado (Blended Learning)
Sesiones semanales dirigidas por un instructor, junto con opciones a tu propio ritmo, para todos los estilos de aprendizaje, optimizando la finalización y la retención del conocimiento. Visite la pestaña “Catálogo de suscripciones” para comprar.
Comprar ahora
Skills@Scale
Oferta de capacitación integral para clientes a gran escala que incluye elementos para todos los estilos de aprendizaje. Consulte con su ejecutivo de cuenta para obtener más detalles.
