Build Data Pipelines with Apache Spark Declarative Pipelines - Spanish
Este curso presenta a los usuarios los conceptos y habilidades esenciales necesarios para construir pipelines de datos utilizando Apache Spark™ Declarative Pipelines (SDP) en Databricks para la ingesta y el procesamiento incremental por lotes (Batch) o de transmisión a través de múltiples Streaming Tables y Materialized Views. Diseñado para ingenieros de datos que son nuevos en Spark Declarative Pipelines, el curso ofrece una descripción general completa de los componentes principales, como el procesamiento incremental de datos, las Streaming Tables, las Materialized Views y las vistas temporales, destacando sus propósitos específicos y diferencias.
Los temas tratados incluyen:
• Desarrollo y depuración de pipelines ETL con el editor de múltiples archivos en Spark Declarative Pipelines usando SQL (con ejemplos de código en Python)
• Cómo Spark Declarative Pipelines rastrea las dependencias de datos en un pipeline a través del grafo del pipeline
• Configuración de recursos de compute del pipeline, activos de datos, modos de Trigger y otras opciones avanzadas
A continuación, el curso presenta las expectativas de calidad de datos en Spark Declarative Pipelines, guiando a los usuarios a través del proceso de integración de expectativas en los pipelines para validar y garantizar la Integridad de los datos. Los participantes explorarán luego cómo llevar un pipeline a producción, incluidas las opciones de programación y la habilitación del registro de eventos del pipeline para monitorear el rendimiento y el estado del pipeline.
Finalmente, el curso explica cómo implementar Change Data Capture (CDC) mediante la sintaxis AUTO CDC INTO dentro de Spark Declarative Pipelines para administrar slowly changing dimensions (SCD Tipo 1 y Tipo 2), preparando a los usuarios para integrar CDC en sus propios pipelines.
Nota: Para los archivos de lecciones SCORM, asegúrate de cerrar la ventana de SCORM después de completar el contenido. No hagas clic en el botón ‘Next Lesson’, ya que hacerlo podría impedir que el módulo SCORM se marque como completado.
En este curso, el contenido se desarrolló para participantes con las siguientes habilidades, conocimientos y capacidades:
• Conocimiento básico de la Plataforma de Inteligencia de Datos de Databricks, incluyendo Databricks Workspaces, Apache Spark, Delta Lake, la Arquitectura de Medallas, Lakeflow Jobs y Unity Catalog.
• Experiencia en la ingesta de Datos sin procesar en tablas Delta, incluyendo el uso de la función SQL read_files para cargar formatos como CSV, JSON, TXT y Parquet.
• Competencia en la transformación de datos mediante SQL, incluyendo la escritura de consultas de nivel intermedio y un conocimiento básico de los joins en SQL.
• Comprensión de los conceptos ETL y de los flujos de trabajo Batch/transmisión.
A tu propio ritmo
Rutas de aprendizaje personalizadas para roles y trayectorias profesionales de datos, analítica e IA, con videos a pedido.
Registration options
Databricks ofrece modalidades de aprendizaje para acompañarlo en todo su recorrido.
A tu propio ritmo
Rutas de aprendizaje personalizadas para roles y trayectorias profesionales de datos, analítica e IA, con videos a pedido.
Regístrese ahoraInstruido por expertos
Cursos públicos y privados impartidos por instructores expertos en sesiones de medio día o dos días.
Regístrese ahoraAprendizaje combinado (Blended Learning)
Sesiones semanales dirigidas por un instructor, junto con opciones a tu propio ritmo, para todos los estilos de aprendizaje, optimizando la finalización y la retención del conocimiento. Visite la pestaña “Catálogo de suscripciones” para comprar.
Comprar ahoraSkills@Scale
Oferta de capacitación integral para clientes a gran escala que incluye elementos para todos los estilos de aprendizaje. Consulte con su ejecutivo de cuenta para obtener más detalles.

