Ir al contenido principal

Build Data Pipelines with Apache Spark Declarative Pipelines - Spanish

Este curso presenta a los usuarios los conceptos y habilidades esenciales necesarios para construir pipelines de datos utilizando Apache Spark™ Declarative Pipelines (SDP) en Databricks para la ingesta y el procesamiento incremental por lotes (Batch) o de transmisión a través de múltiples Streaming Tables y Materialized Views. Diseñado para ingenieros de datos que son nuevos en Spark Declarative Pipelines, el curso ofrece una descripción general completa de los componentes principales, como el procesamiento incremental de datos, las Streaming Tables, las Materialized Views y las vistas temporales, destacando sus propósitos específicos y diferencias.


Los temas tratados incluyen:


• Desarrollo y depuración de pipelines ETL con el editor de múltiples archivos en Spark Declarative Pipelines usando SQL (con ejemplos de código en Python)

• Cómo Spark Declarative Pipelines rastrea las dependencias de datos en un pipeline a través del grafo del pipeline

•  Configuración de recursos de compute del pipeline, activos de datos, modos de Trigger y otras opciones avanzadas


A continuación, el curso presenta las expectativas de calidad de datos en Spark Declarative Pipelines, guiando a los usuarios a través del proceso de integración de expectativas en los pipelines para validar y garantizar la Integridad de los datos. Los participantes explorarán luego cómo llevar un pipeline a producción, incluidas las opciones de programación y la habilitación del registro de eventos del pipeline para monitorear el rendimiento y el estado del pipeline.


Finalmente, el curso explica cómo implementar Change Data Capture (CDC) mediante la sintaxis AUTO CDC INTO dentro de Spark Declarative Pipelines para administrar slowly changing dimensions (SCD Tipo 1 y Tipo 2), preparando a los usuarios para integrar CDC en sus propios pipelines.


Nota: Para los archivos de lecciones SCORM, asegúrate de cerrar la ventana de SCORM después de completar el contenido. No hagas clic en el botón ‘Next Lesson’, ya que hacerlo podría impedir que el módulo SCORM se marque como completado.

Skill Level
Associate
Duration
3h
Prerequisites

En este curso, el contenido se desarrolló para participantes con las siguientes habilidades, conocimientos y capacidades:

• Conocimiento básico de la Plataforma de Inteligencia de Datos de Databricks, incluyendo Databricks Workspaces, Apache Spark, Delta Lake, la Arquitectura de Medallas, Lakeflow Jobs y Unity Catalog.

• Experiencia en la ingesta de Datos sin procesar en tablas Delta, incluyendo el uso de la función SQL read_files para cargar formatos como CSV, JSON, TXT y Parquet.

• Competencia en la transformación de datos mediante SQL, incluyendo la escritura de consultas de nivel intermedio y un conocimiento básico de los joins en SQL.

• Comprensión de los conceptos ETL y de los flujos de trabajo Batch/transmisión.

A tu propio ritmo

Rutas de aprendizaje personalizadas para roles y trayectorias profesionales de datos, analítica e IA, con videos a pedido.

Ver todas nuestras opciones de inscripción

Registration options

Databricks ofrece modalidades de aprendizaje para acompañarlo en todo su recorrido.

Runtime

A tu propio ritmo

Rutas de aprendizaje personalizadas para roles y trayectorias profesionales de datos, analítica e IA, con videos a pedido.

Regístrese ahora

Instructors

Instruido por expertos

Cursos públicos y privados impartidos por instructores expertos en sesiones de medio día o dos días.

Regístrese ahora

Learning

Aprendizaje combinado (Blended Learning)

Sesiones semanales dirigidas por un instructor, junto con opciones a tu propio ritmo, para todos los estilos de aprendizaje, optimizando la finalización y la retención del conocimiento. Visite la pestaña “Catálogo de suscripciones” para comprar.

Comprar ahora

Scale

Skills@Scale

Oferta de capacitación integral para clientes a gran escala que incluye elementos para todos los estilos de aprendizaje. Consulte con su ejecutivo de cuenta para obtener más detalles.

Próximas clases públicas

Data Engineer

Databricks Data Privacy - Spanish

Privacidad de los Datos en Databricks enseña a los ingenieros de datos a encontrar, proteger, eliminar y rendir cuentas de los datos personales en Databricks Data Intelligence Platform. Trata la privacidad como un conjunto de decisiones técnicas y controles construidos sobre Unity Catalog y Delta Lake. El curso separa la privacidad de la seguridad, la gobernanza y el cumplimiento, y organiza el trabajo en torno a un ciclo de vida de identificar, proteger, gestionar y verificar, junto con un modelo de decisión breve que los alumnos aplican a cada técnica.

Los alumnos empiezan por encontrar columnas sensibles con Data Classification y registrar cómo debe tratarse cada una con una etiqueta gobernada. Protegen esas columnas con políticas de control de acceso basado en atributos (ABAC) impulsadas por etiquetas y usan máscaras de columna y filtros de fila manuales cuando una política central no encaja. La desidentificación va más allá con hashing con sal, tokenización a través de un almacén gobernado por separado y cifrado de columnas, con la sal y la clave en Databricks Secrets. Para el derecho al borrado, los alumnos rastrean una solicitud, encuentran los datos del interesado con clasificación y linaje, eliminan y propagan el cambio con DELETE y MERGE, y luego purgan los archivos subyacentes con REORG TABLE ... APPLY (PURGE) y VACUUM consciente de la retención. El curso cierra combinando linaje, registros de auditoría, historial de consultas e historial de tablas Delta en un rastro de evidencia que muestra si cada control funcionó.

Todos los datos son sintéticos. Las demos siguen el patrimonio de datos de un minorista multinacional a lo largo del ciclo de vida y cierran cada control con evidencia de que funcionó, como un resultado de consulta enmascarado, una comprobación de borrado vacía o una entrada del historial de la tabla. Dos laboratorios basados en escenarios refuerzan el flujo. En el primero, los alumnos reparan la protección rota en la tabla de clientes de una filial. En el segundo, terminan una solicitud de borrado a medio completar y reúnen la evidencia de que está completa. El curso es técnico y no ofrece asesoramiento jurídico.

Nota: Databricks Academy está en transición hacia un formato basado en notebooks para las sesiones presenciales dentro del entorno de Databricks, y dejará de usar presentaciones para las conferencias. Puede acceder a los notebooks de las conferencias en el entorno de laboratorio de Vocareum.

Paid & Subscription
3h
Lab
Professional

Catalog Management and Data Organization - Spanish

En este curso, aprenderá a diseñar, implementar y administrar estructuras de Catálogo y la organización de datos a gran escala con Unity Catalog en la Plataforma de Datos e IA de Databricks. Dividido en cinco módulos, comienza situando Unity Catalog dentro del modelo de implementación en la nube, y abarca la consola de cuenta, los metastores regionales y los roles de administrador que lo habilitan. A continuación, aprenderá a traducir la topología organizativa (unidades de negocio, regiones y entornos de desarrollo/QA/producción) en un diseño de Catálogo y esquema escalable, con convenciones de nomenclatura, propiedad y delegación MANAGE. Después, el curso aborda la integración segura de almacenamiento mediante credenciales de almacenamiento, ubicaciones externas, la jerarquía de almacenamiento administrado, tablas administradas frente a tablas externas, Volumes y Lakehouse Federation. Luego, aprenderá a Aplicar patrones de acceso y estrategias de aislamiento, incluidos el enlace workspace-Catálogo, la herencia de privilegios, los filtros de fila, las máscaras de columna y las políticas de control de acceso basado en atributos (ABAC), y a validar los resultados con señales de auditoría. Por último, el curso concluye con las mejores prácticas para diseñar, administrar y operar un entorno de Unity Catalog. Las demostraciones prácticas y los laboratorios se ejecutan en compute serverless e incluyen pasos breves de Genie Code.

Nota: Para los archivos de clase SCORM, asegúrese de cerrar la ventana de SCORM después de completar el contenido. No haga clic en el botón «Siguiente lección», ya que hacerlo podría impedir que el módulo SCORM se marque como completado.

Paid & Subscription
3h
Lab
Associate
Machine Learning Practitioner

Data Preparation for Machine Learning - Spanish

Este curso enseña los fundamentos de la preparación de datos para machine learning tradicional en Databricks. Los estudiantes cargan datos en tablas Delta gobernadas por Unity Catalog y los exploran con Notebooks, visualizaciones incorporadas y Genie Code. Luego realizan la limpieza de Datos limpios, gestionan valores faltantes y valores atípicos, dividen y muestrean los datos sin fuga de datos, y construyen Pipelines de ML reproducibles con Spark ML para imputación, codificación y estandarización. Finalmente, almacenan, gobiernan y Reutilizan características con Ingeniería de características en Unity Catalog. Esto incluye búsquedas puntuales en el tiempo para conjuntos de entrenamiento sin fuga de datos y una introducción al servicio de características en línea con Online Feature Stores respaldados por Lakebase. Cada módulo combina clases teóricas con demostraciones prácticas y un laboratorio que se ejecutan en compute serverless. El entrenamiento, el servicio y el monitoreo de modelos no se tratan en este curso; se enseñan en los cursos Machine Learning Model Development y Machine Learning Model Deployment. Este curso está diseñado para Científicos de datos de nivel asociado y profesionales de machine learning que desean una base sólida en la preparación de datos en Databricks.

Nota:

1. Este es el primer curso de la serie «Machine Learning con Databricks».

2. En el caso de los archivos de clase SCORM, asegúrese de cerrar la ventana de SCORM después de completar el contenido. No haga clic en el botón «Siguiente lección», ya que esto podría impedir que el módulo SCORM se marque como completado.

Paid & Subscription
3h
Lab
Associate

¿Preguntas?

Si tiene alguna pregunta, consulte nuestra página de Preguntas frecuentes (FAQ).