Omnigent Basics - Spanish

Este curso presenta a los usuarios los conceptos y habilidades esenciales necesarios para construir pipelines de datos utilizando Apache Spark™ Declarative Pipelines (SDP) en Databricks para la ingesta y el procesamiento incremental por lotes (Batch) o de transmisión a través de múltiples Streaming Tables y Materialized Views. Diseñado para ingenieros de datos que son nuevos en Spark Declarative Pipelines, el curso ofrece una descripción general completa de los componentes principales, como el procesamiento incremental de datos, las Streaming Tables, las Materialized Views y las vistas temporales, destacando sus propósitos específicos y diferencias.

Los temas tratados incluyen:

• Desarrollo y depuración de pipelines ETL con el editor de múltiples archivos en Spark Declarative Pipelines usando SQL (con ejemplos de código en Python)

• Cómo Spark Declarative Pipelines rastrea las dependencias de datos en un pipeline a través del grafo del pipeline

•  Configuración de recursos de compute del pipeline, activos de datos, modos de Trigger y otras opciones avanzadas

A continuación, el curso presenta las expectativas de calidad de datos en Spark Declarative Pipelines, guiando a los usuarios a través del proceso de integración de expectativas en los pipelines para validar y garantizar la Integridad de los datos. Los participantes explorarán luego cómo llevar un pipeline a producción, incluidas las opciones de programación y la habilitación del registro de eventos del pipeline para monitorear el rendimiento y el estado del pipeline.

Finalmente, el curso explica cómo implementar Change Data Capture (CDC) mediante la sintaxis AUTO CDC INTO dentro de Spark Declarative Pipelines para administrar slowly changing dimensions (SCD Tipo 1 y Tipo 2), preparando a los usuarios para integrar CDC en sus propios pipelines.

Nota: Para los archivos de lecciones SCORM, asegúrate de cerrar la ventana de SCORM después de completar el contenido. No hagas clic en el botón ‘Next Lesson’, ya que hacerlo podría impedir que el módulo SCORM se marque como completado.

Este curso explora las mejores prácticas de ingeniería de DNT y los principios de DevOps, diseñado específicamente para ingenieros de datos que trabajan con Databricks. Los participantes desarrollarán una base sólida en temas clave como la calidad del código, el control de versiones, la documentación y las pruebas. El curso hace énfasis en DevOps, abarcando sus componentes principales, sus beneficios y el papel de la integración y entrega continuas (CI/CD) en la optimización de los Flujos de trabajo de Ingeniería de datos.

Aprenderá a aplicar principios de modularidad en PySpark para crear componentes reutilizables y estructurar el código de manera eficiente. La experiencia práctica incluye el diseño e implementación de pruebas unitarias para funciones de PySpark utilizando el Framework pytest, seguido de pruebas de integración para Pipelines de datos de Databricks con Spark Declarative Pipeline y Jobs para garantizar la confiabilidad.

El curso también cubre las operaciones esenciales de Git dentro de Databricks, incluyendo el uso de Databricks Git Folders para integrar prácticas de integración continua. Finalmente, realizará una revisión de alto nivel de los distintos métodos de implementación para activos de Databricks, como REST API, CLI, SDK y Declarative Automation Bundles (DABs), proporcionándole el conocimiento de las técnicas necesarias para implementar y administrar sus Pipelines.

Al finalizar el curso, dominará las mejores prácticas de ingeniería de DNT y DevOps, lo que le permitirá construir Soluciones de Ingeniería de datos escalables, mantenibles y eficientes.

Nota:

Este es el cuarto curso de la serie 'Data Engineering with Databricks'.Para los archivos de lecciones SCORM, asegúrate de cerrar la ventana de SCORM después de completar el contenido. No hagas clic en el botón ‘Next Lesson’, ya que hacerlo podría impedir que el módulo SCORM se marque como completado.

Get Started with Databricks for Data Engineering

Este curso presenta las habilidades fundamentales necesarias para ejecutar un flujo de trabajo básico de ingeniería de datos en la Databricks Data Intelligence Platform. Explorará el área de trabajo, trabajará con Unity Catalog y aprenderá los componentes que un ingeniero de datos utiliza a diario en Databricks.

El curso sigue un enfoque práctico. Primero se familiarizará con el área de trabajo y, a continuación, avanzará con notebooks de Demo y Lab emparejados para cada tema. Las Demos le guían por un concepto con el instructor o un notebook guiado; los Labs le piden que aplique por su cuenta lo que acaba de ver.

Get Started with SQL Analytics and BI on Databricks

En este curso, aprenderá habilidades básicas que le permitirán utilizar la plataforma de inteligencia de datos Databricks para realizar un workflow de análisis de datos simple y respaldar esfuerzos de almacenamiento de datos.Se le brindará un recorrido por el workspace y se le mostrará cómo trabajar con objetos de datos en Databricks, como catálogos, esquemas, tablas, clústeres de cómputo, notebooks y dashboards.Luego, seguirás un workflow de análisis de datos básico para realizar tareas como manipular datos usando Databricks SQL, aprovechar los registros de versiones de Delta Lake para viajar en el tiempo, crear dashboards dentro de la plataforma y crear Genie Spaces para la exploración de datos utilizando indicaciones en lenguaje natural.También aprenderá cómo Databricks respalda las necesidades de almacenamiento de datos mediante el uso de Databricks SQL, Delta Live Tables y Unity Catalog.Con la compra de una suscripción a Databricks Labs, el curso también finaliza con un ejercicio de laboratorio para practicar lo aprendido en un entorno de workspace de Databricks en vivo.

Puedes crear una Databricks Free Edition account y probar las demostraciones paso a paso en un entorno práctico.

Languages Available: English | 日本語 | Português BR | 한국어 | Español | française