Agent Evaluation on Databricks - Spanish

Este curso explora Declarative Pipelines de Apache Spark de Databricks (SDP) para construir pipelines de transmisión de nivel de producción. Aprenderás patrones de diseño avanzados, aplicación robusta de calidad de datos e integración multiplataforma esenciales para la ingeniería de lakehouse en el mundo real.

A lo largo del curso, profundizarás en técnicas modernas de ingesta de datos y procesamiento, dominando herramientas como liquid clustering para la optimización del diseño y el patrón Multiplex Streaming para eventos con esquemas mixtos. Al finalizar los módulos, sabrás cómo manejar con confianza la evolución del esquema, automatizar change data capture (CDC) y garantizar la integridad de los datos.

A través de clases y demostraciones prácticas, podrás:

• Construir pipelines de múltiples flujos para ingestar datos de múltiples fuentes en una Tabla Bronce unificada.

• Aplicar liquid clustering y Expectativas de Calidad de Datos en las capas Plata y oro.

• Implementar el patrón Multiplex con Iceberg UniForm para el acceso a datos multiplataforma.

• Automatizar el seguimiento del historial SCD Tipo 2 mediante AUTO CDC INTO.

• Diseñar pipelines de cuarentena sin pérdida de datos para auditar y administrar registros no válidos.

Nota:

Este curso es el primero de la serie 'Advanced Data Engineering with Databricks'.Para los archivos de lecciones SCORM, asegúrate de cerrar la ventana de SCORM después de completar el contenido. No hagas clic en el botón ‘Next Lesson’, ya que hacerlo podría impedir que el módulo SCORM se marque como completado.

Databricks Performance Optimization enseña a los ingenieros y analistas de datos cómo diagnosticar, medir y corregir cuellos de botella de rendimiento en la Plataforma de Inteligencia de Datos de Databricks, y cómo vincular las mejoras de rendimiento con los costos. El curso sigue un Flujo de trabajo que prioriza la medición y la plataforma: se permite que las optimizaciones automáticas de la plataforma realicen el trabajo pesado, se verifica lo que se aplicó mediante Query Profile y las tablas del sistema, y luego se ajusta manualmente donde sea necesario.

Los participantes construyen una base para medir el rendimiento con Query Profile, Performance Insights y las tablas del sistema del historial de consultas. A partir de ahí, exploran técnicas clave de optimización, entre ellas el diseño de datos y las tablas administradas con autoajuste, liquid clustering, el almacenamiento en caché y los resultados intermedios, el shuffle, el skew, el spill, las explosiones de filas, el rendimiento del driver, los Python UDFs, el serverless compute, Photon y la atribución de costos.

A lo largo del curso, los participantes analizan consultas deliberadamente lentas sobre datos sintéticos de comercio minorista y observan cómo las distintas técnicas de optimización afectan el rendimiento. Utilizan evidencia como la poda de archivos, el tiempo de ejecución de tareas, la cobertura de Photon y los costos para evaluar las mejoras. Dos laboratorios basados en escenarios refuerzan el Flujo de trabajo de optimización desde el diagnóstico hasta la validación.

Nota: En el caso de los archivos de clase SCORM, asegúrese de cerrar la ventana de SCORM después de completar el contenido. No haga clic en el botón «Siguiente lección», ya que esto podría impedir que el módulo SCORM se marque como completado.

Una base en dos partes para formular instrucciones eficaces al asistente de IA de una empresa. La parte 01 (Fundamentos) explica cómo la especificidad de las instrucciones determina la calidad de las respuestas, presenta al asistente como un pasante brillante pero literal, fundamentado en el conocimiento interno mediante una arquitectura RAG, abarca lo que puede y no puede consultar, enfatiza una mentalidad de confianza con verificación e introduce el Framework C-O-I-E (Context, Outcome, Instruction, Example). La parte 02 (Técnicas) desarrolla un conjunto de técnicas de instrucción y enseña cómo elegir entre ellas: adecuar las tareas a los enfoques, generación de contenido (zero-shot y few-shot), razonamiento (chain-of-thought, self-ask, meta-prompting), Flujo de trabajo (encadenamiento de instrucciones y cuándo encadenarlas en lugar de usar una sola) y estructuración clara de las instrucciones.