Anunciando la ruta de aprendizaje para ingenieros de análisis de Databricks

Hoy lanzamos la nueva Ruta de Aprendizaje para Ingenieros de Analítica de Databricks. Este plan de estudios te enseña cómo transformar datos brutos en modelos semánticos y vistas de métricas gobernados y listos para la IA, la base de confianza que impulsa la analítica, los paneles y los agentes de IA en el lakehouse. La ruta está diseñada para profesionales de SQL listos para asumir una mayor responsabilidad sobre los datos en los que confían sus equipos.

Por qué la ingeniería de analítica se está volviendo esencial

SQL siempre ha sido la base de la analítica moderna. Pero el trabajo que se construye sobre ella se está ampliando, abarcando el modelado, los pipelines, las métricas y las capas de datos de las que ahora dependen los agentes y los paneles.

La analítica y la IA fiables se ejecutan sobre la misma base: datos gobernados, modelados y de confianza. Construir esa base es más difícil de lo que solía ser. Los datos residen en más fuentes y alimentan a más consumidores posteriores. Los equipos de datos tradicionalmente responsables de preparar los datos están agotados. Según un informe reciente de Economist Enterprise, casi dos tercios de las organizaciones dependen completamente de los ingenieros de datos para cada aspecto de la creación de pipelines, y casi la mitad de esos ingenieros dedican la mayor parte de su tiempo solo a configurar y arreglar las conexiones de las fuentes de datos. Hay una capacidad limitada para absorber el nuevo trabajo. Cada vez más, recae en los profesionales más cercanos al negocio: los que trabajan con SQL.

Los profesionales de SQL están más cerca del negocio y comprenden las preguntas que se hacen, los datos subyacentes y las métricas que interesan a los equipos. La ingeniería de analítica es la disciplina de usar ese contexto para construir modelos, pipelines y métricas en los que el negocio pueda confiar. Las herramientas para este trabajo ahora son nativas de SQL. El criterio para usarlas bien es lo que enseña esta ruta.

Dentro de la ruta

La Ruta del Ingeniero de Analítica consta de cursos prácticos que cubren el conjunto completo de herramientas SQL ETL en Databricks. Comienza con Fundamentos de Analítica para familiarizarte con cómo funciona la analítica en el lakehouse. A partir de ahí, el resto del plan de estudios profundiza en cada parte del conjunto de habilidades de ingeniería de analítica, impartido por expertos de Databricks y construido en torno a ejemplos prácticos.

1. Fundamentos de Analítica: Aprende cómo funciona la analítica en Databricks: semántica unificada, paneles de IA/BI y Genie. Un curso introductorio de una hora.

2. Estrategias de Modelado de Datos: Aprende a diseñar modelos de datos que se mantengan en producción en el lakehouse.

• Alinear la organización de datos y el diseño de modelos con los requisitos del negocio
• Definir arquitecturas de datos usando Delta Lake y Unity Catalog
• Comprender el ciclo de vida de los productos de datos en el lakehouse
• Aplicar técnicas para la integración y el intercambio de datos

3. Construir Pipelines ETL con SQL: Aprende a construir pipelines ETL de SQL en producción con Materialized Views, Streaming Tables y Lakeflow Jobs

• Aprovechar Streaming Tables, Materialized Views y AUTO CDC para pipelines declarativos.
• Implementar ingesta y transformaciones incrementales a través de la arquitectura medallion.
• Manejar SCD Type 1 y Type 2 con AUTO CDC.
• Orquestar pipelines usando Lakeflow Jobs y flujos de trabajo basados en SQL

4. Construir Modelos Semánticos con Vistas de Métricas de UC: Aprende a definir y gobernar métricas de negocio en SQL, y luego a mostrar números de confianza dondequiera que se consuman.

• Definir y gestionar vistas de métricas en Unity Catalog
• Modelar métricas avanzadas, incluyendo medidas de ventana y semi-aditivas
• Integrar con paneles de Databricks, espacios Genie y flujos de trabajo SQL
• Aplicar prácticas de gobernanza, seguridad y mantenimiento

5. Construir Agentes Conversacionales Fiables con Genie: Aprende a diseñar, implementar y mejorar continuamente los espacios Genie en los que los usuarios de negocio pueden confiar.

• Configurar espacios Genie con tablas de Unity Catalog, almacenes SQL y benchmarks
• Curar el Knowledge Store con sinónimos, descripciones y funciones de coincidencia de prompts
• Codificar la lógica de negocio en SQL con expresiones derivadas, joins e instrucciones
• Gobernar el acceso con permisos de Unity Catalog y políticas ABAC
• Iterar usando benchmarks, comentarios de usuarios y salidas observadas

6. Construir Pipelines con Lakeflow Spark Declarative Pipelines: Aprende a construir pipelines SQL gobernados de extremo a extremo usando el editor de Spark Declarative Pipelines.

• Comprender las tablas de streaming, las vistas materializadas y las vistas temporales
• Aplicar la calidad de los datos con expectativas integradas
• Manejar dimensiones que cambian lentamente con AUTO CDC INTO
• Analizar la ejecución del pipeline a través de registros de eventos y métricas

Cada curso está disponible en formatos autodirigido y dirigido por un instructor. La ruta completa también está incluida con cualquier suscripción de aprendizaje activa de Databricks.

Comienza Tu Viaje Hoy

La ruta de aprendizaje para ingenieros de analítica ya está disponible en Databricks Academy. Al finalizar, estarás modelando datos brutos, implementando pipelines y definiendo las métricas que impulsan tanto los paneles como la IA.

Si lideras un equipo, la ruta es también la forma más rápida de lograr que tu equipo entregue insights en los que los usuarios de negocio confían para tomar decisiones.

Comienza a explorar con Fundamentos de Analítica hoy mismo, y visita Databricks Academy para seguir desarrollando tus habilidades a lo largo del resto de la ruta.

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original