Annuncio del percorso di apprendimento per ingegneri analitici Databricks

Oggi lanciamo il nuovo Databricks Analytics Engineer Learning Pathway. Questo curriculum ti insegna come trasformare dati grezzi in modelli semantici governati e pronti per l'IA semantic models e metric views, le fondamenta affidabili che alimentano analisi, dashboard e agenti IA sul lakehouse. Il percorso è pensato per professionisti SQL pronti ad assumersi maggiore responsabilità sui dati da cui i loro team dipendono.

Perché l'ingegneria analitica sta diventando essenziale

SQL è sempre stato il fondamento dell'analisi moderna. Ma il lavoro costruito su di esso si sta ampliando, verso la modellazione, le pipeline, le metriche e i livelli di dati da cui ora dipendono agenti e dashboard.

Analisi e IA affidabili funzionano sulla stessa base: dati governati, modellati e attendibili. Costruire questa base è più difficile di quanto non fosse in passato. I dati risiedono in più fonti e alimentano più consumatori a valle. I team di dati tradizionalmente responsabili della preparazione dei dati sono oberati. Secondo un recente rapporto Economist Enterprise, quasi due terzi delle organizzazioni dipendono completamente dagli ingegneri dei dati per ogni aspetto della creazione di pipeline, e quasi la metà di questi ingegneri trascorre la maggior parte del proprio tempo solo configurando e correggendo le connessioni alle origini dati. C'è una capacità limitata di assorbire il nuovo lavoro. Sempre più spesso, ricade sui professionisti più vicini al business: quelli che lavorano con SQL.

I professionisti SQL sono più vicini al business e comprendono le domande poste, i dati sottostanti e le metriche a cui i team tengono. L'ingegneria analitica è la disciplina che utilizza questo contesto per costruire modelli, pipeline e metriche su cui il business può fare affidamento. Gli strumenti per questo lavoro sono ora nativi per SQL. Il giudizio per usarli bene è ciò che questo percorso insegna.

All'interno del percorso

L'Analytics Engineer Pathway è composto da corsi pratici che coprono l'intero toolkit ETL SQL su Databricks. Inizia con Analytics Fundamentals per familiarizzare con il funzionamento delle analisi sul lakehouse. Da lì, il resto del curriculum approfondisce ogni parte delle competenze di ingegneria analitica insegnate da esperti Databricks e costruito attorno a esempi pratici.

1. Analytics Fundamentals: Scopri come funzionano le analisi su Databricks: semantica unificata, dashboard AI/BI e Genie. Un corso di base di un'ora.

2. Data Modeling Strategies: Impara a progettare modelli di dati che reggano in produzione sul lakehouse.

• Allinea l'organizzazione dei dati e la progettazione del modello con i requisiti aziendali
• Definisci architetture dati utilizzando Delta Lake e Unity Catalog
• Comprendi il ciclo di vita dei data product sul lakehouse
• Applica tecniche per l'integrazione e la condivisione dei dati

3. Build ETL Pipelines with SQL: Scopri come costruire pipeline ETL SQL di produzione con Materialized Views, Streaming Tables e Lakeflow Jobs

• Sfrutta Streaming Tables, Materialized Views e AUTO CDC per pipeline dichiarative.
• Implementa l'ingestione incrementale e le trasformazioni attraverso l'architettura medallion.
• Gestisci SCD Type 1 e Type 2 con AUTO CDC.
• Orchestra le pipeline utilizzando Lakeflow Jobs e flussi di lavoro basati su SQL

4. Build Semantic Models with UC Metric Views: Scopri come definire e governare le metriche aziendali in SQL, quindi rendere disponibili numeri attendibili ovunque vengano utilizzati.

• Definisci e gestisci metric views in Unity Catalog
• Modella metriche avanzate, incluse misure windowed e semi-additive
• Integra con dashboard Databricks, spazi Genie e flussi di lavoro SQL
• Applica pratiche di governance, sicurezza e manutenzione

5. Build Reliable Conversational Agents with Genie: Scopri come progettare, distribuire e migliorare continuamente gli spazi Genie di cui gli utenti aziendali possono fidarsi.

• Configura gli spazi Genie con tabelle Unity Catalog, SQL warehouse e benchmark
• Cura il Knowledge Store con sinonimi, descrizioni e funzionalità di corrispondenza dei prompt
• Codifica la logica aziendale in SQL con espressioni derivate, join e istruzioni
• Governa l'accesso con permessi Unity Catalog e policy ABAC
• Itera utilizzando benchmark, feedback degli utenti e output osservati

6. Build Pipelines with Lakeflow Spark Declarative Pipelines: Scopri come costruire pipeline SQL governate end-to-end utilizzando l'editor Spark Declarative Pipelines.

• Comprendi streaming tables, materialized views e temporary views
• Applica la qualità dei dati con aspettative integrate
• Gestisci le dimensioni che cambiano lentamente con AUTO CDC INTO
• Analizza l'esecuzione delle pipeline attraverso log degli eventi e metriche

Ogni corso è disponibile in formato self-paced e instructor-led. L'intero percorso è incluso anche con qualsiasi abbonamento Databricks learning attivo.

Inizia Oggi il Tuo Viaggio

L'analytics engineer learning pathway è ora disponibile su Databricks Academy. Alla fine, sarai in grado di modellare dati grezzi, distribuire pipeline e definire le metriche che alimentano sia i dashboard che l'IA.

Se guidi un team, il percorso è anche il modo più veloce per far sì che il tuo team fornisca insight su cui gli utenti aziendali fanno affidamento per prendere decisioni.

Inizia subito a esplorare con Analytics Fundamentals e visita Databricks Academy per continuare a sviluppare le tue competenze nell'intero percorso.

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale