Presentazione del percorso di apprendimento per analytics engineer di Databricks

Oggi presentiamo il nuovo Databricks Analytics Engineer Learning Pathway. Questo percorso di studi ti insegna a trasformare i dati grezzi in modelli semantici controllati e pronti per l'AI e in viste metriche, la base affidabile che alimenta analytics, dashboard e agenti AI sul lakehouse. Il percorso è pensato per i professionisti SQL pronti ad assumersi una maggiore responsabilità sui dati su cui fanno affidamento i loro team.

Perché l'analytics engineering sta diventando essenziale

L'SQL è da sempre la base della moderna analisi dei dati. Ma il lavoro che si sviluppa su di esso si sta ampliando, estendendosi a modellazione, pipeline, metriche e ai livelli di dati da cui ora dipendono agenti e dashboard.

Analytics e AI affidabili poggiano sulla stessa base: dati controllati, modellati e sicuri. Costruire questa base è più difficile rispetto al passato. I dati risiedono in un numero maggiore di sorgenti e alimentano più consumatori a valle. I team di dati tradizionalmente responsabili della preparazione dei dati sono ormai al limite. Secondo un recente report di Economist Enterprise, quasi due terzi delle organizzazioni dipendono interamente dai data engineer per ogni aspetto della creazione delle pipeline, e quasi la metà di questi ingegneri trascorre la maggior parte del tempo solo a configurare e risolvere problemi di connessione alle sorgenti di dati. La capacità di assorbire nuovo lavoro è limitata. Di conseguenza, questo compito ricade sempre più spesso sui professionisti più vicini al business: coloro che lavorano con l'SQL.

Chi lavora con l'SQL è più vicino al business e comprende le domande che vengono poste, i dati sottostanti e le metriche che interessano ai team. L'analytics engineering è la disciplina che utilizza questo contesto per creare modelli, pipeline e metriche su cui l'azienda può fare affidamento. Gli strumenti per questo lavoro sono ormai nativi SQL. Questo percorso insegna proprio ad acquisire la capacità di giudizio necessaria per utilizzarli al meglio.

Cosa comprende il percorso

L'Analytics Engineer Pathway consiste in corsi pratici che coprono l'intero toolkit SQL ETL su Databricks. Inizia con Analytics Fundamentals per comprendere le basi del funzionamento degli analytics sul lakehouse. Da lì, il resto del programma approfondisce ogni aspetto delle competenze di analytics engineering, con lezioni tenute da esperti Databricks e incentrate su esempi pratici.

1. Analytics Fundamentals: scopri come funzionano gli analytics su Databricks: semantica unificata, dashboard AI/BI e Genie. Un corso introduttivo di un'ora.

2. Data Modeling Strategies: scopri come progettare modelli di dati in grado di reggere la produzione sul lakehouse.

• Allineare l'organizzazione dei dati e la progettazione dei modelli ai requisiti aziendali
• Definire le architetture dei dati utilizzando Delta Lake e Unity Catalog
• Comprendere il ciclo di vita dei prodotti dati sul lakehouse
• Applicare tecniche per l'integrazione e la condivisione dei dati

3. Build ETL Pipelines with SQL: scopri come creare pipeline ETL SQL di produzione con Materialized Views, Streaming Tables e Lakeflow Jobs

• Sfruttare Streaming Tables, Materialized Views e AUTO CDC per pipeline dichiarative.
• Implementare l'ingestione incrementale e le trasformazioni nell'architettura medallion.
• Gestire SCD di Tipo 1 e Tipo 2 con AUTO CDC.
• Orchestrare le pipeline utilizzando Lakeflow Jobs e workflow basati su SQL

4. Build Semantic Models with UC Metric Views: scopri come definire e controllare le metriche aziendali in SQL, per poi mostrare numeri affidabili ovunque vengano utilizzati.

• Definire e gestire le viste metriche in Unity Catalog
• Modellare metriche avanzate, incluse misure windowed e semi-additive
• Integrare con le dashboard Databricks, gli spazi Genie e i workflow SQL
• Applicare pratiche di governance, sicurezza e manutenzione

5. Build Reliable Conversational Agents with Genie: scopri come progettare, distribuire e migliorare continuamente gli spazi Genie di cui gli utenti aziendali possono fidarsi.

• Configurare gli spazi Genie con tabelle di Unity Catalog, SQL warehouse e benchmark
• Curare il Knowledge Store con sinonimi, descrizioni e funzionalità di corrispondenza dei prompt
• Codificare la logica aziendale in SQL con espressioni derivate, join e istruzioni
• Controllare l'accesso con le autorizzazioni di Unity Catalog e le policy ABAC
• Iterare utilizzando benchmark, feedback degli utenti e output osservati

6. Build Pipelines with Lakeflow Spark Declarative Pipelines: scopri come creare pipeline SQL end-to-end controllate utilizzando l'editor Spark Declarative Pipelines.

• Comprendere streaming tables, materialized views e temporary views
• Garantire la qualità dei dati con le aspettative integrate (expectations)
• Gestire le slowly changing dimension con AUTO CDC INTO
• Analizzare l'esecuzione delle pipeline tramite log degli eventi e metriche

Ogni corso è disponibile in modalità autonoma (self-paced) o con istruttore. L'intero percorso è incluso anche in qualsiasi abbonamento di formazione Databricks attivo.

Inizia il tuo percorso oggi stesso

Il percorso di apprendimento per analytics engineer è ora disponibile su Databricks Academy. Al termine, sarai in grado di modellare dati grezzi, distribuire pipeline e definire le metriche che alimentano sia le dashboard che l'AI.

Se guidi un team, questo percorso è anche il modo più rapido per consentire al tuo gruppo di fornire gli insight su cui gli utenti aziendali fanno affidamento per prendere decisioni.

Inizia a esplorare con Analytics Fundamentals oggi stesso e visita Databricks Academy per continuare a sviluppare le tue competenze nel resto del percorso.

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale