Ankündigung des Databricks Analytics Engineer-Lernpfads

Heute veröffentlichen wir den neuen Databricks Analytics Engineer-Lernpfad. Dieser Lehrplan zeigt Ihnen, wie Sie Rohdaten in kontrollierte, AI-bereite semantische Modelle und Metrik-Views transformieren – das vertrauenswürdige Fundament für Analysen, Dashboards und AI-Agenten im Lakehouse. Der Lernpfad wurde für SQL-Experten entwickelt, die mehr Verantwortung für die Daten übernehmen möchten, auf die sich ihre Teams verlassen.

Warum Analytics Engineering immer wichtiger wird

SQL war schon immer das Fundament moderner Analysen. Doch die darauf aufbauende Arbeit wird immer vielfältiger – sie umfasst Modellierung, Pipelines, Metriken und die Datenebenen, von denen Agenten und Dashboards heute abhängen.

Verlässliche Analysen und AI basieren auf demselben Fundament: Daten, die kontrolliert, modelliert und vertrauenswürdig sind. Dieses Fundament aufzubauen ist heute schwieriger als früher. Daten verteilen sich auf mehr Quellen und speisen mehr nachgelagerte Verbraucher. Die Datenteams, die traditionell für die Datenaufbereitung zuständig sind, sind völlig ausgelastet. Laut einem jüngsten Bericht von Economist Enterprise sind fast zwei Drittel der Unternehmen bei jedem Aspekt der Pipeline-Erstellung vollständig von Data Engineers abhängig, und fast die Hälfte dieser Engineers verbringt die meiste Zeit damit, Verbindungen zu Datenquellen zu konfigurieren und zu reparieren. Die Kapazitäten für neue Aufgaben sind begrenzt. Immer häufiger fällt diese Arbeit den Experten zu, die am nächsten am Geschäftsbereich sind: denjenigen, die mit SQL arbeiten.

SQL-Anwender sind näher am Business und verstehen die gestellten Fragen, die zugrunde liegenden Daten und die Metriken, die für die Teams wichtig sind. Analytics Engineering ist die Disziplin, diesen Kontext zu nutzen, um Modelle, Pipelines und Metriken zu erstellen, auf die sich das Unternehmen verlassen kann. Die Tools für diese Arbeit sind mittlerweile SQL-native. Wie man sie richtig einsetzt, vermittelt dieser Lernpfad.

Ein Blick in den Lernpfad

Der Analytics Engineer-Lernpfad besteht aus praxisorientierten Kursen, die das gesamte SQL-ETL-Toolkit auf Databricks abdecken. Beginnen Sie mit „Analytics Fundamentals“, um die Grundlagen der Analytik im Lakehouse zu verstehen. Von dort aus geht der Rest des Lehrplans tiefer in jeden Bereich der Analytics-Engineering-Fähigkeiten ein – vermittelt von Databricks-Experten und anhand von Praxisbeispielen aufgebaut.

1. Analytics Fundamentals: Erfahren Sie, wie Analysen auf Databricks funktionieren: einheitliche Semantik, AI/BI-Dashboards und Genie. Ein einstündiger Grundlagenkurs.

2. Data Modeling Strategies: Lernen Sie, wie Sie Datenmodelle entwerfen, die in der Produktion im Lakehouse Bestand haben.

• Datenorganisation und Modelldesign an den Geschäftsanforderungen ausrichten
• Datenarchitekturen mit Delta Lake und Unity Catalog definieren
• Den Lebenszyklus von Datenprodukten im Lakehouse verstehen
• Techniken zur Datenintegration und -freigabe anwenden

3. Build ETL Pipelines with SQL: Lernen Sie, wie Sie produktionsreife SQL-ETL-Pipelines mit Materialized Views, Streaming Tables und Lakeflow Jobs erstellen

• Nutzen Sie Streaming Tables, Materialized Views und AUTO CDC für deklarative Pipelines.
• Implementieren Sie inkrementelle Datenaufnahme und Transformationen in der Medallion-Architektur.
• Umgang mit SCD Typ 1 und Typ 2 mit AUTO CDC.
• Orchestrieren Sie Pipelines mit Lakeflow Jobs und SQL-basierten Workflows

4. Build Semantic Models with UC Metric Views: Lernen Sie, wie Sie Geschäftsmetriken in SQL definieren und verwalten und anschließend vertrauenswürdige Zahlen überall dort bereitstellen, wo sie benötigt werden.

• Metrik-Views in Unity Catalog definieren und verwalten
• Fortgeschrittene Metriken modellieren, einschließlich Window-Funktionen und semi-additiven Kennzahlen
• Integrieren Sie Databricks-Dashboards, Genie-Spaces und SQL-Workflows
• Governance-, Sicherheits- und Wartungspraktiken anwenden

5. Build Reliable Conversational Agents with Genie: Lernen Sie, wie Sie Genie-Spaces entwerfen, bereitstellen und kontinuierlich verbessern, denen geschäftliche Anwender vertrauen können.

• Genie-Spaces mit Unity Catalog-Tabellen, SQL-Warehouses und Benchmarks konfigurieren
• Den Knowledge Store mit Synonymen, Beschreibungen und Prompt-Matching-Funktionen pflegen
• Geschäftslogik in SQL mit abgeleiteten Ausdrücken, Joins und Anweisungen codieren
• Zugriff mit Unity Catalog-Berechtigungen und ABAC-Richtlinien steuern
• Iterieren Sie mithilfe von Benchmarks, Benutzerfeedback und beobachteten Ergebnissen

6. Build Pipelines with Lakeflow Spark Declarative Pipelines: Lernen Sie, wie Sie kontrollierte End-to-End-SQL-Pipelines mit dem Spark Declarative Pipelines-Editor erstellen.

• Streaming Tables, Materialized Views und Temporary Views verstehen
• Datenqualität mit integrierten Erwartungen (Expectations) durchsetzen
• Umgang mit sich langsam ändernden Dimensionen (SCD) mit AUTO CDC INTO
• Pipeline-Ausführung über Ereignisprotokolle und Metriken analysieren

Jeder Kurs ist im Selbststudium oder als von einem Trainer geleiteter Kurs verfügbar. Der gesamte Lernpfad ist auch in jedem aktiven Databricks-Lernabonnement enthalten.

Beginnen Sie Ihre Reise noch heute

Der Analytics Engineer-Lernpfad ist ab sofort in der Databricks Academy verfügbar. Am Ende werden Sie in der Lage sein, Rohdaten zu modellieren, Pipelines bereitzustellen und die Metriken zu definieren, die sowohl Dashboards als auch AI antreiben.

Wenn Sie ein Team leiten, ist dieser Lernpfad zudem der schnellste Weg, um Ihr Team in die Lage zu versetzen, Erkenntnisse zu liefern, auf die sich geschäftliche Anwender bei ihren Entscheidungen verlassen.

Beginnen Sie noch heute mit Analytics Fundamentals und besuchen Sie die Databricks Academy, um Ihre Fähigkeiten im weiteren Verlauf des Lernpfads weiter auszubauen.

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag