Ankündigung des Databricks Analytics Engineer Lernpfads

Heute starten wir den neuen Databricks Analytics Engineer Learning Pathway. Dieser Lehrplan vermittelt Ihnen, wie Sie Rohdaten in verwaltete, KI-bereite semantische Modelle und Metrikansichten umwandeln, die vertrauenswürdige Grundlage für Analysen, Dashboards und KI-Agenten im Lakehouse. Der Pathway richtet sich an SQL-Praktiker, die mehr Verantwortung für die Daten übernehmen möchten, auf die ihre Teams angewiesen sind.

Warum Analytics Engineering unerlässlich wird

SQL ist seit jeher die Grundlage moderner Analysen. Aber die darauf aufbauende Arbeit wird immer umfangreicher – hin zu Modellierung, Pipelines, Metriken und den Datenebenen, von denen Agenten und Dashboards jetzt abhängen.

Zuverlässige Analysen und KI laufen auf derselben Grundlage: Daten, die verwaltet, modelliert und vertrauenswürdig sind. Der Aufbau dieser Grundlage ist schwieriger als früher. Daten leben in mehr Quellen und speisen mehr nachgelagerte Verbraucher. Datenteams, die traditionell für die Datenaufbereitung zuständig sind, sind ausgelastet. Laut einem aktuellen Economist Enterprise Report sind fast zwei Drittel der Organisationen vollständig auf Data Engineers für jeden Aspekt der Pipeline-Erstellung angewiesen, und fast die Hälfte dieser Engineers verbringt die meiste Zeit nur mit der Konfiguration und Behebung von Datenquellenverbindungen. Es gibt nur begrenzte Kapazitäten, die neue Arbeit aufzunehmen. Zunehmend fällt sie den Praktikern zu, die dem Geschäft am nächsten stehen: denen, die mit SQL arbeiten.

SQL-Praktiker sitzen näher am Geschäft und verstehen die gestellten Fragen, die zugrunde liegenden Daten und die Metriken, die für Teams wichtig sind. Analytics Engineering ist die Disziplin, diesen Kontext zu nutzen, um Modelle, Pipelines und Metriken zu erstellen, auf die sich das Geschäft verlassen kann. Die Werkzeuge für diese Arbeit sind jetzt SQL-nativ. Das Urteilsvermögen, sie gut einzusetzen, ist das, was dieser Pathway lehrt.

Einblicke in den Pathway

Der Analytics Engineer Pathway besteht aus praktischen Kursen, die das gesamte SQL ETL-Toolkit auf Databricks abdecken. Beginnen Sie mit Analytics Fundamentals, um sich mit der Funktionsweise von Analysen auf dem Lakehouse vertraut zu machen. Von dort aus geht der Rest des Curriculums tiefer in jeden Teil der Analytics-Engineering-Fähigkeiten ein, unterrichtet von Databricks-Experten und aufgebaut auf praktischen Beispielen.

1. Analytics Fundamentals: Erfahren Sie, wie Analysen auf Databricks funktionieren: vereinheitlichte Semantik, KI/BI-Dashboards und Genie. Ein einstündiger Einführungskurs.

2. Data Modeling Strategies: Erfahren Sie, wie Sie Datenmodelle entwerfen, die in der Produktion auf dem Lakehouse Bestand haben.

• Richten Sie Datenorganisation und Modelldesign an Geschäftsanforderungen aus
• Definieren Sie Datenarchitekturen mit Delta Lake und Unity Catalog
• Verstehen Sie den Data-Product-Lifecycle auf dem Lakehouse
• Wenden Sie Techniken für Datenintegration und -austausch an

3. Build ETL Pipelines with SQL: Erfahren Sie, wie Sie produktionsreife SQL-ETL-Pipelines mit Materialized Views, Streaming Tables und Lakeflow Jobs erstellen

• Nutzen Sie Streaming Tables, Materialized Views und AUTO CDC für deklarative Pipelines.
• Implementieren Sie inkrementelle Erfassung und Transformationen über die Medallion-Architektur hinweg.
• Verwalten Sie SCD Typ 1 und Typ 2 mit AUTO CDC.
• Orchestrieren Sie Pipelines mit Lakeflow Jobs und SQL-basierten Workflows

4. Build Semantic Models with UC Metric Views: Erfahren Sie, wie Sie Geschäftsmetriken in SQL definieren und verwalten und dann vertrauenswürdige Zahlen überall dort bereitstellen, wo sie verbraucht werden.

• Definieren und verwalten Sie Metrikansichten in Unity Catalog
• Modellieren Sie fortgeschrittene Metriken, einschließlich Fenster- und semi-additiver Kennzahlen
• Integrieren Sie mit Databricks-Dashboards, Genie-Bereichen und SQL-Workflows
• Wenden Sie Governance-, Sicherheits- und Wartungspraktiken an

5. Build Reliable Conversational Agents with Genie: Erfahren Sie, wie Sie Genie-Bereiche entwerfen, bereitstellen und kontinuierlich verbessern, denen Geschäftsbenutzer vertrauen können.

• Konfigurieren Sie Genie Spaces mit Unity Catalog-Tabellen, SQL-Warehouses und Benchmarks
• Kurieren Sie den Knowledge Store mit Synonymen, Beschreibungen und Prompt-Matching-Funktionen
• Kodieren Sie Geschäftslogik in SQL mit abgeleiteten Ausdrücken, Joins und Anweisungen
• Verwalten Sie den Zugriff mit Unity Catalog-Berechtigungen und ABAC-Richtlinien
• Iterieren Sie mithilfe von Benchmarks, Benutzerfeedback und beobachteten Ausgaben

6. Build Pipelines with Lakeflow Spark Declarative Pipelines: Erfahren Sie, wie Sie verwaltete End-to-End-SQL-Pipelines mit dem Spark Declarative Pipelines-Editor erstellen.

• Verstehen Sie Streaming Tables, Materialized Views und Temporary Views
• Erzwingen Sie Datenqualität mit integrierten Erwartungen
• Verwalten Sie langsam ändernde Dimensionen mit AUTO CDC INTO
• Analysieren Sie die Pipeline-Ausführung anhand von Ereignisprotokollen und Metriken

Jeder Kurs ist im Selbstlern- und im Präsenzformat verfügbar. Der gesamte Pathway ist auch in jedem aktiven Databricks-Lernabonnement enthalten.

Beginnen Sie Ihre Reise noch heute

Der Analytics Engineer Learning Pathway ist jetzt auf der Databricks Academy verfügbar. Am Ende werden Sie Rohdaten modellieren, Pipelines bereitstellen und die Metriken definieren, die Dashboards und KI gleichermaßen antreiben.

Wenn Sie ein Team leiten, ist der Pathway auch der schnellste Weg, um Ihr Team dazu zu bringen, Erkenntnisse zu liefern, auf die sich Geschäftsbenutzer für Entscheidungen verlassen.

Beginnen Sie noch heute mit Analytics Fundamentals und besuchen Sie Databricks Academy, um Ihre Fähigkeiten im Rest des Pathways weiter auszubauen.

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag