Vorstellung von Genie Code

Wir freuen uns, Genie Code anzukündigen, die neueste Ergänzung der Databricks Genie-Familie. In den letzten sechs Monaten haben agentische Codierungstools die Software-Engineering grundlegend verändert; Genie Code bringt dieselbe Transformation nun auch für Datenteams. Genie Code kann komplexe Tasks wie das Erstellen von Pipelines, das Debugging von Fehlern, das Bereitstellen von Dashboards und die Wartung von Produktionssystemen autonom ausführen.

Im Gegensatz zu Agenten, die sich nur auf das Schreiben von Code konzentrieren, agiert Genie Code auch als proaktiver Produktionsagent. Es überwacht Ihre Lakeflow-Pipelines und KI-Modelle im Hintergrund, priorisiert Ausfälle, führt routinemäßige DBR-Upgrades durch und untersucht Anomalien, noch bevor Ihr Team sie überhaupt bemerkt.

All dies geschieht durch die tiefe Integration mit Unity Catalog, sodass es die Daten, die Semantik und die Governance-Richtlinien Ihres Unternehmens versteht. Bei praxisnahen Data-Science-Aufgaben übertrifft Genie Code einen führenden Coding-Agenten um mehr als das Zweifache.

Aufstieg der agentenbasierten Datenarbeit

Agentenbasierte Codierungstools haben das Software-Engineering transformiert und bewegen Entwickler über die reine Autovervollständigung hinaus in Richtung einer agentengesteuerten Entwicklung. Mit einem einzigen Prompt können Entwickler jetzt in Sekundenschnelle Features scaffolden, Code refaktorisieren und Prototypen deployen. Dieser Wandel wurde durch Fortschritte bei LLMs und durch agentenbasierte Systeme vorangetrieben, die den komplexen Kontext moderner Software-Codebasen interpretieren können.

Die meisten Agents auf dem Markt konzentrieren sich auf Code als Produkt. Für Datenteams ist Code jedoch lediglich ein Mittel, um die zugrunde liegenden Daten zu manipulieren und zu verstehen. Genau aus diesem Grund haben softwarezentrierte Agents oft Schwierigkeiten bei der Datenarbeit. In einem Datenökosystem liegt der Kontext nicht nur im Skript, sondern auch in Nutzungsmustern, Lineage und Geschäftssemantik. 

Der Zugriff auf diesen Kontext ist entscheidend, da viel auf dem Spiel steht. Dashboards steuern Geschäftsentscheidungen, Pipelines betreiben Produktionssysteme und Modelle für maschinelles Lernen beeinflussen reale Ergebnisse. Für Datenteams müssen die Geschwindigkeit und die Vorteile, die Agents bieten, mit absoluter Genauigkeit, Reproduzierbarkeit und Governance einhergehen.

Genie Code ist ein KI-Agent, der speziell für Daten entwickelt wurde. Er nutzt Unity Catalog, um während Ihrer Arbeit automatisch die relevantesten Daten und Inhalte zu kuratieren. Er erstellt personalisierte Suchindizes, benutzerdefinierte Anweisungen, Wissensspeicher und extrahiert Nutzungsmuster aus der Datenherkunft (Lineage). Und das Beste daran: Je mehr Ihr Team ihn nutzt, desto intelligenter wird er. Diese tiefe Integration in Unity Catalog ist jedem System, das Daten nur von außen liest, weit überlegen.

Wir bei Databricks haben die Auswirkungen von Genie und Genie Code aus erster Hand erlebt, sowohl bei technischen als auch bei nicht-technischen Nutzern. Unser Vertriebsteam nutzt es, um sich vor Meetings ein vollständiges Bild von jedem Kunden zu machen, indem es in Sekundenschnelle Key-Verbrauchskennzahlen, Support-Tickets und aktuelle Interaktionen zusammenfasst. Produktmanager verwenden Genie Code, um Dashboards aus einer handgezeichneten Skizze von Diagrammen und Grafiken zu erstellen. Unser Finanzteam führt Budget-Ist-Analysen und erweiterte ROI-Modellierungen durch. Unser Führungsteam beantwortet Datenfragen in Echtzeit während strategischer Diskussionen, was Nachfragen reduziert und komplexe Entscheidungen beschleunigt. Im gesamten Unternehmen haben diese Tools unsere Arbeitsweise mit Daten verändert.

Was Genie Code macht:

• Fungiert als Experte für Machine-Learning-Engineering: Genie Code bewältigt vollständige ML-Workflows von Anfang bis Ende. Es durchdenkt komplexe Probleme, um Modelle zu planen, zu schreiben und bereitzustellen, während es Experimente in MLflow protokolliert und Serving-Endpoints für Spitzen-Performance optimiert.
• Umfassende Data-Engineering-Expertise: Während ein unerfahrener Entwickler vielleicht ein Skript schreibt, das mit Testdaten funktioniert, entwirft Genie Code wie ein erfahrener Architekt. Es berücksichtigt die Unterschiede zwischen Staging- und Produktionsumgebungen, erstellt Workflows für die Erfassung von Datenänderungen und wendet Datenqualitäts-Expectations an.
• Proaktive Wartung und Optimierung: Genie Code überwacht Lakeflow-Pipelines und KI-Modelle im Hintergrund, um Ausfälle zu triagieren und Anomalien zu untersuchen. Es analysiert autonom Agent-Traces, um Halluzinationen zu beheben, und optimiert die Ressourcenzuweisung, bevor ein Mensch eingreift.
• Versteht den Unternehmenskontext: Integriert in Unity Catalog setzt Genie Code bestehende Governance-Richtlinien und Zugriffskontrollen durch. Er versteht Geschäftssemantik und Audit-Anforderungen und föderiert Unternehmensdaten, einschließlich Daten von externen Plattformen.
• Wird mit der Zeit immer besser: Genie Code wird umso intelligenter, je mehr Teams es nutzen. Durch einen persistenten Speicher werden interne Anweisungen auf der Grundlage früherer Interaktionen und Programmierpräferenzen automatisch aktualisiert. Bei internen Data-Science-Aufgaben übertrifft Genie Code führende Coding-Agents in Bezug auf die Qualität um 77,1 % zu 32,1 %.

Mit Genie Code wechseln Datenteams von der Eingabe von Prompts für einen Copiloten zur Delegierung echter Arbeit: dem Erstellen von Pipelines, dem Debuggen von Fehlern, dem Bereitstellen von Dashboards und der Wartung von Produktionssystemen – autonom und durchgängig.

Bei SiriusXM unterstützt Genie Code alles vom Erstellen von Notebooks und komplexen SQL-Abfragen bis hin zum Erkennen von Tabellenbeziehungen und dem Debugging von Pipelines. Es agiert als praxisorientierter Entwicklungspartner, der unseren Datenteams hilft, qualitativ hochwertige Arbeit in kürzerer Zeit zu liefern. — Bernie Graham, Vice President Data Engineering, Sirius XM

Agent von höchster Qualität für Daten- und KI-Arbeit

Genie Code wird nicht von einem einzigen Modell angetrieben. Es handelt sich um ein agentenbasiertes System, das Tasks über mehrere Modelle und Tools leitet und dabei automatisch das beste Modell für jeden job auswählt, sei es ein Frontier-LLM, ein Open Source-Modell oder ein benutzerdefiniertes Modell, das auf Databricks gehostet wird. Dadurch müssen Benutzer nicht mehr manuell zwischen Modellen wechseln oder raten, welches das beste Ergebnis liefert.

Genie Code ist außerdem tief in die Databricks-APIs integriert, sodass es die richtigen Assets (Vermögenswerte) identifizieren, umfangreichen Kontext zusammenstellen und qualitativ hochwertigere Abfragen generieren kann. Databricks Research optimiert das System kontinuierlich, indem es die neuesten Modelle von führenden KI-Laboren mit benutzerdefinierten Modellen auf der Plattform vergleicht.

Bei unserem jüngsten Performance-Benchmarking mit realen Data-Science- und Analyseaufgaben von internen Nutzern hat Genie Code einen führenden Coding-Agenten, der mit den Servern des Databricks Model Context Protocol (MCP) ausgestattet ist, deutlich übertroffen.

• Genie Code: 77,1 % gelöste Aufgaben
• Führender Coding-Agent + Databricks MCP: 32,1 % gelöste Aufgaben

Genie Code unterstützt den gesamten Lebenszyklus der Datenarbeit

Modelle für maschinelles Lernen trainieren und evaluieren

Genie Code fungiert als dedizierter ML-Ingenieur, der in Ihren Workflow eingebettet ist. Bitten Sie ihn, "ein Prognosemodell zu trainieren, das den Vertrieb in @sales_tablevorhersagt", und er wird die gesamte Pipeline durchdenken: 

• Identifizieren und Profilieren von Features
• Korrekte Aufteilung der Trainings-, Validierungs- und Testdatensätze
• Trainieren Sie mehrere Modelltypen und vergleichen Sie sie. Führen Sie dabei Hyperparameter-Sweeps durch, um das bestmögliche Modell zu trainieren.
• Wertet Ergebnisse anhand von Metriken wie AUC, F1, RMSE und R² aus
• Diagramme für Feature-Wichtigkeit, Konfusionsmatrizen und ROC-Kurven generieren
• Experimente in MLflow verfolgen
• Verbesserungen basierend auf Modelldiagnosen empfehlen

Sobald Genie Code auf Databricks Model Serving angewendet ist, bleibt es auf dem Laufenden: Es kann den Zustand von Endpoints überprüfen, Traces analysieren und Optimierungen empfehlen. Mehr dazu erfahren Sie unten im Abschnitt „From Code to Production: Observability with Genie Code“.

Genie Code verändert die Arbeitsweise unserer Datenteams. Anstatt Notebooks, Pipelines und Modelle manuell zusammenzufügen, können wir komplexe Workflows an einen KI-Partner übergeben, der unsere Daten, Data Governance, unseren Geschäftskontext und unsere internen Bibliotheken wie zum Beispiel Repsol Artificial Intelligence Products versteht. Es beschleunigt alles, von der Zeitreihenprognose bis zur Bereitstellung in der Produktion, ohne Einbußen bei Gründlichkeit oder Kontrolle. — Emilio Martín Gallardo, Principal Data Scientist, Datenverwaltung & Analytics, Repsol

Produktionsreife Datenpipelines erstellen

Genie Code ist Ihr erfahrener Data Engineer, der Ihnen hilft, zuverlässige Datenpipelines zu entwerfen und weiterzuentwickeln.

• Pipelines aus natürlicher Sprache erstellen: Beschreiben Sie, was Sie benötigen, und Genie Code generiert eine vollständige Spark Declarative Pipeline mit integrierter Aufnahme, Transformationen und Expectations an die Datenqualität.
• Bestehende Pipelines erweitern: Fügen Sie Datensätze hinzu, ändern Sie Transformationen, schreiben Sie AutoCDC-Flows, konfigurieren Sie Auto Loader und wenden Sie Expectations an die Datenqualität an – alles im Kontext Ihrer aktuellen Pipeline.
• Verhalten der Pipeline verstehen: Ausgaben prüfen, Datenflüsse in nachgelagerte Tabellen nachverfolgen und unerwartete Änderungen bei Zeilenzahlen oder Schemata aufdecken.

Genie Code hat uns über die unterstützte Codierung hinaus zu echtem agentischem Data Engineering geführt. Es kann unsere Lakeflow-Pipelines analysieren, dateiübergreifende Änderungen mit Diffs vorschlagen, Ausführungen mit Sicherheitsvorkehrungen durchführen und Fehler so lange iterativ bearbeiten, bis die Probleme gelöst sind. Es fühlt sich weniger wie eine Autovervollständigung an und mehr wie ein in unseren Workflow eingebetteter Mitarbeiter. — Nishit Gajjar, Tech Lead, Globaler Anbieter von Infrastrukturtechnologie

Dashboards mit wiederverwendbaren semantischen Definitionen erstellen

Genie Code kann Visualisierungen erstellen, Filter konfigurieren und mehrseitige Dashboard-Layouts organisieren – alles mit wiederverwendbaren semantischen Definitionen. Es verbindet diese Definitionen mit Filtern, Berechnungen und Layouts, die mit wachsenden Dashboards mit Scale wachsen, und hilft Teams so, schneller voranzukommen und gleichzeitig die Konsistenz zu wahren.

Mit Genie Code liefern unsere Teams KI-gestützte Analysen und automatisierte Workflows in Wochen statt in Monaten. Low-Code-Agenten helfen uns, schneller voranzukommen und gleichzeitig die Governance-Richtlinien einzuhalten. So können Projekt- und Engineering-Teams Einblicke in natürlicher Sprache aus komplexen Daten gewinnen, ohne die Bereitstellung zu verlangsamen. — Russell Singer, Chief Data Architect, Bechtel Corporation

Autonome mehrstufige Planung und Ausführung 

Geben Sie ein übergeordnetes Ziel an, wie z. B. "Risiken für Flugverspätungen identifizieren und ein Monitoring-Dashboard erstellen". Genie Code denkt die Anforderungen durch, formuliert einen mehrstufigen Plan und führt diesen über alle Databricks Notebooks, AI/BI-Dashboards und Lakeflow in einem einzigen Konversations-Thread aus.

Was wir bei Danfoss sehen, ist, dass Genie Code die Rollen innerhalb eines Datenteams verändert und damit unseren strategischen Fokus auf Digitalisierung und KI unterstützt. Data Scientist geben weiterhin die Richtung vor und führen Überprüfungen durch, aber Ingenieure, Analysten und Fachexperten können nun mit dem Assistenten aktiv in Notebooks arbeiten und zu fortgeschrittenen Analytics-Workflows beitragen. Dadurch wird Data Science zu einer viel kollaborativeren Teamaktivität. — Radu Dragusin, Principal Engineer, Data & KI, Danfoss

Explorative Datenanalyse mit tiefgreifender kontextbezogener Suche

Genie Code verwendet Popularität, Lineage, Codebeispiele und Unity Catalog-Metadaten, um die relevantesten Datensätze für jede Analyse zu finden. Diese tiefe kontextbezogene Suche macht die manuelle Datensuche überflüssig und stellt sicher, dass Ihre Arbeit auf den genauesten und am häufigsten verwendeten Tabellen in Ihrem Unternehmen basiert.

Ich bin wirklich fasziniert. Genie Code gibt einen Einblick in die Zukunft der Datenarbeit. – Sameer Yasser, Senior Data Engineer, Sundt Construction

Anpassung und Erweiterbarkeit

Genie Code ist eine flexible Plattform, die so konzipiert ist, dass sie auf die spezifischen Standards und den externen Tech-Stack Ihres Teams zugeschnitten werden kann. Es gibt drei Hauptmöglichkeiten, seine Fähigkeiten zu erweitern:

1. Externes Tooling über das Model Context Protocol (MCP)
   Genie Code unterstützt das Model Context Protocol (MCP), einen offenen Standard, der eine sichere Interaktion mit Ihren externen Tools, APIs und Ihrer Dokumentation ermöglicht. Dies ermöglicht autonome Workflows, die über den Databricks-workspace hinausgehen.

Wenn Ihnen beispielsweise ein Jira Task zugewiesen wird, ein neues ML-Modell zu trainieren, kann Genie automatisch den Kontext daraus erfassen, die Aufgabe ausführen und das Ticket mit den Ergebnissen aktualisieren.

Verbinden Sie Genie über MCP mit Ihrem internen Confluence, Google Drive, GitHub oder Notion, damit es bei der Fehlerbehebung auf die spezifischen Runbooks und Datenwörterbücher Ihres Teams zurückgreifen kann.

2. Agent Skills: Definieren Sie domänenspezifische Fähigkeiten, um Genie Code beizubringen, komplexe Aufgaben konsistent auszuführen. Ganz gleich, ob es sich um eine bestimmte Art der PII-Maskierung in Ihrem Unternehmen oder ein benutzerdefiniertes Framework für die Datenvalidierung handelt, Skills stellen sicher, dass die KI jedes Mal die Best Practices Ihres Unternehmens befolgt. Skills folgen dem offenen Agent Skills Format.
3. Gedächtnis: Genie Code wird umso intelligenter, je öfter Sie es verwenden. Durch ein persistentes Gedächtnis aktualisiert der Agent automatisch seine internen Anweisungen basierend auf Ihren früheren Interaktionen. Es lernt Ihre Programmierpräferenzen, merkt sich, welche Datensätze Sie am häufigsten verwenden, und behält den Kontext über Sitzungen hinweg bei.

Vom Code zur Produktion: Observability mit Genie Code

Das Schreiben von Code ist nur der erste Schritt. Die Wartung ist die eigentliche Herausforderung. Genie Code fungiert als Observability-Agent, um Ihre Daten- und KI-Workflows fehlerfrei zu halten. Während Tausende von Kunden Databricks für die Bereitstellung anspruchsvoller KI-Anwendungen nutzen, ist das Debugging dieser Modelle in der Produktion oft der zeitaufwändigste Teil des Lebenszyklus.

Genie Code lässt sich jetzt direkt in Databricks Model Serving und MLflow 3.0 integrieren, um diesen Prozess zu automatisieren. Anstatt logs und Traces manuell zu durchsuchen, können Sie Genie für Folgendes verwenden:

• Endpoint health checks: Erhalten Sie mit einem einzigen Prompt einen vollständigen Statusbericht über compute, Anfragenverarbeitung und Serverprotokolle.

• Analyse der Agent-Qualität: Decken Sie subtile Probleme wie Halluzinationen, falsche Tool-Aufrufe und Frustrationsmuster von Benutzern über komplexe Agent-Traces in Echtzeit auf.

• Fehlerbehebung in der Produktion: Wenn Vorfälle auftreten, gleicht Genie Server-logs und Metriken ab, um die erste Diagnosephase zu automatisieren und die Zeit bis zur Lösung zu verkürzen.
• Endpoint-Optimierung: Erhalten Sie Empfehlungen zur bereitgestellten Gleichzeitigkeit, Hardware-Konfigurationen und automatischer Skalierung basierend auf den Best Practices von Databricks.

Hintergrundagenten, die für fehlerfreie Workloads sorgen

Genie Code ist so konzipiert, dass es im Hintergrund arbeitet, damit Ihre Daten auch dann intakt bleiben, wenn Sie Ihren Laptop schließen. Sie können mehrere Agents parallel bereitstellen, um die operativen Arbeiten zu erledigen, die normalerweise die Woche eines Data Engineers in Anspruch nehmen. Diese Hintergrund-Agents gehen über reaktiven Support hinaus und ermöglichen eine proaktive Wartung, indem sie repetitive Aufgaben wie das Reagieren auf Job-Fehler und das Verwalten von Routine-Upgrades erledigen. Wenn eine Pipeline ausfällt, identifiziert der Agent die Ursache und schlägt eine Lösung erst vor, nachdem er sie in einer sicheren Sandbox-Umgebung validiert hat. 

Wenn beispielsweise eine Produktionspipeline aufgrund einer Schema-Nichtübereinstimmung ausfällt, z. B. wenn sich eine Spalte von INT (150) zu Strings („150 USD“) ändert, wird Genie den Fehler lokalisieren und die fehlerhafte Pipeline automatisch reparieren. 

Hintergrundagenten sind bald verfügbar. 

Basiert auf Unity Catalog: Integrierte Sicherheit und Governance

Genie Code basiert direkt auf dem Unity Catalog. Diese Integration stellt sicher, dass der Agent die gleichen Sicherheits- und Governance-Regeln wie der Rest der Databricks-Plattform befolgt.

Wenn Genie Code nach Daten sucht, werden nur die Asset (Vermögenswerte) angezeigt, auf die der Benutzer zugreifen darf. Wenn eine Pipeline erstellt wird, hält sie die bestehenden Lineage- und Zugriffskontrollen ein.

• Nativer Revisionsverlauf: Jede Bearbeitung wird über das Versionierungssystem von Databricks nachverfolgt. Sie können Änderungen in Notebooks, Abfragen, Dateien und Lakeflow-Pipelines mit voller Zuversicht rückgängig machen.
• Integrierte Leitplanken: Genie Code ist so konzipiert, dass es proaktiv um Bestätigung bittet, bevor Code ausgeführt wird, der zugrunde liegende Tabellen ändern kann.
• Durchsetzung der Zugriffskontrolle: Genie Code legt niemals Assets (Vermögenswerte) offen, die ein Benutzer nicht sehen darf.
• Umfassende Audit-Protokollierung: Ihre Organisation behält durch die bestehende Audit-Infrastruktur volle Transparenz darüber, wie Genie Code genutzt wird.

Ab heute in Ihrem Workspace verfügbar

Genie Code ist jetzt allgemein verfügbar in Ihrem Databricks-Workspace. Sie finden das Genie Code-Panel bereits heute in Ihren Notebooks, im SQL-Editor und im Lakeflow-Pipelines-Editor – keine komplexe Konfiguration erforderlich.

Mehr erfahren

Wenn Sie mehr über Genie Code erfahren möchten:

• Besuchen Sie unsere Webseite, um die Key Genie Code Features und Anwendungsfälle zu verstehen und zu erfahren, wie es auf der Databricks-Plattform funktioniert
• Sehen Sie sich die Demo an, um zu sehen, wie Genie Code echte Datenworkflows von Anfang bis Ende plant und ausführt
• Lesen Sie die Dokumentation, um noch heute mit der Nutzung von Genie Code in Ihrem eigenen Workspace zu start

Wir sind gespannt zu sehen, was Sie mit Genie Code entwickeln werden und wie autonome Agenten die Arbeitsweise Ihrer Datenteams in Databricks neu gestalten werden.

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag