Von Daten zum Dialog: Ein Leitfaden für Best Practices zur Erstellung von hochleistungsfähigen Genie space

In den meisten Unternehmen wächst die Erwartung, dass jeder in der Lage sein sollte, seinen Daten in einfachem Englisch Fragen zu stellen und sofort genaue Antworten zu erhalten. Große Sprachmodelle sind nicht allein für diesen Zweck konzipiert; sie verstehen keine internen Akronyme, benutzerdefinierten Metriken oder wie Geschäftseinheiten zueinander in Beziehung stehen. Ohne diesen Kontext können selbst einfache Fragen zu irreführenden Ergebnissen führen.

Die Implementierung von Best Practices für Self-Service-Analytics verändert die Art und Weise, wie Unternehmen Daten abfragen. Databricks AI/BI Genie schließt diese Lücke, indem es Sprachmodelle mit verwalteten Daten und expliziter Konfiguration auf der Databricks-Plattform kombiniert. Ein Genie Space ist der Ort, an dem Sie die Logik, das Vokabular und die Regeln Ihrer Organisation kodieren, sodass Fragen in natürlicher Sprache in korrekte Abfragen aufgelöst werden.

Für den Aufbau eines zuverlässigen Genie Space ist mehr erforderlich, als nur eine KI auf eine Datenbank zu richten. Es erfordert eine sorgfältige Vorbereitung in den Bereichen Datenmodellierung, Metadaten und laufende Validierung. Dieser Leitfaden bietet einen praktischen Schritt-für-Schritt-Ansatz, um diese Arbeit auf skalierbare Weise durchzuführen.

Schritt 1: Entwickeln Sie eine starke Datengrundlage

Die Qualität eines Genie Space hängt stark von der Qualität der zugrunde liegenden Daten ab. Wenn die Daten bereits kuratiert und konsistent sind, wird Genies Job einfacher, schneller und genauer. Das Ziel ist es, kuratierte Daten bereitzustellen, denen ein menschlicher Analyst ohne zusätzliche Bereinigung vertrauen würde.

• Denormalisieren und Vorab-Joinen: Starten Sie damit, Ihre Datenmodelle dort zu den denormalisieren, wo es sinnvoll ist. Das Vorab-Verbinden von Tabellen reduziert die Komplexität generierter Abfragen und verringert das Risiko falscher Joins oder Aggregationen.
• Häufig verwendete Felder vorab berechnen: Sie sollten häufig verwendete Felder wie z. B. Abrechnungszeiträume oder standardisierte Status-Flags vorab berechnen, damit es bei der Ableitung dieser Werte keine Unklarheiten gibt.
• Irrelevante Daten filtern: Wenn bestimmte Zeilen oder Spalten niemals abgefragt werden sollen, entfernen Sie sie während des Data-Engineering-Prozesses. Verlassen Sie sich nicht auf Anweisungen oder Prompts, um schlechte Modellierungsentscheidungen auszugleichen. Wenn eine Regel universell gilt, setzen Sie sie in den Daten selbst durch.

Metrikenansichten spielen eine entscheidende Rolle bei der Durchsetzung konsistenter Definitionen über Teams hinweg. Sie ermöglichen es Ihnen, gemeinsame Geschäftslogik wie z. B. Umsatz- oder Berechnungen aktiver Benutzer an einem Ort zu kodieren. Genie übernimmt diese Definitionen automatisch, was garantiert, dass jede Abfrage auf derselben genehmigten Logik beruht. Dies beseitigt Mehrdeutigkeiten und gewährleistet eine einzige Quelle der Wahrheit.

Schritt 2: Erwartungen mit Benchmarks definieren

Bevor Sie Metadaten oder SQL-Beispiele konfigurieren, müssen Sie festlegen, wie Erfolg aussieht. Ein Genie Space sollte Fragen nicht nur beantworten, sondern sie auch korrekt, konsistent und im erwarteten Format beantworten. Benchmarks machen dies messbar.

• Inventarisieren Sie Ihre Schlüsselfragen: Arbeiten Sie mit Fachexperten zusammen, um eine repräsentative Auswahl an Fragen zu sammeln. Diese sollten sowohl einfache Suchvorgänge als auch komplexere analytische Abfragen umfassen. Definieren Sie für jede Frage die "Ground Truth"-Antwort, die als Ihr Erfolgskriterium dient. So können Sie überprüfen, dass Genie nicht nur die Zahlen korrekt berechnet, sondern auch implizit Ihre Formatierungsstandards einhält. Wenn Sie beispielsweise den gesamten genehmigten Umsatz nach Händler überprüfen, sollte der Benchmark sicherstellen, dass das Ergebnis korrekt gruppiert ist und nicht nur, dass die Gesamtsumme korrekt ist.
• Gewünschte Ausgabe angeben: Definieren Sie für jede Frage die erwartete Ausgabe. Muss die Antwort in einem bestimmten Format vorliegen? Sollen Werte auf eine bestimmte Weise aggregiert werden? Die Angabe des gewünschten Formats stellt sicher, dass die Abfrage fair ausgewertet wird und Genie die Präsentationsstandards Ihrer Organisation lernt.
• Legen Sie Ihren Anfangswert fest: Führen Sie frühzeitig Benchmarks durch und rechnen Sie mit Fehlern. Anfängliche Fehler sind nützlich, weil sie genau aufzeigen, wo Genie der Kontext fehlt. Wenn Sie Metadaten und Logik verfeinern, sollten Sie diese Benchmarks erneut ausführen, um Verbesserungen nachzuverfolgen und Regressionen zu erkennen, wenn Daten- oder Konfigurationsänderungen auftreten.

Durch die Verwendung des Benchmarking-Tools können Sie Ihre gängigen Abfragen in einem automatisierten Prozess erneut ausführen. Dies bietet ein konsistentes und wiederholbares System zur Bewertung des Zustands Ihres Genie Space in jeder Phase, sodass Sie den Fortschritt messen und Regressionen schnell erkennen können.

Schritt 3: Bringen Sie Genie die Logik Ihrer Organisation bei

Mit einer soliden Datengrundlage müssen Sie Genie nun den spezifischen Kontext und die Regeln Ihrer Organisation beibringen. Dies umfasst drei verschiedene Konfigurationsebenen: die Anreicherung von Metadaten, die Definition von Beziehungen und die Kodifizierung von SQL-Mustern.

1. Metadaten und Vokabular anreichern Genie ruft grundlegende Schemainformationen aus dem Unity Catalog ab, aber Sie müssen den "menschlichen" Kontext hinzufügen.
   • Tabellenbeschreibungen: Behandeln Sie diese wie "Leitbilder". Erklären Sie kurz, welche Daten die Tabelle enthält und welche spezifischen Geschäftsfragen sie beantwortet.
   • Spaltenbeschreibungen: Verdeutlichen Sie mehrdeutige Felder. Wenn ein Spaltenname wie created_at oder status vage ist, fügen Sie eine Beschreibung hinzu, um genau anzugeben, was er darstellt (z. B. "Der Zeitstempel, wann die Bestellung aufgegeben wurde, in UTC").
   • Synonyme: Überbrücken Sie die Lücke zwischen Geschäftsjargon und technischen Spaltennamen. Verwenden Sie Synonyme, um Akronyme (z. B. "ARR") oder interne Begriffe direkt den relevanten Spalten zuzuordnen.
     
     
   • Wörterbücher für Werte: Geben Sie Genie einen Einblick in Ihre tatsächlichen Daten. Aktivieren Sie Beispielwerte oder Wörterbücher für Werte für kategoriale Spalten, damit Genie exakte Übereinstimmungen durchführen kann (z. B. die Zuordnung von "Australia" zu "AUS"), ohne Namenskonventionen erraten zu müssen.
     
     
2. Beziehungen definieren Genie berücksichtigt Primär- und Fremdschlüssel, die im Unity Catalog definiert sind, aber Sie müssen alle fehlenden Links auf der Registerkarte Joins manuell konfigurieren.
   • Kardinalität definieren: Die explizite Angabe, ob eine Beziehung eine Eins-zu-Eins-, Eins-zu-Viele- oder Viele-zu-Viele-Beziehung ist, ist entscheidend. Dadurch wird verhindert, dass Genie Abfragen generiert, die zu einer explosionsartigen Zunahme der Zeilenanzahl führen oder versehentlich Metriken doppelt zählen.
     
     
3. Logik mit SQL kodifizieren Während Metadaten Genie lehren, was Ihre Daten sind, lehrt bereitgestelltes SQL, wie es abgefragt werden soll.
   • Beispielabfragen: Fügen Sie „Goldstandard“-Abfragen für Ihre häufigsten oder komplexesten Fragen hinzu. Hier zeigen Sie, wie Sie mit komplexer Logik umgehen – schwierige Berechnungen, spezifische Filter oder wiederverwendete mehrstufige Aggregationen –, die Metadaten allein nicht erklären können. Sie sollten auch Parameter einbinden, um Genie beizubringen, wie es variable Eingaben dynamisch verarbeiten kann. Nutzungsrichtlinien ermöglichen es Ihnen, Genie explizit mitzuteilen, wann eine bestimmte Abfrage angewendet werden soll. Dies dient der Disambiguierung ähnlicher Metriken und stellt sicher, dass Genie die richtige template für das richtige Szenario auswählt. Über die Logik hinaus behandelt Genie Beispiel-Queries als Stil-Templates und lernt so Ihre bevorzugten Formatierungs- und Codierungskonventionen.
   • SQL-Ausdrücke: Definieren Sie wiederverwendbare Snippets speziell für Filter, Dimensionen oder Kennzahlen. Diese dienen als modulare Bausteine für Ihre Abfragen. Entscheidend ist, dass Sie Anweisungen geben, wann sie zu verwenden sind (z. B. "Wenden Sie diesen Filter immer dann an, wenn der Benutzer nach 'Aktiven Accounts' fragt"), um sicherzustellen, dass Genie das Tool korrekt verwendet, anstatt nur zu raten.
     
     
   • Vertrauenswürdige Funktionen (UDFs): Verwenden Sie benutzerdefinierte Funktionen für Logik, die exakt wiederverwendet werden muss, ohne Abweichung in der zugrunde liegenden Formel (z. B. eine standardisierte Steuerberechnung). Dies sind strikte Funktionen, bei denen Genie einfach die erforderlichen Parameter übergibt. Da die Logik gesperrt ist, zeigt Genie bei der Ausführung dieser Funktionen ein „Vertrauenswürdig“-Badge auf dem Ergebnis an, was dem Benutzer anzeigt, dass er sich auf die Antwort verlassen kann.
     
     

Schritt 4: Allgemeine Anweisungen anwenden

Allgemeine Anweisungen bieten einen allgemeinen Kontext, sollten aber sparsam verwendet werden. Sie sind weniger präzise als Metadaten oder SQL-Beispiele und sollten niemals verwendet werden, um eine fehlende Konfiguration an anderer Stelle auszugleichen.

Prüfen Sie vor dem Hinzufügen einer allgemeinen Anweisung, ob das Problem durch Tabellenbeschreibungen, Feldmetadaten, Joins, Beispielwerte oder Beispielabfragen gelöst werden kann. Verwenden Sie allgemeine Anweisungen nur dann, wenn keines der spezifischen Tools anwendbar ist.

Effektive Anweisungen beschreiben den geschäftlichen Kontext in einfacher Sprache. Sie erklären wichtige Entitäten, Lebenszyklen und Beziehungen, ohne ein bestimmtes SQL-Verhalten vorzugeben. Vermeiden Sie Anweisungen, die eine Tabellenauswahl erzwingen, Filter hartcodieren oder die Ausgabeformatierung festlegen.

Verwenden Sie die nachstehende Entscheidungsmatrix, um häufige Probleme zu diagnostizieren. Bevor Sie eine allgemeine Anweisung hinzufügen, überprüfen Sie, ob Sie die Lücke mit den primären Konfigurationstools geschlossen haben:

Dieser Abschnitt ist Ihre Gelegenheit, mit Genie in allgemeinen, konzeptionellen Begriffen zu sprechen.

Gute allgemeine Anweisungen liefern einen Kontext

Die effektivsten allgemeinen Anweisungen bieten eine übergeordnete, für Menschen lesbare Beschreibung des gesamten organisatorischen Kontexts. Stellen Sie es sich so vor, als würden Sie eine Zusammenfassung für die Führungskräfte oder eine Einsatzbesprechung für den Genie Space schreiben. Hier erklären Sie den Zweck der Daten, definieren die Schlüsselentitäten und beschreiben in einfachen Worten, wie sie zueinander in Beziehung stehen.

Dieser Kontext soll Genie zu den richtigen Verhaltensmustern anleiten, ohne spezifische SQL-Befehle vorzugeben. Er füllt die konzeptionellen Lücken, die nach der Verwendung aller spezifischeren Tools noch vorhanden sind.

Hier ist ein Vergleichsbeispiel für eine allgemeine Anweisung, die den Rahmen für einen Cashback- und Transaktionsdatensatz vorgibt:

Schlechte allgemeine Anweisungen

Ineffektive Anweisungen versuchen, den job eines spezifischeren Tools zu übernehmen. Sie sind oft zu starr und weisen Genie genau an, wie eine Abfrage zu schreiben ist, was es verwirren oder in Konflikt mit dem Kontext bringen kann, den es aus anderen Konfigurationsbereichen gelernt hat. Vermeiden Sie Anweisungen, die:

• Vorgeben, welche Tabellen oder Spalten zu verwenden sind. Dies ist die Aufgabe von Tabellen-/Feldbeschreibungen und Synonymen.
  • Statt: "Wenn ein Benutzer nach Vertrieb fragt, verwenden Sie die Tabelle 'transactions' und die Spalte 'revenue'."
  • Tun Sie Folgendes: Stellen Sie sicher, dass die Beschreibung der Transaktionstabelle angibt, dass sie für die Verkaufsanalysen verwendet wird und die Umsatzspalte relevante Synonyme enthält.
• Geben Sie Formatierungen, Aliase oder zurückzugebende Felder an. Dies ist der Job von Beispiel-SQL-Abfragen.
  • Anstatt: „Benennen Sie beim Anzeigen des Umsatzes die Spalte in ‚Gesamtumsatz‘ um und formatieren Sie sie als Währung.“
  • Gehen Sie so vor: Stellen Sie eine Beispielabfrage bereit, die eine Umsatzausgabe korrekt berechnet und formatiert.
• Spezifische Werte hartcodieren. Diese Logik gehört in die Datenschicht oder in eine bestimmte Beispielabfrage.
  • Anstatt: „Filtern Sie Transaktionen immer nach dem Land ‚AUS‘.“
  • Gehen Sie so vor: Bearbeiten Sie dies an der richtigen Stelle. Wenn dies eine allgemeingültige Regel ist, filtern Sie sie in den Daten der Gold-Schicht heraus. Wenn es sich um eine häufige Anfrage handelt, fügen Sie eine Beispielabfrage hinzu, die zeigt, wie nach australischen Transaktionen gefiltert wird.

Schritt 5: Qualität durch kontinuierliches Feedback sichern

Die Einführung eines Genie Space ist nicht das Ende des Projekts, sondern der Anfang eines lebendigen, sich entwickelnden Analytics-Tool. Die erfolgreichsten Genie Spaces sind diejenigen, die aktiv überwacht, gewartet und in Zusammenarbeit mit den Nutzern, denen sie dienen, verbessert werden. Dieser letzte Schritt verwandelt Ihren Genie Space von einer statischen Konfiguration in ein dynamisches Asset, das sich an die sich ändernden Anforderungen Ihres Unternehmens anpasst.

Beziehen Sie Ihre Fachexperten als Partner ein

Ihre beste Informationsquelle zur Verbesserung Ihres Genie Space sind Ihre erfahrenen Benutzer. Ermächtigen Sie eine kleine Gruppe von Fachexperten (SMEs), als Champions zu agieren, und gewähren Sie ihnen direkten Zugriff. Ermutigen Sie sie, die integrierten Feedback-Tools zu verwenden und Antworten als „Gut“ oder „Schlecht“ zu markieren.

Dies erzeugt eine leistungsstarke, kontinuierliche Feedbackschleife. Wenn ein Fachexperte (SME) mit Genie arbeitet, um eine Frage zu verfeinern und zu einer korrekten Antwort zu gelangen, ist diese Interaktion eine wertvolle Lernmöglichkeit. Erfassen Sie ihre endgültige „gute“ Abfrage und die ursprüngliche Frage und fügen Sie sie Ihren Beispielabfragen hinzu. Dieser Prozess der iterativen Verfeinerung, angetrieben durch die reale Nutzung, ist der effektivste Weg, um die Genauigkeit und Relevanz Ihres Space im Laufe der Zeit zu verbessern.

Nutzen Sie den Monitoring-Tab, um das Nutzerverhalten zu verstehen

Der Tab „Monitoring“ ist Ihr direkter Einblick darin, wie Benutzer mit Ihren Daten interagieren. Die regelmäßige Überprüfung dieses Dashboards liefert unschätzbare Einblicke in das Benutzerverhalten und hilft Ihnen, verbesserungswürdige Bereiche zu identifizieren. Achten Sie auf:

• Häufig gestellte Fragen: Welches sind die häufigsten Abfragen? Dies hilft Ihnen zu verstehen, was Ihre Benutzer am meisten schätzen.
• Problembereiche: Gibt es Themen, bei denen Genie durchweg falsche oder inkonsistente Abfragen erstellt?
• Unerwartete Nutzung: Stellen Benutzer Fragen, die Sie nicht erwartet haben?

Diese Daten bieten einen klaren, evidenzbasierten Leitfaden dafür, worauf Sie Ihre Bemühungen konzentrieren sollten – sei es durch das Hinzufügen neuer Metadaten, das Verfeinern von Joins, das Erstellen gezielterer Beispielabfragen oder das Anpassen der allgemeinen Anweisungen, um die Bedürfnisse Ihrer Benutzer besser zu unterstützen.

Validieren Sie Änderungen mit Ihrer Benchmark-Suite

Während Sie Verbesserungen vornehmen und sich Ihre Daten weiterentwickeln, wird Ihre Benchmark-Suite zu Ihrem primären Werkzeug für Qualitätssicherung und Regressionstests. Jede wesentliche Änderung am Genie Space – wie das Hinzufügen einer neuen Datenquelle – sollte sofort von einer Benchmark-Ausführung gefolgt werden.

Dies ist der schnellste und zuverlässigste Weg, um zu überprüfen, ob eine Änderung positive oder negative Auswirkungen hatte. Wenn Sie einen Performance-Abfall feststellen, zeigen Ihnen die Benchmark-Ergebnisse genau, bei welchen Abfragen eine Regression aufgetreten ist. So können Sie die Quelle der neuen Unklarheit lokalisieren und schnell beheben. Dieser disziplinierte Ansatz stellt sicher, dass die Qualität und Zuverlässigkeit Ihres Genie Space auch bei dessen Wachstum konstant hoch bleiben.

Von der Konfiguration zur Zusammenarbeit

Der Aufbau eines leistungsstarken Genie Space ist ein Produkt fortlaufender Optimierung und keiner einmaligen Konfiguration. Versuchen Sie nicht, Ihren gesamten Datenbestand auf einmal abzubilden. Wählen Sie stattdessen einen einzelnen, hochwertigen Anwendungsfall aus, wie z. B. ein bestimmtes Vertriebs-Dashboard oder einen operativen Bericht, und wenden Sie diese Methodik an.

Start Sie mit dem Engineering eines sauberen Datenausschnitts und legen Sie dann sofort Ihre „goldenen“ Benchmark-Fragen fest. Nutzen Sie die Fehler in diesem anfänglichen Benchmark, um Ihre Konfiguration von Metadaten und SQL-Logik zu steuern. Indem Sie sich auf diese iterative Schleife – testen, konfigurieren, verifizieren – konzentrieren, bauen Sie ein System auf, dem die Benutzer vertrauen. Dieser disziplinierte Ansatz liefert sofortige Self-Dienst-Funktionen.

Erste Schritte mit Genie im workspace
https://docs.databricks.com/aws/en/genie/set-up
https://learn.microsoft.com/en-gb/azure/databricks/genie/set-up
https://docs.databricks.com/gcp/en/genie/set-up

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag