Partner Connect

Nutzer können Fivetran jetzt mit nur wenigen Klicks in Partner Connect entdecken und eine Verbindung herstellen.

Wenn Sie in Partner Connect auf Fivetran klicken, wird ein automatischer Workflow zwischen den beiden Produkten gestartet:
- Databricks implementiert automatisch einen SQL-Endpunkt und die zugehörigen Anmeldeinformationen für die Interaktion mit Fivetran, wobei die Best Practices bereits bei der Konfiguration des Endpunkts berücksichtigt wurden.
– Databricks übergibt die Identität des Nutzers und die SQL-Endpunktkonfiguration automatisch über eine sichere API an Fivetran.

Anschließend werden wir zum Fivetran-Produkt weitergeleitet und können uns wahlweise für eine Testversion von Fivetran registrieren oder uns bei Fivetran einloggen, wenn wir bereits Nutzer sind. Fivetran richtet automatisch ein Testkonto ein.

Fivetran erkennt, dass es sich um einen Nutzer handelt, der von Databricks Partner Connect kommt, und erstellt automatisch ein Databricks-Ziel. Dieses ist so konfiguriert, dass es über den von Partner Connect automatisch konfigurierten SQL-Endpunkt in Delta aufgenommen wird (es wäre praktisch, dies durch Anhalten des Videos und Heranzoomen oder Hervorheben des Symbols „Databricks Partner – demo_cloud“ oben links zu verdeutlichen, um das automatisch eingerichtete Databricks-Ziel herauszustellen).

Da das Ziel (Databricks Delta) bereits eingerichtet ist, wählt der Nutzer nun die Quelle aus, von der er Daten einlesen möchte. Wir verwenden als Quelle Salesforce. (Beachten Sie, dass der Nutzer zwischen Hunderten von Quellen auswählen kann, die Fivetran unterstützt.) Der Nutzer authentifiziert sich bei der Salesforce-Quelle, wählt die in Databricks Delta zu erfassenden Salesforce-Objekte aus (in diesem Fall die Konto- und Kontaktobjekte) und startet die Erstsynchronisierung.

Wenn wir auf Logs klicken, erkennen wir, dass Fivetran Daten mithilfe von APIs aus Salesforce ausliest und diese Daten dann über den automatisch eingerichteten SQL-Endpunkt nach Databricks Delta überspielt.

Die Synchronisationsfrequenz von Salesforce zu Databricks Delta kann auch von Fivetran aus konfiguriert werden.

Nach einem Klick auf „Ziel“ sehen wir Details zur Konfiguration des SQL-Endpunkts, der infolge unseres Zugriffs auf Fivetran über Databricks Partner Connect automatisch erstellt wurde. Diese Automatisierung erspart dem Nutzer Dutzende von manuellen Schritten und das Kopieren und Einfügen von Konfigurationen, die er bei manueller Einrichtung der Verbindung hätte vornehmen müssen. Sie schützt den Nutzer auch vor unbeabsichtigten Konfigurationsfehlern und lässt die Fehlersuche entfallen.

Zurück auf der Databricks-Benutzeroberfläche sehen wir den SQL-Endpunkt, der automatisch von Partner Connect für Fivetran erstellt wurde.

Da die Salesforce-Daten nun nahtlos von Fivetran über diesen SQL-Endpunkt nach Databricks Delta fließen, können wir die erfassten Delta-Tabellen im Daten-Explorer von Databricks anzeigen.

Wir können diese Salesforce-Tabellen nun mit SQL-Abfragen abrufen und die Daten, die von Fivetran kommen, für nachgelagerte BI-Analysen analysieren und mit anderen Datenbeständen im Lakehouse zusammenführen.

Um Ihre Analyse in Power BI zu starten, verbinden Sie Power BI Desktop mit dem Databricks SQL-Endpunkt.

Klicken Sie in Databricks Partner Connect auf Power BI, um einen vereinfachten Arbeitsablauf zu initiieren.

Wählen Sie einen SQL-Endpunkt aus und laden Sie die Verbindungsdatei herunter. Die Verbindung mit Power BI Desktop ist einfach, da die Verbindungsdatei mit den erforderlichen Details für die Verbindung mit dem Databricks-Cluster vorkonfiguriert ist.

Erste Schritte:

– Generieren Sie ein persönliches Databricks-Zugriffstokens.

– Installieren Sie Power BI und den Databricks-ODBC-Treiber.

Wenn Sie die Verbindungsdatei öffnen:

– erkennt Power BI automatisch die Databricks SQL-Endpunktverbindungsdetails, die in der Verbindungsdatei vorkonfiguriert wurden;

– fordert Power BI Sie auf, Ihre Zugangsdaten einzugeben.

Analyse in Power BI erstellen

– Wählen Sie die zu analysierende Datenbank und Tabelle aus.

– Wählen Sie die erforderlichen Felder per Drag-and-Drop aus und erstellen Sie Ihre Visualisierung.

Wenn Sie in Partner Connect auf Tableau klicken, wird ein einfacher Workflow für die Verwendung von Tableau Desktop mit Databricks gestartet.

Sie können einen SQL-Endpunkt auswählen und eine Verbindungsdatei herunterladen.

Die Verbindungsdatei ist mit allen Details vorkonfiguriert, die Sie für die Verbindung mit dem Cluster benötigen.

So beginnen Sie mit Tableau Desktop von Databricks Partner Connect:

– Generieren Sie ein persönliches Databricks-Zugriffstokens.

– Installieren Sie Tableau und den Databricks-ODBC-Treiber.

Wenn Sie die Verbindungsdatei öffnen:

– Tableau Desktop erkennt automatisch die Details der SQL-Endpunktverbindung, die in der Verbindungsdatei vorkonfiguriert sind.

– Tableau Desktop fordert Sie zur Eingabe Ihrer Zugangsdaten auf.

Sie können sich jetzt auf die Erstellung Ihres Dashboards in Tableau Desktop konzentrieren.

– Wählen Sie die Registerkarte „Datenquelle“ aus.
– Wählen Sie die Datenbank und die Tabelle aus.
– Erstellen Sie ein Arbeitsblatt.
– Wählen Sie die erforderlichen Felder per Drag-and-Drop aus.
– Erstellen Sie dann die Visualisierungen und Dashboards.

Nutzer können Rivery jetzt mit nur wenigen Klicks in Partner Connect entdecken und eine Verbindung herstellen.

Wenn Sie in Partner Connect auf Rivery klicken, wird ein automatischer Workflow zwischen den beiden Produkten gestartet:
- Databricks implementiert automatisch einen SQL-Endpunkt und die zugehörigen Anmeldeinformationen für die Interaktion mit Rivery, wobei die Best Practices bereits bei der Konfiguration des Endpunkts berücksichtigt wurden.
– Databricks übergibt die Identität des Nutzers und die SQL-Endpunktkonfiguration automatisch über eine sichere API an Rivery

Wir werden dann zur Rivery-Produktkonsole weitergeleitet und können uns wahlweise für eine Testversion von Rivery registrieren oder uns bei Rivery einloggen, wenn wir bereits Nutzer sind. Rivery richtet automatisch ein Testkonto ein.

Jetzt können wir mit den nativen Datenquellenkonnektoren von Rivery Daten in Delta Lake laden.

Rivery erkennt, dass es sich um einen Nutzer handelt, der von Databricks Partner Connect kommt, und erstellt automatisch ein Databricks-Ziel, das für die Erfassung in Delta über den von Partner Connect automatisch konfigurierten SQL-Endpunkt vorbereitet ist.

Gehen Sie nun zu „Verbindungen“. Hier finden Sie Verbindungen von Datenquellen und -zielen. Hier finden Sie eine Zielverbindung namens „Databricks SQL“.
Da das Ziel (Databricks Delta) bereits eingerichtet ist, wählt der Nutzer nun die Quelle aus, von der er Daten einlesen möchte. Wir verwenden als Quelle Salesforce CRM. (Beachten Sie, dass der Nutzer zwischen mehr als 150 von Rivery unterstützten vordefinierten Datenquellenkonnektoren auswählen kann.) Der Nutzer authentifiziert sich bei der Salesforce CRM-Quelle und speichert die Verbindung, wenn der Test erfolgreich war. Sie wird nun in der Verbindungsliste angezeigt.

Wir klicken auf „Create New River“ und wählen „Source to Target“ aus, um die Datenerfassung zu starten.
- Wählen Sie Salesforce CRM als Datenquelle aus. Hierdurch wird die zuvor eingerichtete Salesforce-Verbindung automatisch ausgefüllt.
- Bei der Erfassungskonfiguration können Sie wählen, ob Sie mehrere Tabellen gleichzeitig oder nur eine Tabelle aus Salesforce laden möchten. In dieser Demo wählen wir nur eine Tabelle aus, nämlich die Tabelle „Account“. Speichern Sie nun.

- Unter „Target“. Für die Erfassung im bereits festgelegten Databricks Delta-Ziel kann der Nutzer den Namen einer bestehenden Datenbank auf der Databricks-Seite eingeben oder eine neue Datenbank erstellen.
Wir geben unseren eigenen Datenbanknamen ein und fügen ein Tabellenpräfix hinzu. Nun wählen wir „Überschreiben“ als Standarderfassungsmodus aus.
- Speichern Sie und klicken Sie auf „Ausführen“, um den Erfassungs-Workflow zu starten.

Sobald die Erfassung abgeschlossen ist, können wir zur Databricks UI zurückkehren, um die erfassten Delta-Tabellen im Daten-Explorer von Databricks SQL anzuzeigen.

Wir sehen das Schema, Beispieldaten sowie weitere ausführliche Informationen zu dieser Tabelle. Einfach und unkompliziert.

Wir können diese Salesforce-Tabellen nun mit SQL-Abfragen abrufen und die Daten, die von Rivery kommen, für nachgelagerte BI-Analysen analysieren und mit anderen Datenbeständen im Lakehouse zusammenführen.

Klicken Sie in Databricks Partner Connect auf Labelbox.

– Es wird automatisch ein Cluster erstellt, damit Sie ein Tutorial-Notebook, das wir auch zur Verfügung stellen, problemlos ausführen können.

– Bestätigen Sie als Nächstes die E-Mail-Adresse für Ihre Labelbox-Testversion.

Labelbox legt ein Tutorial-Notebook in Ihr freigegebenes Verzeichnis in Ihrem Databricks-Workspace.

Sie erhalten hier auch einen Link zu dieser Datei.

Schließen Sie die Registrierung der Testversion ab.

Jetzt haben Sie eine kostenlose Testversion von Labelbox.

Gehen wir zurück zu Databricks und sehen uns das Tutorial-Notebook an.

Wenn Sie Ihren Workspace aufrufen und auf „Freigegeben“ klicken, gelangen Sie zum Ordner „Labelbox Demo“. In diesem Ordner befindet sich ein einzelnes Notebook.

Dieses Tutorial führt Sie durch einen typischen Workflow: Identifizieren Sie unstrukturierte Daten in Ihrem Data Lake und übergeben Sie die URLs zur Annotation an Labelbox. Sie können Ihren Datensatz mit Annotationen versehen und die Label in Databricks für KI und Analytics wieder abrufen.

Als Erstes müssen Sie eine Verbindung zum Cluster herstellen. Da ist der Labelbox-Cluster, der gerade erstellt wurde. Ich führe die erste Zeile aus, um das Labelbox-SDK und den Labelbox-Konnektor für Databricks zu installieren.

Für diese nächste Zelle ist ein API-Schlüssel erforderlich.

Gehen Sie zurück zur Labelbox-Testversion, klicken Sie auf „Konto“, „API“ und erstellen Sie dann einen Demo-API-Schlüssel.

Kopieren Sie diesen Schlüssel, navigieren Sie zurück zu Databricks und fügen Sie ihn in die Zelle ein. Wir empfehlen, dafür die Databricks Secrets API zu verwenden, aber für diese Demo fügen wir einfach den Schlüssel ein.

Für diese Notebook-Demo werden wir Ihrem Databricks-Konto eine Tabelle mit Beispielbildern hinzufügen, Sie können aber auch problemlos Assets aus Ihrem Cloud-Speicher wie AWS S3, Azure Blob oder Google Cloud Storage verwenden.

Nach Ausführung dieser Zellen erhalten Sie eine Tabelle mit Dateinamen und URLs zu Bild-Assets.

Dann wird diese Tabelle an Labelbox übergeben, um den Datensatz in Labelbox zu erstellen.

Hier befindet sich der Datensatz mit all unseren Demo-Bildern.

Bevor Sie dem Datensatz Labeln hinzufügen können, müssen Sie ein neues Projekt mit einer Ontologie erstellen. Die Ontologie beschreibt, welche Art von Objekten und Klassifizierungen Sie annotieren möchten.

Sobald das Projekt fertig ist, können wir einigen Elementen Label hinzufügen.

Jetzt, da wir einige annotierte Daten haben, können wir zurück zu Databricks gehen und den letzten Befehl ausführen, um unsere Annotationen in Databricks zu übertragen.

Als Nächstes können Sie dann zum Notebook zurückkehren und den letzten Befehl ausführen, um diese Annotationen zur nachgelagerten Verwendung in Databricks zu übertragen.

The Label column includes a JSON of all the objects and classifications we placed on that asset.

Sie können diese Annotationen in Delta Lake speichern und dann Ihre KI-Modelle trainieren.

Dieses Notebook führt Sie durch die Grundlagen des Labelbox-Konnektors für Databricks. In unserer Dokumentation finden Sie weitere Informationen unter anderem zu erweiterten Funktionen wie modellgestütztes Labeling. Dort wird auch erklärt, wie Sie mit dem Katalog Assets auffinden und priorisieren, um sie mit Labels zu versehen, und wie Sie Model Diagnostics verwenden, um nach Bereichen zu suchen, in denen Ihr Modell verbessert werden kann.

- Öffnen Sie hier nun die Partner Connect-Seite und wählen Sie „Prophecy“ aus, um sich anzumelden.

- Wenn Sie ein Prophecy-Konto erstellen, stellt Databricks automatisch eine sichere Verbindung her, um Ihre Pipelines direkt in Ihrem Arbeitsbereich auszuführen.

Da Ihre E-Mail-Zugangsdaten weitergegeben werden, müssen Sie nur ein neues Passwort wählen, um sich bei Prophecy zu registrieren.

Nach der Anmeldung bei Prophecy sehen wir uns nun an, wie einfach es ist, Ihre Spark-Datenpipelines zu entwickeln und auszuführen.

Wählen Sie eine der Beispielpipelines für den Einstieg aus und öffnen Sie den Workflow.

Nun erscheint eine grafische Bearbeitungsfläche, auf der wir mit dem Entwickeln unserer Pipeline beginnen können.

Setzen wir zunächst einen neuen Databricks-Cluster auf.

Nachdem unser Cluster hochgefahren ist, können wir mit einem einzigen Klick zur Databricks-Oberfläche wechseln und sehen ihn im Arbeitsbereich.

Damit zurück zur Prophecy-Benutzeroberfläche. Erkunden wir unsere Pipeline. Wir lesen hier zwei Datenquellen mit unseren Kunden und den Aufträgen ein, verknüpfen sie miteinander …

… und aggregieren sie durch Aufsummieren der Betragsspalte.

Später sortieren wir die Daten und schreiben sie direkt in eine Delta-Tabelle

Mit Prophecy können wir unseren Workflow mit nur einem einzigen Klick direkt ausführen und die Daten nach jedem Schritt sehen.

Wir sehen hier Daten der Kategorien „Kunden“ und „Aufträge“ sowie die zusammengeführten Daten …

… das aggregierte Feld mit den summierten Beträgen …

… und schließlich unsere sortierten Daten, die in unsere Delta-Zieltabelle geschrieben werden

Ändern wir nun unsere Pipeline, indem wir einige der Felder bereinigen

Zu diesem Zweck können wir einfach ein neues Gem namens „Reformat“ per Drag & Drop überführen.

… verbinden es in unserer bestehenden Pipeline …

… und wählen die Spalten aus. Wir können eine neue Spalte mit der Bezeichnung „Vollständiger Name“ hinzufügen, unseren Vor- und Nachnamen verketten und eine bereinigte Betragsspalte ergänzen, die den aufgerundeten Wert enthält.

Dieses Gem benennen wir in „Cleanup“ um.

Auf diese Weise können wir unseren Workflow gezielt weiterleiten und die Daten direkt nach der Bereinigungsspalte untersuchen.

Wie Sie sehen, haben wir so ganz einfach einen Bereinigungsschritt in unserer Pipeline hinzugefügt.

Aber Prophecy ist nicht nur ein visueller Editor. Hinter den Kulissen wird alles in einem hochwertigen Spark-Code gespeichert, den Sie bearbeiten können.

Außerdem können Sie mit Prophecy die besten Software-Engineering-Praktiken anwenden, wenn Sie den Code direkt auf Ihrem Git speichern.

Hier sehen wir unseren Workflow mit den letzten Änderungen direkt als Scala-Code auf Git.