Contact partenaires

Les utilisateurs peuvent désormais découvrir et se connecter à Fivetran en quelques clics dans Partner Connect

Le fait de cliquer sur Fivetran dans Partner Connect lance un workflow automatisé entre les deux produits où :
– Databricks fournit automatiquement un point de terminaison SQL et les informations d'identification associées avec lesquelles Fivetran peut interagir, avec les bonnes pratiques intégrées dans la configuration du point de terminaison.
- Databricks transmet automatiquement l'identité de l'utilisateur et la configuration du point de terminaison SQL à Rivery via une API sécurisée

Vous êtes ensuite redirigé vers le produit de Fivetran pour vous inscrire à une session d'essai ou pour vous connecter à Fivetran si vous êtes déjà utilisateur. Fivetran configure automatiquement un compte d'essai.

Fivetran reconnaît qu'il s'agit d'un utilisateur provenant de Databricks Partner Connect et crée automatiquement une plateforme de destination Databricks configurée pour ingérer les données dans Delta via le point de terminaison SQL qui a été auto-configuré par Partner Connect (il serait utile de mettre l'accent sur ce point en interrompant la vidéo, en zoomant ou en mettant en évidence l'icône « Databricks Partner - demo_cloud » en haut à gauche pour souligner la plateforme de destination Databricks automatisée qui a été configurée)

Avec la plateforme de destination Databricks Delta déjà configurée, l'utilisateur choisit désormais la source qu'il souhaite ingérer. Nous utiliserons Salesforce comme source (notez que l'utilisateur est libre de choisir parmi n'importe laquelle des centaines de sources que Fivetran supporte). L'utilisateur s'authentifie auprès de la source Salesforce, choisit les objets Salesforce qu'il souhaite ingérer dans Databricks Delta (dans ce cas, les objets Compte et Contact) et lance la synchronisation initiale

En cliquant sur les journaux, il est possible de voir que Fivetran utilise des API pour lire les données de Salesforce et qu'il les ingère ensuite dans Databricks Delta via le point de terminaison SQL qui a été automatiquement relevé

La fréquence de synchronisation entre Salesforce et Databricks Delta peut également être configurée à partir de Fivetran

En cliquant sur Destination, vous pouvez voir les détails de la configuration du point de terminaison SQL qui a été automatiquement créée suite à l'entrée en Fivetran via Databricks Partner Connect. Cette automatisation a épargné à l'utilisateur des dizaines d'étapes manuelles et de copier / coller de configuration qu'il aurait dû réaliser s'il avait configuré manuellement la connexion. L'utilisateur évite ainsi de commettre des erreurs de configuration involontaires et de perdre du temps dans le processus de debugging

De retour dans l'interface utilisateur Databricks, nous pouvons voir le point de terminaison SQL créé automatiquement par Partner Connect pour Fivetran.

Maintenant que les données de Salesforce circulent de manière transparente de Fivetran vers Databricks Delta via ce point de terminaison SQL, nous pouvons visualiser les tables Delta ingérées dans l'explorateur de données de Databricks

Il est désormais possible d'interroger ces tables Salesforce au moyen de requêtes SQL et d'analyser les données au fur et à mesure qu'elles arrivent de Fivetran pour des analyses décisionnelles en aval et des mélanges avec d'autres datasets dans le lakehouse

Pour commencer votre analyse dans Power BI, connectez Power BI Desktop au point de terminaison SQL Databricks.

Cliquez sur Power BI dans Databricks Partner Connect pour lancer un workflow simplifié

Sélectionnez un point de terminaison SQL et téléchargez un fichier de connexion. La connexion à Power BI Desktop se fait très facilement : le fichier de connexion est préconfiguré et contient toutes les informations nécessaires pour se connecter au cluster Databricks.

Pour commencer,

– Générez un jeton d’accès personnel Databricks

– Installez Power BI et le pilote ODBC Databricks.

À l’ouverture du fichier de connexion,

– Power BI reconnaît automatiquement les informations de connexion du point de terminaison SQL Databricks, préconfigurés dans le fichier de connexion

– Power BI vous invite à saisir vos identifiants d'accès.

Commencez à élaborer votre analyse dans Power BI

– Sélectionnez la base de données et la table que vous souhaitez analyser

– Ajoutez les champs obligatoires par glisser-déposer et créez votre visualisation

Cliquez sur Tableau dans Partner Connect pour lancer un workflow simplifié et utiliser Tableau Desktop avec Databricks

Vous pouvez sélectionner un point de terminaison SQL et télécharger un fichier de connexion

Le fichier de connexion préconfiguré contient toutes les informations nécessaires pour vous connecter au cluster.

Pour utiliser Tableau Desktop à partir de Databricks Partner Connect,

– Générez un jeton d’accès personnel Databricks

– Installez Tableau et le pilote ODBC Databricks.

À l’ouverture du fichier de connexion,

– Tableau reconnaît automatiquement les informations de connexion du point de terminaison SQL, préconfigurées dans le fichier de connexion

– Tableau Desktop vous invite à saisir vos identifiants d'accès.

Vous pouvez désormais vous concentrer sur la création de votre tableau de bord dans Tableau Desktop

– Sélectionnez l’onglet Source de données
– Sélectionnez la base de données et la table
– Créez une feuille
– Ajoutez les champs obligatoires par glisser-déposer
– Il ne vous reste plus qu'à créer les visualisations et les tableaux de bord

Les utilisateurs peuvent désormais découvrir et se connecter à Rivery en quelques clics dans Partner Connect

Le fait de cliquer sur « Rivery » dans Partner Connect lance un workflow automatisé entre les deux produits où :
– Databricks fournit automatiquement un point de terminaison SQL et les informations d'identification associées avec lesquelles Rivery peut interagir, et avec les bonnes pratiques intégrées dans la configuration du point de terminaison.
- Databricks transmet automatiquement l'identité de l'utilisateur et la configuration du point de terminaison SQL à Rivery via une API sécurisée

Nous sommes ensuite redirigés vers la console du produit de Rivery pour nous inscrire à une session d'essai de Rivery ou pour nous connecter à Rivery si nous sommes déjà utilisateurs. Rivery configure automatiquement un compte d'essai.

Nous sommes maintenant prêts à exploiter les connecteurs natifs de source de données de Rivery pour charger des données dans Delta Lake.

Rivery reconnaît qu'il s'agit d'un utilisateur provenant de Databricks Partner Connect et crée automatiquement une plateforme de destination Databricks, configurée pour ingérer les données dans Delta via le point de terminaison SQL qui a été auto-configuré par Partner Connect

Maintenant, rendez-vous dans Connexions. Les connexions des sources de données et des cibles s'affichent. Il est possible de voir une connexion cible qui s'appelle Databricks SQL.
Avec la plateforme de destination Databricks Delta déjà configurée, l'utilisateur choisit désormais la source qu'il souhaite ingérer. Nous utiliserons Salesforce CRM comme source (remarquez que l'utilisateur est libre de choisir plus de 150 connecteurs de source de données prédéfinis pris en charge par Rivery). L'utilisateur s'authentifie auprès de la source Salesforce CRM et enregistre la connexion après avoir passé le test. Elle s'affiche dans la liste Connexions.

Pour commencer l'ingestion de données, il suffit de cliquer sur « Créer un nouveau fleuve » et sélectionner « Source vers cible ».
– Choisissez Salesforce CRM comme source de données. Il remplit automatiquement la connexion Salesforce que nous avons configurée plus tôt.
- Pour la configuration de l'ingestion, vous pouvez choisir de charger plusieurs tables simultanément ou de charger une seule table à partir de Salesforce. Dans cette démo, nous ne sélectionnons qu'une seule table qui est la table « Compte ». Enregistrez-la.

– Sur la « cible ». Pour l'ingestion vers la plateforme de destination Delta Databricks déjà définie, un utilisateur peut saisir un nom de base de données existant du côté de Databricks ou créer une nouvelle base de données.
Nous saisissons alors le nom de notre base de données et le préfixe de la table. Choisir « Écraser » comme mode d'ingestion par défaut.
- Enregistrez et cliquez sur le bouton « Exécuter » pour lancer le workflow d'ingestion.

Une fois l'ingestion terminée, il est possible de revenir à l'interface utilisateur de Databricks pour visualiser les tables Delta ingérées dans l'explorateur de données SQL de Databricks

Il est possible de voir le schéma, un échantillon de données ainsi que d'autres informations détaillées de cette table. Simple et efficace.

Il est désormais possible d'interroger ces tables Salesforce au moyen de requêtes SQL et d'analyser les données au fur et à mesure qu'elles arrivent de Rivery pour des analyses décisionnelles en aval et des mélanges avec d'autres datasets dans le lakehouse

Cliquez sur Labelbox dans Databricks Partner Connect

– Un cluster est automatiquement créé afin que vous puissiez facilement exécuter un notebook de démonstration que nous fournirons également

– Consultez la boîte mail associée à votre version d'essai de Labelbox

Labelbox dépose un notebook de démonstration dans le répertoire partagé de votre workspace Databricks.

Vous obtiendrez aussi un lien vers ce fichier ici.

Terminez l’inscription à la version d’essai.

Vous avez maintenant accès à Labelbox avec un essai gratuit.

Revenons à Databricks et regardons le notebook de démonstration.

Si je me rends dans mon workspace et que je clique sur « Partagé », je trouve le dossier Labelbox Demo. Ce dossier contient un seul notebook.

Ce notebook est un tutoriel : il va vous guider dans un workflow classique consistant à identifier les données non structurées dans votre data lake et à transmettre les URL à Labelbox pour annotation. Vous pourrez annoter votre dataset et récupérer les libellés dans Databricks pour l’IA et l’analyse.

Avant toute chose, nous devons nous connecter à notre cluster. Le cluster Labelbox vient justement d'être créé. Je vais exécuter la première ligne pour installer le SDK Labelbox et le connecteur Labelbox pour Databricks.

La cellule suivante a besoin d'une clé API.

Revenez à votre version d’évaluation labelbox, cliquez sur « Compte » puis « API », et créez une clé API de démonstration.

Copiez cette clé et revenez dans Databricks pour la coller dans la cellule. Normalement, nous recommandons d'utiliser l'API Secrets de Databricks, mais pour cette démonstration, nous allons simplement copier la clé.

Dans le cadre de ce notebook de démonstration, nous allons alimenter votre compte Databricks avec une table d'images d'exemple, mais vous pouvez facilement utiliser les assets de votre stockage cloud AWS S3, Azure Blob ou Google Cloud Storage.

Après avoir exécuté ces cellules, j'obtiens un tableau contenant les noms de fichiers et les URL des assets d'image.

Nous envoyons ensuite cette table à Labelbox pour y créer le dataset.

Voilà le dataset de toutes nos images de démo.

Avant de pouvoir étiqueter le dataset, nous devons créer un projet avec une ontologie. L'ontologie décrit le type d'objets et les classifications que vous souhaitez utiliser pour vos annotations.

Une fois que le projet est prêt, nous pouvons commencer à étiqueter quelques éléments.

Maintenant que nous avons des données annotées, nous revenons dans Databricks pour exécuter la commande finale qui va importer nos annotations dans Databricks.

Nous revenons ensuite à notre notebook pour exécuter la commande finale qui va importer ces annotations dans Databricks en vue d'une utilisation en aval.

The Label column includes a JSON of all the objects and classifications we placed on that asset.

Vous pouvez stocker ces annotations dans Delta Lake, puis entraîner vos modèles d’IA.

Ce notebook présente les bases du connecteur Labelbox pour Databricks. Veuillez consulter notre documentation pour plus d'informations sur les fonctionnalités avancées comme l'étiquetage assisté par modèle. Vous apprendrez également comment utiliser le catalogue pour localiser et hiérarchiser les assets pour l'étiquetage, et comment vous appuyer sur Model Diagnostics pour identifier les faiblesses de votre modèle.

– À partir de là, ouvrez la page de connexion du partenaire et choisissez Prophecy pour vous connecter.

– Lors de la création d'un compte Prophecy, Databricks établit automatiquement une connexion sécurisée pour exécuter vos pipelines directement sur votre workspace.

Comme vos identifiants de messagerie sont transmis, il vous suffit de choisir un nouveau mot de passe pour vous inscrire à Prophecy.

Maintenant que vous êtes connecté à Prophecy, vous pouvez facilement développer et exécuter vos pipelines de données Spark.

Choisissez l'un des exemples de pipelines pour « Démarrer » et ouvrez le workflow.

Un canevas visuel sur lequel nous pouvons commencer à créer notre pipeline s'affiche.

Commençons par créer un nouveau cluster Databricks.

Maintenant que notre cluster est lancé, un simple clic nous permet d'accéder à l'interface Databricks et d'afficher notre cluster sur votre workspace.

Revenons à l'interface utilisateur de Prophecy et explorons notre pipeline. Nous pouvons lire ici les deux sources de données de nos « Clients » et « Commandes », en les associant...

... et en les agrégeant par addition de la colonne des montants.

Ensuite, trions les données pour les écrire directement dans une table Delta

Avec Prophecy, on peut exécuter directement notre workflow en un seul clic pour visualiser les données après chaque étape

Il est possible d'afficher ses données « Client », « Commandes », données jointes....

...le champ agrégé avec les montants synthétisés...

... puis, nos données triées écrites dans notre table Delta cible

Maintenant, modifions notre pipeline en nettoyant certains champs

Pour ce faire, il suffit de faire glisser et déposer un nouveau « Gem » appelée « Reformat »...

… les connecte à notre pipeline existant...

... et choisissons les colonnes. Nous pouvons ajouter une nouvelle colonne appelée « nom complet », concaténer prénom et nom de famille, et ajouter une colonne « montant » nettoyée qui aura la valeur arrondie.

Renommons également ce gem « Nettoyage ».

C'est ainsi que l'on peut exploiter directement notre workflow et les données directement après la colonne Nettoyage.

Comme vous pouvez le constater, nous avons très facilement ajouté une étape de nettoyage à notre pipeline.

Mais Prophecy n'est pas seulement un éditeur visuel. En filigrane, tout est enregistré en code Spark de haute qualité que vous pouvez modifier.

De plus, Prophecy vous permet de suivre les bonnes pratiques de software engineering en stockant directement le code sur votre Git.

Ici, il est possible d'afficher le workflow avec les derniers changements directement en code Scala sur Git.