Redirigez votre projet dbt vers Databricks sans réécrire les modèles, les tests ou la logique métier.
• Découvrez comment rediriger votre projet dbt existant depuis n'importe quel entrepôt de données source vers Databricks avec un minimum de modifications de code
• Parcourez les étapes pratiques : configuration de l'adaptateur, mappage des espaces de noms, différences de dialectes SQL, workflow de développement et planification de la production avec Lakeflow Jobs
• Comprenez comment valider les sorties modèle par modèle et effectuer la transition en toute sécurité
De plus en plus d'équipes exécutent leurs transformations dbt sur Databricks Lakehouse : une plateforme ouverte sans verrouillage technologique, des pipelines unifiés, une gouvernance Unity Catalog intégrée et un excellent rapport performance/prix.
Votre projet dbt fonctionne : les modèles compilent, les tests réussissent et votre logique de transformation réside dans des fichiers SQL et YAML sous contrôle de version, plutôt que d'être codée en dur dans un entrepôt de données spécifique. Le framework d'adaptateur ouvert de dbt est conçu précisément pour ce découplage. Ainsi, migrer d'un cloud data warehouse à un autre consiste principalement à changer l'adaptateur et la configuration de connexion, ainsi qu'à effectuer quelques ajustements de dialecte, sans avoir à réécrire votre DAG ou votre logique métier.
Databricks y parvient grâce à l'adaptateur dbt-databricks co-développé, au stockage lakehouse ouvert (Delta Lake et Apache Iceberg™), à Unity Catalog et à Lakeflow Jobs, qui vous offrent une plateforme ouverte et unifiée où dbt s'exécute avec une gouvernance intégrée et un excellent rapport performance/prix dès le premier jour, ce qui en fait un environnement idéal pour exécuter vos workloads dbt. C'est pourquoi plus de 3 000 organisations exécutent déjà dbt sur Databricks.
Si vous envisagez une migration, la bonne nouvelle est que vous n'avez pas besoin de reconstruire votre projet. Cet article explique comment rediriger un projet dbt fonctionnel vers Databricks en remplaçant l'adaptateur et le profil, en gérant quelques différences SQL et en conservant votre logique de transformation au sein de dbt.
L'un des défis récurrents des projets de migration de data warehouse est de vouloir tout déplacer en même temps, ce qui peut entraîner des retards et des goulots d'étranglement. Une meilleure approche consiste à commencer par la couche de transformation, ce qui permet de réaliser rapidement des économies lors d'une migration.
Les projets dbt sont déjà modulaires et testables. Cela en fait des candidats idéaux pour une migration progressive. Lorsque vous redirigez dbt vers Databricks, vous bénéficiez de :

Portée : Ce guide traite uniquement de la redirection de votre couche de transformation dbt. Il part du principe que vos données sources sont déjà dans Databricks (stockées sous forme de tables Delta ou Iceberg et enregistrées dans Unity Catalog) et que vos catalogues et schémas existent. La migration des données elles-mêmes et la configuration de Unity Catalog sont des étapes distinctes ; reportez-vous aux guides de migration Databricks et à Lakebridge pour cela.
Avant de commencer, assurez-vous de disposer de :
Le modèle que nous allons migrer dans cet exemple est une table de faits analytique standard construite sur deux modèles sources : orders et order_items. Il agrège les données au niveau de la commande pour calculer le revenu total et compile une liste de produits vendus pour chaque transaction individuelle de l'année écoulée.
Ce modèle utilise plusieurs modèles de dialecte SQL courants, tels que regexp_substr, div0 et object_construct, qui diffèrent souvent d'un data warehouse à l'autre, ce qui en fait un excellent exemple. Une fois que vous aurez vu comment gérer ces modèles ici, vous pourrez appliquer la même approche à tous les autres modèles de votre projet.
Cette partie couvre le travail de migration ponctuel qui consiste à installer l'adaptateur, à mapper les espaces de noms et à gérer les différences de dialecte.
Installer l'adaptateur dbt-databricks
L'adaptateur dbt-databricks est le pont entre votre projet dbt et l'entrepôt Databricks Lakehouse. Il traduit le SQL compilé de dbt en requêtes compatibles avec Databricks.
(Utilisateurs de dbt Platform : sélectionnez « Databricks » comme type de connexion dans un nouvel environnement, comme détaillé dans la documentation dbt - l'adaptateur est installé automatiquement.)
Ajoutez une cible Databricks à `profiles.yml`. Conservez votre cible existante intacte ; vous en aurez besoin lors de la validation. Ajoutez une deuxième cible à côté de celle-ci :
Vérifiez la connexion :
Vous devriez voir : Connection test: [OK connection ok].
Si vous ne parvenez toujours pas à vous connecter, suivez les étapes de dépannage de la connexion dans le guide d'intégration Databricks + dbt et la référence du profil dbt Databricks.
Conseil de pro : http_path détermine si les requêtes s'exécutent sur un SQL warehouse (recommandé pour dbt) ou sur un cluster polyvalent. Les SQL warehouses offrent un meilleur rapport qualité/prix pour les charges de travail lourdes en SQL.
Databricks utilise un espace de noms à trois niveaux : catalog.schema.table. Mettez à jour les entrées sources.yml lues par fct_orders :
Mettez à jour schema.yml pour inclure des tests
Conseil de pro : Si vous ignorez database:, les requêtes aboutissent dans le catalogue par défaut de l'espace de travail. Définissez-le explicitement.
Exécutez maintenant dbt compile pour le modèle :
Notre modèle fct_orders a généré 3 erreurs de compilation détaillées ci-dessous, toutes liées au dialecte. C'est tout à fait normal, et bien que ces trois erreurs soient représentatives des problèmes de dialecte rencontrés par la plupart des projets, elles ne résument pas tout : les migrations de plus grande envergure se heurtent également aux stratégies de modèles incrémentiels, aux snapshots et aux fonctions semi-structurées sans équivalent direct.
Nous utilisons intentionnellement un exemple de modèle qui repose sur des schémas spécifiques à un dialecte comme REGEXP_SUBSTR avec des paramètres de position, DIV0 pour la division sécurisée, et OBJECT_CONSTRUCT pour la construction de JSON - le type de fonctions qui diffèrent d'un entrepôt à l'autre. De cette façon, les erreurs initiales de dbt run servent de guide tout au long du processus de conversion, en vous montrant comment les transformer en macros portables et en SQL compatible avec Databricks afin que vous puissiez appliquer les mêmes corrections au reste de votre projet. Pour illustrer cela, nous allons vous guider à travers chaque erreur, sa cause racine et sa correction. Avant de détailler les erreurs, un mot sur la portabilité : lorsqu'une fonction a un équivalent portable, les macros multi-bases de données de dbt (l'espace de noms dbt.*) vous permettent de l'écrire une seule fois pour qu'elle se compile sur n'importe quel entrepôt — une pratique qui vaut la peine d'être adoptée à mesure que vous standardisez vos processus. Nous allons passer en revue chaque erreur et sa correction, puis nous vous montrerons comment automatiser la conversion sur un projet de grande envergure.
Databricks suit le dialecte Apache SQL et ne prend en charge que 2 paramètres pour REGEXP_SUBSTR
Correction : utilisez la fonction native regexp_extract() de Databricks
Vous pourriez également laisser Genie Code effectuer cette conversion pour vous, car combler les écarts de dialecte de ce type est précisément sa spécialité. Nous allons effectuer les trois manuellement afin que vous puissiez voir ce qui change.
Cause racine : certains entrepôts utilisent DIV0 pour renvoyer 0 au lieu de lever une erreur lors d'une division par zéro.
Correction : ajoutez dbt_utils à vos packages et utilisez sa fonction intégrée safe_divide
Impossible de résoudre la routine `object_construct`
Correction : Utilisez la fonction named_struct de Databricks
Relancez la compilation :
Compilation réussie. Total des modifications de dialecte pour ce modèle : dbt_utils package installed (pour la division sécurisée), regexp_substr call converted to regexp_extract, div0 appel remplacé par dbt_utils.safe_divide(), object_construct call converted par named_struct.
Corriger trois fonctions à la main est facile. Un vrai projet dbt compte des centaines ou des milliers de modèles, et ces écarts de dialecte sont précisément ce que les outils d'IA corrigent automatiquement. Genie Code convertit le SQL spécifique au dialecte et gère ces corrections directement dans l'éditeur, vous permettant ainsi de consacrer votre temps à réviser les conversions plutôt qu'à les écrire une par une.
Une fois la compilation réussie (au vert), exécutez le modèle et tous les tests existants :
La construction du modèle et les tests réussissent tous deux. Conseil de pro :
equality ou accepted_values échouent, il s'agit presque toujours d'une question de précision de virgule flottante, et non d'un bug logique.Un dbt run vert prouve que le SQL s'exécute. Maintenant, nous devons rapprocher les résultats entre l'ancien entrepôt et Databricks. Utilisez dbt-audit-helper pour comparer ligne par ligne.
Installation :
Comparez fct_orders sur les deux entrepôts. Dans analyses/compare_fct_orders.sql :
Exécutez-le sur Databricks (en supposant que vous avez répliqué les résultats de l'ancien système dans Databricks pour la comparaison, ou que vous effectuez une comparaison entre entrepôts) :
Résultat attendu :
Remarque : Ces exemples couvrent les cas les plus courants, mais ne sont pas exhaustifs. Pour tout écart supplémentaire (par exemple, la suppression des espaces dans les chaînes, le classement ou le comportement des UDF personnalisées), définissez summarize=false pour matérialiser des exemples de lignes, inspectez quelques clés primaires pour lesquelles in_a et in_b diffèrent, corrigez le modèle ou la macro, et réexécutez jusqu'à obtenir une correspondance à 100 %.
Lors de notre exécution : fct_orders correspondait exactement.
Au lieu de maintenir une couche d'orchestration distincte pour dbt, vous pouvez exécuter dbt aux côtés de l'ingestion en amont et des actions en aval dans un pipeline unique avec Lakeflow Jobs. dbt est un type de tâche de premier plan au sein de Jobs, et vous n'avez pas besoin d'un orchestrateur externe ou d'une image Docker personnalisée.
Créer le job :
Ce que Jobs vous offre d'emblée :

Une fois que vous avez validé votre projet dbt et que vous l'avez déployé sur Databricks, l'étape suivante consiste à transférer le trafic de production vers Databricks de manière contrôlée, à conserver une possibilité de retour arrière rapide et à éviter de payer pour deux entrepôts plus longtemps que nécessaire.
Conservez cette liste de contrôle :
profiles.yml pour que prod pointe vers Databricks — toutes les nouvelles exécutions de production écrivent désormais dans Databricks.system.billing.usage pour confirmer le profil de dépenses Databricks.La majeure partie du travail que vous venez d'effectuer est unique : l'installation de l'adaptateur, la cible profiles.yml et le changement d'espace de noms source. Une fois ces éléments en place, rediriger le modèle suivant ne coûte que les corrections de dialecte incrémentielles.
Certains modèles nécessitent plus qu'un simple changement de dialecte, et vous y serez confronté à mesure que vous monterez en charge :
Pour les tâches les plus complexes, appuyez-vous sur les guides de migration complets.
À partir de là, migrez par petits lots et travaillez dans l'ordre du DAG — d'abord les sources, puis le staging, l'intermédiaire et les marts, afin que chaque lot soit validé proprement par rapport aux modèles que vous avez déjà déplacés. Exécutez les deux cibles en parallèle et utilisez audit-helper pour comparer chaque modèle jusqu'à ce qu'ils correspondent tous. Lorsque le dernier modèle est vert, basculez l'ensemble du projet. Ce guide est une présentation simplifiée de la redirection, l'étendue complète d'une migration étant couverte dans nos guides de migration publics.
Rediriger dbt vers Databricks est un moyen pratique et à faible risque de démarrer une migration d'entrepôt de données. Vos modèles et vos tests restent les mêmes — vous changez simplement l'endroit où ils s'exécutent, et vous bénéficiez de formats et de standards open source tels que Delta Lake et Apache Iceberg™, avec Unity Catalog qui assure la gouvernance et le lignage au-dessus d'une plateforme qui peut également alimenter vos travaux d'IA en aval. Commencez par un seul modèle, comparez les résultats, puis étendez la démarche jusqu'à ce que vous soyez à l'aise pour faire de Databricks le foyer principal de votre projet dbt.
Prêt à essayer ?
Pour en savoir plus sur dbt avec Databricks, explorez l'adaptateur dbt-databricks sur GitHub.
(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original
Entreposage des données, Unity Catalog, ETL/ELT, Open Table Formats, Data Ingestion et Orchestration
Abonnez-vous à notre blog et recevez les derniers articles directement dans votre boîte mail.