Databricks ❤️ IDEs

Joyeuse Saint-Valentin ! Databricks ❤️ Visual Studio Code.

En ce jour si particulier, nous sommes ravis d'annoncer une nouvelle expérience de développement puissante pour la plateforme Databricks Lakehouse : l'extension VS Code pour Databricks.

Cette nouvelle extension permet aux développeurs d'écrire du code localement, en tirant parti des puissantes fonctionnalités de création de l'IDE, tout en se connectant aux clusters Databricks pour exécuter le code à distance. Les IDE permettent aux développeurs d'appliquer les meilleures pratiques qui deviennent indispensables avec les bases de code volumineuses, telles que le contrôle du code source, les structures de code modulaires, la prise en charge du refactoring et les tests unitaires intégrés.

Il s'agit de la première d'une longue série de versions prévues pour les équipes qui s'appuient sur des IDE pour leur processus de développement. Databricks investit massivement dans son écosystème de développeurs et va déployer la prise en charge d'autres IDE et d'outils supplémentaires.

Découvrez une démonstration rapide ici, ou lisez la suite ci-dessous :

Développez de manière native dans VS Code

Créez toutes vos applications de données et d'IA sans quitter votre IDE. Vous pouvez rédiger le code de vos pipelines et de vos tâches dans VS Code, puis le déployer, le tester et l'exécuter en temps réel sur votre cluster Databricks. Appliquez les meilleures pratiques de développement logiciel et utilisez les fonctionnalités natives de VS Code pour l'édition, le refactoring, les tests et le CI/CD pour vos projets de données et d'IA.

« Mon équipe souhaite exécuter ses workloads de données sur le Databricks Lakehouse tout en développant ses applications de données depuis son IDE. Désormais, ils peuvent écrire du code, le modifier et le tester dans leur IDE, et exécuter leur code sur Databricks. »– André Garrido, responsable du développement logiciel pour le traitement des données chez Kantar

Toute la puissance du Databricks Lakehouse dans votre IDE

Maintenant que vous pouvez travailler sur Databricks dans VS Code, vous pouvez effectuer l'ensemble de vos tâches au même endroit. Vos objets Databricks peuvent être gérés nativement dans VS Code grâce à la nouvelle extension, ce qui vous permet de rester dans votre IDE et d'éviter de passer d'une application à l'autre. Tous les composants Databricks, tels que les clusters, les pipelines et les tâches, sont intégrés à votre espace de travail VS Code et à votre workflow habituel. Vous pouvez utiliser l'échelle du Lakehouse pour traiter et analyser de grands ensembles de données, utiliser des clusters pour les requêtes et les visualisations, entraîner des modèles de machine learning et déployer des tâches en production afin que tous les membres de votre organisation puissent voir et utiliser les données pour prendre des décisions, le tout au sein de VS Code.

Conçu spécifiquement pour tirer parti de toutes les capacités de l'IDE

Retrouvez tout le confort de VS Code auquel vous êtes habitué tout en créant des applications sur Databricks. Naviguez vers les définitions de fonctions, effectuez des refactorisations, utilisez la recherche et le remplacement avancés, et profitez des fenêtres fractionnées pour gagner en efficacité. Bénéficiez de la saisie semi-automatique du code pour les fonctions et les variables, y compris les objets spécifiques à Databricks, afin d'accélérer la découverte et le développement.

Avec VS Code et Databricks, vous pouvez désormais utiliser les meilleures pratiques de développement logiciel que vous avez déjà mises en place pour votre processus de développement. Créez et modularisez différentes parties de votre programme dans des fonctions et des fichiers distincts. Les fichiers étant locaux, vous pouvez utiliser les outils Git de VS Code et l'interface CLI de git. Modularisez votre code en fichiers et en bibliothèques pour encourager la réutilisation du code et améliorer sa clarté. Utilisez votre framework de test préféré pour garantir la qualité du logiciel. Intégrez-le aux meilleurs outils de CI/CD pour mettre votre code en production plus rapidement.

« Je trouve que l'extension Databricks permet aux développeurs comme moi, qui préfèrent un IDE, d'exploiter facilement la puissance de VS Code avec des fonctions natives et extensibles, tout en me permettant d'exécuter facilement Databricks localement. Très utile ! »- Sam Walker, Data Engineer chez Watco

Une expérience d'IDE entièrement prise en charge

La nouvelle extension VS Code est directement disponible sur le marketplace Visual Studio afin de simplifier l'installation et de garantir que vous obtenez une version officiellement prise en charge et approuvée par Databricks. Nous mettrons régulièrement à jour l'extension pour vous apporter des améliorations d'expérience et de qualité en toute sérénité. Vous avez également l'assurance que votre investissement est pérenne grâce à la prise en charge des nouvelles fonctionnalités de la plateforme Databricks Lakehouse au fur et à mesure de leur déploiement.

« Nous considérons cela comme une avancée majeure qui va stimuler davantage notre processus de développement, une étape importante qui mérite certainement d'être célébrée et partagée ! »- Iago Brandão et Monica Borges, MLOps chez ViaHub

Démarrez avec l'extension VS Code dès aujourd'hui

L'extension VS Code est disponible dès aujourd'hui en téléchargement sur le marketplace Visual Studio.

N'hésitez pas à consulter notre documentation pour AWS, Azure et GCP pour savoir comment démarrer avec l'extension, et essayez-la.

Nous serions ravis de recevoir vos commentaires sur la communauté Databricks concernant cette extension ou tout autre aspect de l'expérience de développement.

Restez à l'écoute pour d'autres mises à jour et améliorations de l'extension VS Code et de la prise en charge d'autres IDE !

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original