AI and Machine Learning
Accelerate your AI projects with a data-centric approach to machine learning
Plongez dans l'IA et le machine learning sur Databricks
Basés sur une architecture ouverte de lakehouse, les outils d'IA et de machine learning de Databricks permettent aux équipes ML de préparer et de traiter les données, de rationaliser la collaboration à travers l'entreprise et de standardiser l'ensemble du cycle de vie du ML, de l'expérimentation à la production, y compris pour l'IA générative et les grands modèles de langage.
.webp)
Simplifier tous les aspects des données pour l'IA et le ML
Puisque Databricks ML repose sur une base ouverte de lakehouse grâce à Delta Lake, vos équipes ML ont accès à tous les types de données et peuvent les explorer et les préparer, quelle que soit l'échelle. Transformez des fonctionnalités en pipelines de production disponibles en libre-service sans dépendre de l'ingénierie des données.
Automatiser le suivi et la gouvernance des expériences
Managed MLflow suit automatiquement les paramètres de vos tests et journaux, les métriques, le contrôle de versions des données et du code, ainsi que les artefacts de modèle à chaque exécution d'entraînement. Vous pouvez rapidement voir les exécutions précédentes, comparer les résultats et reproduire un résultat précédemment obtenu selon vos besoins. Une fois que vous avez identifié la meilleure version d'un modèle pour la production, enregistrez-la dans le registre des modèles pour simplifier les transferts tout au long du cycle de déploiement.
Gérez l'intégralité du cycle de vie des modèles, des données à la production – et inversement.
Une fois que les modèles entraînés sont enregistrés, vous pouvez les gérer de manière collaborative tout au long de leur cycle de vie à l'aide du registre des modèles. Les modèles peuvent être versionnés et passer par différentes étapes, comme l'expérimentation, la pré-production, la production et l'archivage. La gestion du cycle de vie s'intègre aux workflows d'approbation et de gouvernance selon des contrôles d'accès basés sur les rôles. Les commentaires et les notifications par e-mail offrent un environnement de collaboration riche aux équipes chargées des données.
Déployer des modèles de ML à faible latence et à grande échelle
Déployez des modèles en un seul clic sans vous inquiéter de la gestion des serveurs ou des contraintes d'échelle. Avec Databricks, vous pouvez déployer vos modèles en tant que points de terminaison d’API REST n’importe où. Et toujours avec une disponibilité de niveau entreprise.
Utilisez les IA génératives et les grands modèles de données
Intégrez à vos workflows des modèles pré-entraînés, comme ceux de la bibliothèque Transformers de Hugging Face ou d'autres bibliothèques open source. Les pipelines de transformation facilitent l'utilisation des GPU et le regroupement des éléments à traiter pour optimiser le débit.
Utilisez vos données pour personnaliser un modèle et l'adapter à votre tâche. Grâce aux outils open source comme Hugging Face et DeepSpeed, vous pouvez rapidement exploiter un LLM et l'entraîner avec vos propres données pour améliorer la précision des résultats dans vos applications. Cette approche vous donne également un contrôle accru sur les données d'entraînement, ce qui est un atout pour l'utilisation responsable de l'IA.
Les composants du produit
Notebooks collaboratifs
Les notebooks Databricks prennent nativement en charge Python, R, SQL et Scala. Les utilisateurs peuvent ainsi travailler avec les langages et bibliothèques de leur choix pour extraire, visualiser et partager des informations.
Runtime de machine learning
Accès en un clic à des clusters ML préconfigurés, optimisés et basés sur une distribution évolutive et fiable des frameworks ML les plus populaires (tels que PyTorch, TensorFlow et scikit-learn), avec des optimisations intégrées pour des performances inégalées dans toute l'entreprise.
Magasin de fonctionnalités
Facilitez la réutilisation des fonctionnalités grâce à une recherche de fonctionnalités basée sur le lignage de données exploitant les sources de données enregistrées automatiquement. Rendez vos fonctionnalités disponibles pour l'apprentissage grâce à un déploiement de modèle simplifié ne nécessitant pas de modification de l'application client.
AutoML
Offrez à chacun, des experts du ML aux data scientists, une approche « Glass box » de l'AutoML fournissant non seulement le modèle le plus performant mais générant aussi un code qui sera par la suite affiné par des experts.
Mlflow administré
Conçu à partir de MLflow - la première plateforme open source au monde pour le cycle de vie du ML - Managed MLflow aide les modèles ML à passer rapidement de la phase de test à la production, avec un haut niveau de sécurité, de fiabilité et d'évolutivité à l'échelle de l'entreprise.
Mise à disposition de modèles de niveau production
Diffusez des modèles à n'importe quelle échelle et en un clic grâce à l'option de calcul serverless.
Supervision des modèles
Surveillez les performances des modèles et leur incidence sur les indicateurs de l’entreprise en temps réel. Databricks offre une visibilité et une traçabilité de bout en bout, des modèles en production aux systèmes de données source. La plateforme permet d'analyser le modèle et la qualité des données tout au long du cycle de vie du machine learning, et donc d'identifier les problèmes avant qu'ils n'aient un impact.
Référentiels
Repos permet aux ingénieurs de suivre les workflows Git dans Databricks. Ainsi, les équipes data peuvent exploiter les workflows de CI / CD automatisés et la portabilité du code.
Grands modèles de langage
Databricks facilite l'accès aux LLM et leur intégration à vos workflows. Ses capacités de plateforme permettent d'affiner les LLM à partir de vos propres données, pour de meilleures performances de domaine.
