Conçu pour un stockage de données ouvert et intelligent

Le stockage Databricks Lakehouse vous permet de choisir votre emplacement de stockage et le format de table ouverte, Delta Lake ou Apache Iceberg™, tout en gardant une seule copie des données source accessible par n'importe quel moteur. Il combine cela à une gouvernance unifiée via un catalogue unique pour la découverte de données et la gestion des actifs IA, ainsi que des modèles basés sur l'IA qui optimisent de manière autonome les données pour la rapidité et le moindre coût. Le résultat est une propriété et une portabilité totales de vos données sans dépendre d'un fournisseur.

Il est conçu pour les équipes de données et d'IA qui ont besoin d'une couche de stockage pour prendre en charge les pipelines ETL, les analyses et BI, et le partage de données. Les tables gérées agissent à la fois comme des tables de batch et une source et un puits de streaming, afin que l'ingestion en streaming, le remplissage par batch et les requêtes interactives s'intègrent directement à Spark Structured Streaming. Les équipes qui ont également besoin de partager des données en direct avec d'autres plateformes, clouds ou régions sans les copier peuvent le faire directement depuis les tables Delta Lake ou Apache Iceberg.

Delta Lake et Apache Iceberg vous permettent d'exploiter une architecture de lakehouse multicloud qui offre les performances d'un entrepôt de données au coût d'un data lake, avec un rapport prix/performances jusqu'à 6 fois supérieur pour les charges de travail SQL par rapport aux entrepôts de données cloud traditionnels. Cela vous permet d'exécuter des charges d'analyse et de BI directement sur votre lac de données plutôt que de déplacer les données vers un entrepôt séparé. Voir Databricks SQL pour en savoir plus sur l'exécution de ces charges de travail.

Les tables gérées vous offrent les meilleures performances de lecture et d'écriture de leur catégorie pour les tables Delta Lake et Apache Iceberg™ prêtes à l'emploi, avec des optimisations de stockage indisponibles dans tout autre lakehouse. Les tables étrangères en revanche, vous permettent d'accéder à des tables gérées par des catalogues externes, tels que Glue, HMS ou Snowflake Horizon, tout en appliquant les contrôles d'accès précis de Unity Catalog. Les deux approches permettent de garder vos données portables et d'éviter de dépendre d'un fournisseur.

Vous pouvez essayer gratuitement Lakehouse Storage en vous inscrivant directement depuis la page du produit. Si vous préférez le voir en action, vous pouvez regarder une démonstration couvrant Delta Lake 3.0, UniForm et Liquid Clustering. Des didacticiels supplémentaires, y compris un pipeline CDC avec Delta, sont disponibles dans la bibliothèque de démonstrations de Delta Lake.

L'optimisation prédictive utilise des modèles basés sur l'IA pour ajuster automatiquement les tables en fonction de vos données et de vos usages, afin que les tables restent optimisées sans maintenance manuelle. Le clustering liquide est une disposition de données prête à l'emploi et auto-ajustable qui évolue avec vos données et ne nécessite aucune partition. Les clients ont signalé des résultats concrets grâce à ces fonctionnalités : Anker Innovations a économisé 50 % sur ses coûts annuels de stockage tout en accélérant ses requêtes de plus de 2 fois, et Shell a amélioré les performances des requêtes de séries chronologiques jusqu'à 10 fois en utilisant Liquid Clustering.