Projetado para armazenamento de dados aberto e inteligente

O armazenamento no Databricks lakehouse permite que você escolha o local de armazenamento e o formato de tabela aberta — Delta Lake ou Apache Iceberg™ — enquanto mantém uma única cópia dos dados de origem acessível por qualquer mecanismo. Combina isso com governança unificada por meio de um único catálogo para data discovery e gerenciamento de ativos de IA, além de modelos orientados por IA que otimizam os dados de forma autônoma para velocidade e baixo custo. O resultado é a propriedade e a portabilidade totais de seus dados sem bloqueio de fornecedores.

Ele foi desenvolvido para equipes de dados e IA que precisam de uma camada de armazenamento para dar suporte a pipelines de ETL, análises e BI e compartilhamento de dados. As tabelas gerenciadas funcionam como tabelas batch e como fonte e sink de streaming. Assim, a ingestão de streaming, o preenchimento em batch e as queries interativas se integram diretamente ao Spark Structured Streaming. As equipes que também precisam compartilhar dados em tempo real com outras plataformas, nuvens ou regiões sem copiá-los podem fazer isso diretamente das tabelas Delta Lake ou Apache Iceberg.

O Delta Lake e o Apache Iceberg™ permitem que você opere uma arquitetura de lakehouse multi-cloud que oferece desempenho de data warehousing com custos do data lake, oferecendo uma relação preço/desempenho até 6 vezes melhor para cargas de trabalho SQL do que os data warehouses tradicionais em nuvem. Isso permite que você execute cargas de trabalho de análise e BI diretamente no seu data lake, em vez de mover os dados para um warehouse separado. Consulte o Databricks SQL para obter mais informações sobre a execução desses workloads.

As tabelas gerenciadas oferecem, prontas para uso, o melhor desempenho de leitura e gravação para tabelas Delta Lake e Apache Iceberg™, com otimizações de armazenamento não disponíveis em nenhum outro lakehouse. Em vez disso, as tabelas estrangeiras permitem que você acesse tabelas gerenciadas por catálogos externos, como Glue, HMS ou Snowflake Horizon, enquanto ainda aplicam os controles de acesso refinados do Unity Catalog. Ambas as abordagens mantêm os dados portáteis e permitem que você evite a dependência do fornecedor.

Você pode experimentar o armazenamento lakehouse gratuitamente inscrevendo-se diretamente na página do produto. Se preferir vê-lo em ação primeiro, assista a uma demonstração sobre Delta Lake 3.0, UniForm e Liquid Clustering. Tutoriais adicionais, incluindo um pipeline de CDC com Delta, estão disponíveis na biblioteca de demonstrações do Delta Lake.

A otimização preditiva usa modelos orientados por IA para ajustar tabelas com base em seus dados e padrões de uso automaticamente, para que as tabelas permaneçam otimizadas sem necessidade de manutenção manual. O Liquid Clustering é um layout de dados pronto para uso e autoajustável que escala com seus dados e não requer partições. Os clientes relataram resultados concretos com esses recursos: a Anker Innovations economizou 50% nos custos anuais de armazenamento enquanto acelerava as queries em mais de 2x, e a Shell melhorou o desempenho das queries de séries temporais em até 10x usando o Liquid Clustering.