Ir para o conteúdo principal
Platform blog

Databricks SQL Ano em análise (Parte I): Desempenho otimizado por IA e serverless compute

Reinventando data warehousing usando IA
Compartilhe este post

Esta é a primeira parte de uma série de blogs em que analisamos as principais áreas de progresso do Databricks SQL em 2023 e, em nossa primeira postagem, estamos nos concentrando no desempenho. O desempenho para um data warehouse é importante porque permite uma experiência de usuário mais ágil e um melhor preço/desempenho, especialmente no mundo SaaS moderno, onde o tempo de computação gera custos. Temos trabalhado arduamente para oferecer avanços de desempenho para o Databricks SQL por meio do uso de IA, reduzindo a necessidade de ajuste manual.

Desempenho otimizado por IA

Os data warehouse modernos têm configurações específicas que precisam ser ajustadas manualmente por um administrador experiente de forma contínua à medida que novos dados, mais usuários ou novos casos de uso chegam. Esses "botões" variam de como os dados são armazenados fisicamente a como a computação é utilizada e dimensionada. No último ano, aplicamos a IA para remover esses “botões” administrativos e de desempenho, em alinhamento com a visão da Databricks para uma Data Intelligence Platform:

  1. serverless compute é a base para o Databricks SQL, fornecendo o melhor desempenho com a computação instantânea e elástica que reduz os custos e permite que você se concentre em fornecer o máximo de valor aos seus negócios, em vez de gerenciar a infraestrutura.
  2. O Predictive I/O elimina o ajuste de desempenho, como a indexação, por meio da pré-busca inteligente do uso de dados da rede neural. Ele também consegue gravações mais rápidas usando técnicas de merge-on-read sem degradação de desempenho. Os primeiros clientes tiveram uma notável melhoria de 35 vezes na eficiência da pesquisa lookup, com aumentos impressionantes de desempenho de 2 a 6 vezes para operações merge e de 2 a 10 vezes para operações delete.
  3. A disposição automática de dados otimiza de forma inteligente o tamanho dos arquivos para oferecer o melhor desempenho automaticamente com base nos padrões de consulta. Ele auto-gerencia custos e desempenho.
  4. O armazenamento de resultados em cache aprimora o armazenamento em cache de resultados de consultas usando um sistema de duas camadas com um cache local e um cache remoto persistente em todos os warehouses serverless em um workspace. Esses mecanismos de cache são gerenciados automaticamente com base nos requisitos da consulta e no recurso disponível.
  5. Otimização preditiva(visualização pública, blogs) Databricks irá otimizar perfeitamente o tamanho dos arquivos executando os comandos OPTIMIZE, VACUUM, ANALYZE e CLUSTERING para você. Com esse recurso, a Anker Innovations se beneficiou de um aumento de 2.2x no desempenho da consulta e, ao mesmo tempo, proporcionou uma economia de 50% nos custos de armazenamento.
  6. Liquid clustering(visualização pública, blogs): ajusta de forma automática e inteligente a disposição dos dados à medida que novos dados chegam com base na chave clustering. Isso evita problemas de excesso ou falta de particionamento que podem ocorrer e resulta em um clustering até 2.5x mais rápido em relação ao Z-order.

Essas inovações nos permitiram fazer avanços significativos no desempenho sem aumentar a complexidade para o usuário ou os custos.

Continuação do desempenho líder da categoria e da eficiência de custos para cargas de trabalho de ETL

O Databricks SQL é, há muito tempo, o líder em termos de desempenho e eficiência de custo para workloads de ETL. Nosso investimento em recursos baseados em IA, como o Predictive IO, ajuda a manter essa posição de liderança e a aumentar as vantagens de custo à medida que os volumes de dados continuam a crescer. Isso fica evidente em nosso processamento de workloads de ETL, em que o Databricks SQL tem uma vantagem de custo de até 9 vezes em relação à concorrência das indústrias líderes (consulte o benchmark abaixo).

Custo total para concluir o benchmark de ETL

Fornecendo Desempenho de Baixa Latência com Concorrência para BI

Databricks SQL agora iguala as indústrias líderes em desempenho de consultas de baixa latência para números menores de usuários concorrentes (< 100) e tem desempenho 9 vezes melhor à medida que o número de usuários concorrentes (simultâneos) aumentam para mais de mil (veja o benchmark abaixo). Serverless compute também começará em poucos segundos, exatamente quando necessário, gerando uma economia substancial de custos que evita clusters em execução o tempo todo ou a realização de desligamentos manuais. Quando a demanda de workloads diminui, o SQL serverless reduz automaticamente a escala do clusters ou desliga a computação para manter os custos baixos.

Latência média para consultas de cargas de trabalho de BI

O caminho a seguir com IA otimizada para data warehousing

O Databricks SQL tem governança unificada, um ecossistema rico de suas ferramentas favoritas e formatos e APIs abertos para evitar a dependência (lock-in) - tudo isso faz parte do motivo pelo qual o melhor data warehouse é um lakehouse. Se você deseja migrar seus workloads do SQL para uma arquitetura moderna, com custo otimizado, alto desempenho, serverless e perfeitamente unificada, Databricks SQL é a solução. Fale com seu representante Databricks para começar uma prova de conceito hoje mesmo e experimentar os benefícios em primeira mão. Nossa equipe está pronta para ajudá-lo a avaliar se o Databricks SQL é a escolha certa para ajudá-lo a inovar mais rapidamente com seus dados.

Para saber mais sobre como alcançamos o melhor desempenho da categoria em Databricks SQL usando otimizações orientadas por IA, assista à apresentação de Reynold Xin e Databricks SQL Serverless Under the Hood: How We Use ML to Get the Best Price/Performance do Data+IA Summit.

Experimente o Databricks gratuitamente

Artigos relacionados

Platform blog

Announcing the General Availability of Databricks SQL Serverless !

Today, we are thrilled to announce that serverless compute for Databricks SQL is Generally Available on AWS and Azure! Databricks SQL (DB SQL)...
Platform blog

Introducing Predictive Optimization: Faster Queries, Cheaper Storage, No Sweat

We're excited to announce the Public Preview of Databricks Predictive Optimization. This capability intelligently optimizes your table data layouts for improved performance and...
Engineering blog

Understanding Caching in Databricks SQL: UI, Result, and Disk Caches

Caching is an essential technique for improving the performance of data warehouse systems by avoiding the need to recompute or fetch the same...
Platform blog

Announcing the Public Preview of Predictive I/O for Updates

Previously, we’ve shown you how a new technology called Predictive I/O could improve selective reads by up to 35x for CDW customers without...
Platform blog

Announcing the General Availability of Predictive I/O for Reads

Today, we are excited to announce the general availability of Predictive I/O for Databricks SQL (DB SQL) : a machine learning powered feature...
Ver tudo Blog da plataforma posts