O que é um Data Mart?

O que é data mart?

Data mart é um banco de dados com curadoria que inclui um conjunto de tabelas projetadas para atender às necessidades específicas de uma única equipe de dados, comunidade ou linha de negócios, como o departamento de marketing ou engenharia. Normalmente, é menor e mais focado do que um data warehouse e, geralmente, existe como um subconjunto do maior data warehouse corporativo de uma organização. Os data marts são mais usados para análises, business intelligence e relatórios. Os data marts foram o primeiro passo evolutivo na realidade física dos data warehouses centrais e data lakes. A ACNielsen ofereceu aos clientes o primeiro data mart no início da década de 1970 como uma forma de armazenar informações digitalmente e aumentar os esforços de vendas.

Características dos data marts

• Costumam ser construídos e gerenciados pela equipe de dados corporativos, embora também possam ser construídos e mantidos por PMEs de unidade de negócios organicamente.
• Os gestores de dados de grupos empresariais mantêm o data mart, e os usuários finais têm acesso somente leitura. Eles podem consultar e ver tabelas, mas não podem modificá-las, a fim de evitar que usuários menos experientes em tecnologia excluam ou modifiquem dados de negócios críticos acidentalmente.
• Normalmente, usa-se um modelo dimensional e um esquema em estrela.
• Contém um subconjunto selecionado de dados do data warehouse maior. Os dados são altamente estruturados, e foram limpos e conformados pela equipe de dados da empresa para facilitar a compreensão e as queries.
• Projetados em torno das necessidades exclusivas de uma determinada linha de negócios ou caso de uso.
• Os usuários normalmente consultam os dados usando comandos SQL.

Tipos de data marts: data marts independentes, data marts dependentes e data marts híbridos

Atualmente, existem três tipos básicos de data marts:

• Data marts independentes não fazem parte de um data warehouse e são muito semelhantes ao data mart original oferecido pela ACNielsen. Eles geralmente se concentram em uma área de negócios ou assunto. As fontes de dados podem incluir fontes externas e internas. Em seguida, ele é traduzido, processado e carregado no data mart, onde é armazenado até ser necessário.
• Data marts dependentes são integrados a um data warehouse existente. Abordagem usada é de cima para baixo, oferecendo suporte ao armazenamento de todos os dados em um local centralizado. Uma seção claramente definida dos dados é, então, selecionada para fins de pesquisa.
• Data marts híbridos combinam os dados extraídos de um data warehouse e "outras" fontes de dados. Isso pode ser útil em diversas situações, incluindo o fornecimento da integração ad hoc com um novo grupo ou produto, que foi adicionado a uma organização. Os data marts híbridos são adequados para vários ambientes de banco de dados e fornecem rápida rotatividade de implementação. Esses sistemas facilitam a limpeza de dados e funcionam bem com aplicativos centrados em dados menores.

Benefícios dos data marts

• Fonte única da verdade — O data mart pode servir como fonte única da verdade para uma determinada linha de negócios, para que todos trabalhem nos mesmos fatos e dados.
• Simplicidade — Os usuários de negócios que procuram dados podem visitar o data mart com curadoria para facilitar o acesso a dados relevantes, em vez de percorrer todo o data warehouse e unir tabelas para obter os dados de que precisam.

Desafios com data marts

Os data warehouses corporativos são criados com boas intenções para atender a todas as necessidades de gerenciamento de dados de uma empresa. Mas não é possível agradar a todos, pois unidades de negócios diferentes têm necessidades e objetivos de dados diferentes. Assim, os departamentos copiam e criam seus próprios data marts (às vezes com a ajuda da TI corporativa) com o objetivo de ampliar a área temática de um data warehouse específico, para atender às suas necessidades de análise de autoatendimento e relatórios departamentais. Como resultado, com o tempo, os data marts podem se tornar silos de dados e cópias ocultas dos dados — do ponto de vista corporativo — mas atendem bem às necessidades do departamento. Quando muitos departamentos fazem isso, não existe uma versão única da verdade.

Como o lakehouse soluciona os desafios com data marts

O lakehouse resolve os desafios mencionados acima colocando todos os data warehouses e data marts corporativos em uma única plataforma, com segurança e governança unificadas, ao mesmo tempo que oferece às diferentes equipes a flexibilidade de ter seus próprios sandboxes. Como qualquer data mart ou "cópia aumentada" é feita na mesma plataforma do lakehouse que todas as outras, o catálogo de dados do lakehouse descobre isso e, de acordo com as regras de governança de dados, como marcação e uso de um dicionário de dados, ele garante que a cópia aumentada possa ser descoberta por todos, evitando cópias duplicadas semelhantes.

Crie seu próximo data mart no Databricks SQL

Experimente o Databricks SQL gratuitamente

Recursos

• Databricks SQL
• Delta Lake no Databricks
• Glossário — Data warehouse