O que é um Data Warehouse Unificado?
Uma arquitetura moderna que combina recursos de data warehouse e data lake com governança unificada, transações ACID e suporte para cargas de trabalho SQL e de aprendizado de máquina.
Summary
- Combina a análise estruturada tradicional de data warehouse com a flexibilidade de data lakes para dados não estruturados, eliminando a necessidade de sistemas separados e duplicação de dados.
- Fornece transações ACID em data lakes usando formatos como Delta Lake, permitindo atualizações, exclusões e viagens no tempo confiáveis, mantendo a qualidade e a consistência dos dados.
- Suporta governança unificada por meio de catálogos como o Unity Catalog, permitindo que analistas de SQL, engenheiros de dados e cientistas de dados trabalhem nos mesmos conjuntos de dados com a segurança adequada.
O que é um data warehouse unificado?
Um banco de dados unificado, também conhecido como data warehouse corporativo, armazena todas as informações comerciais de uma organização e as torna acessíveis para toda a empresa. A maioria das empresas de hoje tem seus dados gerenciados em silos isolados, enquanto diferentes equipes da mesma organização usam várias ferramentas de gerenciamento de dados para vários tipos de dados, como qualidade de dados, integração de dados, governança de dados, metadados e gerenciamento de dados mestres, troca de dados B2B, administração e arquitetura de banco de dados etc. A adoção de data warehouses empresariais em grandes empresas tornou-se uma prática recomendada para armazenar dados integrados e centralizados extraídos de várias fontes operacionais diferentes. Dessa forma, queries complicadas podem ser executadas sem que haja conflito com as operações transacionais dos sistemas operacionais.
A arquitetura típica de um data warehouse consiste em diferentes componentes em que os dados são passados de um componente para o outro após a execução de algumas operações críticas nos dados. A estrutura de um data warehouse unificado consiste em um subconjunto dos componentes contidos na arquitetura do data warehouse, ou seja, as fontes de dados, o data warehouse central, os data marts, os processos ETL (Extrair, Transformar e Carregar) e os repositórios de metadados. O benefício mais importante do data warehouse unificado vem do fato de que todos os dados são baseados em uma premissa central: como resultado, não há necessidade de analisar os dados separadamente para convertê-los em informações acionáveis, o que pode facilitar um processo decisório aprimorado.
Gartner®: Databricks, líder em banco de dados em nuvem
Vantagens oferecidas por um data warehouse unificado:
- Os data warehouses oferecem suporte adicional aos dados, pois são projetados para rastrear, gerenciar e analisar informações, fornecendo um ótimo ambiente projetado para suporte a decisões, relatórios analíticos e mineração de dados.
- Um data warehouse unificado trabalha lado a lado com outros programas de análise para promover o crescimento da empresa.
- Todos os dados da empresa estão sempre disponíveis para fins de análise e planejamento
- Os usuários podem armazenar grandes quantidades de dados com uma grande variedade de parâmetros. Esses dados podem ser extraídos de múltiplas fontes, geralmente não relacionadas.
- Um data warehouse unificado tem a capacidade de refinar dados, eliminar informações redundantes e, ao mesmo tempo, aumentar a qualidade geral dos dados.
- Reduz ao máximo a manipulação de dados mantendo a integridade em seu nível mais alto.
- Fornece informações aprimoradas e atualizadas