Governança de dados
Um guia abrangente sobre os processos, as políticas e a tecnologia que as organizações usam para gerenciar e aproveitar ao máximo seus dados
O que é governança de dados?
A governança de dados é uma abordagem abrangente que compreende os princípios, as práticas e as ferramentas para gerenciar os ativos de dados de uma organização durante todo o ciclo de vida. Ao alinhar os requisitos relacionados aos dados com a estratégia de negócios, a governança de dados fornece recursos superiores de gerenciamento, qualidade, visibilidade, segurança e conformidade de dados em toda a organização. A implementação de uma estratégia eficaz de governança de dados permite que as empresas disponibilizem os dados facilmente para a tomada de decisões orientada por dados, protegendo seus dados contra acesso não autorizado e garantindo a conformidade com os requisitos regulamentares.
Continue explorando
Quais são os benefícios empresariais da governança de dados?
A governança de dados é essencial para liberar o valor dos dados, que são um ativo essencial para as organizações. Ao implementar uma abordagem robusta de governança de dados, as empresas podem aproveitar seus ativos de dados, obter uma vantagem competitiva e conquistar e manter a confiança do cliente, garantindo práticas sólidas de dados e privacidade.
Aumento da eficiência operacional e redução de custos
A governança de dados eficaz permite que as organizações criem uma única fonte confiável para seu patrimônio de dados, evitando a dispersão e os silos de dados e reduzindo a duplicação. Isso resulta em maior eficiência, redução de custos e gerenciamento mais fácil dos conceitos de segurança e governança em todo o patrimônio de dados.
Maior produtividade e tomada de decisão mais rápida
A governança de dados promove a democratização dos dados, garantindo a precisão, a consistência e a confiabilidade dos dados. Ela ajuda os usuários de dados a encontrar dados de alta qualidade rapidamente, promovendo uma melhor compreensão do significado e do contexto dos dados, levando a uma maior produtividade e agilizando a tomada de decisões.
Colaboração aprimorada e realização de valor
Um forte programa de governança de dados estabelece a base para uma melhor colaboração e compartilhamento de dados entre equipes, unidades de negócios e parceiros. Isso ajuda as organizações a promover o compartilhamento de conhecimento e criar uma melhor cultura de dados, levando a uma maior inovação, melhor tomada de decisões e maximizando o valor de seus dados.
Segurança e privacidade aprimoradas
A governança de dados reduz os riscos de segurança e privacidade implementando controles e processos para impedir o acesso não autorizado e o uso indevido de dados confidenciais. Ela promove uma cultura de confiança e transparência com as partes interessadas.
Melhor conformidade com regulamentos e normas
A governança de dados eficaz resulta em melhor conformidade com os requisitos regulatórios, como HIPAA, FedRAMP, GDPR ou CCPA. Isso protege a reputação da organização, evita possíveis consequências financeiras e legais e aumenta a confiança das partes interessadas.
Principais elementos da governança de dados
Catalogação de dados
Uma governança de dados eficaz requer conhecimento dos dados existentes em uma organização. É aí que entra um catálogo de dados, que fornece um repositório de metadados centralizado para os ativos de dados de uma organização. Um catálogo de dados permite que as partes interessadas descubram, entendam e acessem rapidamente os dados de que precisam, melhorando as atividades relacionadas a dados, como descobrimento, governança e análise. Ele atua como um índice pesquisável de todos os dados disponíveis, incluindo informações sobre seu formato, estrutura, localização e uso, fornecendo valor semântico a uma enormidade de informações que, de outra forma, não seriam identificáveis. A incorporação de um catálogo de dados em um programa de governança pode ajudar as organizações a melhorar o gerenciamento de dados, aprimorar a colaboração, reduzir a redundância e garantir controles de acesso adequados e a recuperação de informações de auditoria.
Qualidade dos dados
No mundo atual impulsionado por dados, garantir a alta qualidade dos dados é crucial para analítica precisa, tomada de decisões informada e economia. A qualidade dos dados afeta diretamente a confiabilidade das decisões baseadas em dados e é um aspecto fundamental da governança de dados. Para manter uma governança de dados eficaz, as organizações devem priorizar a avaliação dos principais atributos de qualidade dos dados, como precisão, integridade, atualização e conformidade com as regras de qualidade de dados. Portanto, um forte foco na qualidade dos dados é essencial em qualquer estratégia de governança de dados, pois ajuda a rastrear a linhagem de dados, aplicar regras de qualidade de dados e rastrear mudanças. Não deixe que a baixa qualidade dos dados comprometa suas decisões de negócios e a alocação de recursos. Priorize a qualidade dos dados como parte essencial de seus esforços de governança de dados para obter melhores resultados.
Classificação de dados
A classificação de dados é uma parte crucial da governança de dados que envolve a organização e a categorização dos dados com base em sua sensibilidade, valor e criticidade. Com o crescimento exponencial dos dados, as empresas estão cada vez mais preocupadas em proteger dados confidenciais, mitigar riscos e garantir a qualidade dos dados. A classificação permite que as organizações identifiquem e classifiquem os dados com base em seu nível de risco e importância, permitindo que apliquem medidas e políticas de segurança apropriadas. Um sistema robusto de classificação de dados aprimora a governança dos dados, reduz os riscos e garante a qualidade e a proteção dos dados em escala.
Segurança dos dados
As organizações entendem a importância de conceder acesso a dados de alta qualidade às suas equipes para gerar insights e valor comercial, ao mesmo tempo em que priorizam a proteção de dados confidenciais contra o acesso não autorizado. O gerenciamento eficaz do acesso aos dados é fundamental para a segurança e a governança dos dados, e um bom programa de governança de segurança de dados deve incluir controles de acesso que definam quais grupos ou indivíduos podem acessar quais dados. Esses controles podem ser altamente específicos, chegando até ao nível de registro ou arquivo individual. Como as violações de dados e as regulamentações, como o GDPR e a CCPA, representam riscos cada vez maiores, as empresas devem estabelecer políticas de governança claras que definam quem pode acessar conjuntos de dados confidenciais e como rastrear qualquer uso indevido. O acesso não autorizado a informações privadas ou confidenciais não deve ocorrer, e implementar estratégias eficazes de gerenciamento de acesso é essencial para proteger os dados e manter a confiança do cliente.
Auditoria de direitos e acesso a dados
A auditoria eficaz do acesso aos dados é um aspecto essencial dos programas de governança de dados e de governança de segurança, principalmente em setores regulamentados. Ao entender quem tem acesso a quais dados e rastrear o acesso recente, as organizações podem identificar proativamente usuários ou grupos com excesso de direitos e ajustar seu acesso adequadamente, minimizando o risco de uso indevido dos dados. Sem mecanismos de auditoria adequados, uma organização pode não estar totalmente ciente de sua área de superfície de risco, deixando-a vulnerável a violações de dados e não conformidade regulatória. Portanto, uma equipe de auditoria bem projetada dentro de uma organização de governança de dados ou de governança de segurança desempenha um papel fundamental para garantir a segurança dos dados e a conformidade com regulamentos como o GDPR e a CCPA. Ao implementar estratégias eficazes de auditoria de acesso a dados, as organizações podem manter a confiança de seus clientes e proteger seus dados contra acesso não autorizado ou uso indevido.
Linhagem de dados
A linhagem de dados é uma ferramenta poderosa que ajuda as organizações a garantir a qualidade e a confiabilidade dos dados, fornecendo uma melhor compreensão das fontes e do consumo de dados. Ela captura metadados e eventos relevantes em todo o ciclo de vida dos dados, fornecendo uma visão de ponta a ponta de como os dados fluem pelo patrimônio de dados de uma organização. Como um pilar essencial de uma estratégia pragmática de governança de dados, a linhagem de dados permite que as organizações se tornem compatíveis e prontas para auditoria, ao mesmo tempo em que reduz a sobrecarga operacional de criação manual de trilhas de auditoria e fornece fontes confiáveis para relatórios de auditoria. Além disso, a linhagem de dados capacita os consumidores de dados a realizar análises melhores e ajuda as equipes de dados a realizar a análise da causa raiz de quaisquer erros, reduzindo significativamente o tempo de depuração.
Descobrimento de dados
À medida que as organizações continuam a coletar grandes quantidades de dados de várias fontes, está se tornando cada vez mais importante tornar esses dados facilmente detectáveis para casos de uso de analítica, IA ou ML. Isso é fundamental para acelerar a democratização dos dados e desbloquear seu verdadeiro valor. Além disso, com o surgimento de ativos de dados modernos, como dashboards, modelos de machine learning, queries, bibliotecas e notebooks, o descobrimento de dados se tornou um pilar fundamental de uma estratégia robusta de governança de dados. As organizações devem ver o descobrimento de dados como um aspecto fundamental de sua estratégia de governança de dados. Ele permite que as equipes de dados localizem facilmente os ativos de dados em toda a organização, colaborem em vários projetos e inovem com rapidez e eficiência. Isso ajuda a evitar a duplicação de dados, o que pode ser problemático, pois custa dinheiro persisti-los e pode levar a desafios de governança em diferentes níveis de segurança.
Compartilhamento e colaboração de dados
O compartilhamento e a colaboração de dados são componentes vitais no ambiente de negócios atual, com as organizações trocando dados com equipes internas, parceiros externos e clientes em várias nuvens, plataformas de dados e regiões. Como a demanda por dados externos continua a crescer, é fundamental que as organizações troquem dados com segurança e, ao mesmo tempo, mantenham o controle e a visibilidade sobre como suas informações confidenciais são usadas. Os clean rooms de dados desempenham um papel crítico na colaboração de dados segura e controlada, garantindo que os regulamentos de privacidade de dados sejam mantidos. É essencial que as organizações invistam em tecnologias de compartilhamento de dados de formato aberto, interoperáveis e multicloud para atender às suas necessidades de inovação orientada por dados. Além disso, os mercados de dados funcionam como uma ponte entre os provedores de dados e os consumidores, facilitando o descobrimento e a distribuição de conjuntos de dados. Portanto, é fundamental reformular o compartilhamento de dados como uma necessidade comercial e um pilar crucial de uma estratégia robusta de governança de dados.
O que é uma estrutura de governança de dados?
Um framework de governança de dados é o modelo estruturado que coloca os princípios de governança em prática. Enquanto a governança de dados se refere à disciplina mais ampla de gerenciamento de dados como um ativo estratégico, uma estrutura de governança de dados define as políticas, funções, padrões e processos específicos que dão vida a essa disciplina em toda a organização.
Sem uma estrutura, até mesmo as iniciativas de governança de dados bem-intencionadas tendem a estagnar — a responsabilidade não é clara, as políticas de governança de dados não são aplicadas e a manutenção da qualidade dos dados se torna reativa em vez de sistemática.
Uma estrutura sólida de governança de dados fornece às organizações a base operacional para tratar os dados como um ativo crítico, garantindo que eles permaneçam precisos, confiáveis e acessíveis para as pessoas certas no momento certo.
Os 4 pilares de um framework de governança de dados
Uma estrutura de governança de dados eficaz se baseia em quatro pilares interdependentes. Juntos, eles abordam tanto as dimensões humanas quanto as técnicas de boas práticas de gestão de dados:
Pessoas: Um programa de governança é tão forte quanto as pessoas que o administram. Isso inclui data owners responsáveis por domínios de dados específicos, gestões de dados que lidam com responsabilidades diárias de gestões de dados, data architects que projetam as estruturas que dão suporte a definições e integração de dados consistentes, e um comitê ou conselho de governança de dados que define políticas e resolve disputas.
Estabelecer papéis claros elimina a ambiguidade, impede a formação de silos de dados e garante que a responsabilidade seja distribuída adequadamente em toda a organização.
Políticas: as políticas de governança de dados definem as regras que regem como os dados são criados, armazenados, usados e protegidos em todo o ciclo de vida dos dados.
Isso inclui esquemas de classificação de dados que identificam dados sensíveis, controles de acesso que determinam quem pode view ou modificar ativos de dados específicos, e requisitos de compliance vinculados a regulamentações como GDPR, CCPA ou HIPAA.
Políticas bem documentadas criam uma fonte única da verdade sobre como os dados devem ser tratados, o que reduz o risco e aumenta a confiança das partes interessadas.
Processos: para serem eficazes, as políticas exigem processos repetíveis. Os principais processos de governança de dados incluem gerenciamento de metadados, melhorias na qualidade dos dados, auditoria de acesso e direitos a dados e a capacidade de rastrear a linhagem de dados da origem ao consumo.
Esses processos garantem que a governança de dados não seja uma iniciativa única, mas uma função contínua incorporada às práticas diárias de gestão de dados — uma que escala conforme os volumes de dados, as fontes de dados e a complexidade dos negócios aumentam.
Tecnología: a tecnología certa impõe o framework em escala. Isso inclui catálogo de dados para descoberta e gestão de metadados, ferramentas de linhagem de dados que fornecem visibilidade de ponta a ponta do fluxo de dados, sistemas de gestão de dados mestre que mantêm definições de dados consistentes em todas as unidades de negócios e plataformas de governança unificadas que aplicam controles de acesso de forma consistente em todos os ativos de dados e clouds.
A tecnologia transforma a governança de um exercício manual e orientado a documentos em uma função automatizada e auditável.
Modelos de framework de governança de dados
As organizações implementam estruturas de governança de dados em diferentes configurações estruturais, dependendo de seu porte, indústria e da maturidade de suas práticas de gestão de dados existentes. Os três modelos mais comuns de framework de governança de dados são:
Centralizado: Um único conselho de governança de dados ou função de governança é responsável por todas as decisões em toda a empresa. Este modelo funciona bem para organizações menores ou para aquelas em setores altamente regulamentados, onde políticas de governança de dados consistentes são inegociáveis, embora possa criar gargalos à medida que as equipes de dados crescem.
Federado: as unidades de negócios individuais gerenciam seus próprios domínios de dados sob um conjunto compartilhado de padrões. Este modelo oferece maior agilidade e conhecimento de domínio, mas requer forte coordenação para evitar silos de dados e manter a integridade de dados em toda a organização.
Híbrido: a abordagem mais prevalente em grandes empresas, a governança híbrida combina supervisão centralizada (políticas de governança de dados compartilhadas, um catálogo de dados centralizado e controles de acesso unificados) com as gestões de dados federadas no nível do domínio. As unidades de negócios mantêm a flexibilidade enquanto a organização mantém os padrões consistentes necessários para a conformidade regulatória e dados de alta qualidade.
Escolher o modelo certo não se trata tanto de selecionar a estrutura teoricamente ideal, mas sim de uma avaliação honesta: quais processos de governança de dados já existem, qual é o nível de maturidade em alfabetização de dados entre as equipes e quais requisitos de compliance se aplicam aos dados dos clientes e a outros domínios de dados críticos?
Princípios de governança e desafios comuns
Estruturas eficazes de governança de dados — incluindo orientações de órgãos de padronização, como o Data Governance Institute, e estruturas alinhadas às normas de qualidade de dados da ISO — compartilham um conjunto comum de princípios: responsabilização, transparência, integridade de dados, precisão dos dados e curadoria. Estes princípios garantem que os consumidores de dados possam confiar nos dados que utilizam para analítica e tomada de decisão, enquanto os proprietários de dados permanecem claramente responsáveis pela qualidade e segurança dos ativos de dados em seu domínio.
Compreender esses princípios também esclarece onde os programas de governança tendem a falhar. Os desafios comuns de governança de dados incluem propriedade fragmentada, definições de dados inconsistentes entre as unidades de negócios, letramento de dados insuficiente entre os usuários finais e a ausência de tecnología capaz de aplicar políticas de governança em escala. Uma estrutura robusta de governança de dados aborda esses desafios não adicionando sobrecarga burocrática, mas incorporando a governança aos processos e ferramentas de dados, o que torna mais fácil fazer a coisa certa do que a errada.
Aderir às melhores práticas de governança de dados significa tratar a estrutura como um programa vivo, em vez de um documento de política fixo.
Organizações que mantêm uma estrutura robusta de governança de dados revisitam suas políticas regularmente, adaptam seus processos à medida que novas fontes de dados são introduzidas e investem na tecnologia necessária para aplicar a governança em todo o seu patrimônio de dados — desde dados brutos em data lakes até produtos de dados selecionados, consumidos tanto por analistas quanto por stakeholders de negócios.
Como se cria uma boa solução de governança de dados?
As organizações com foco em dados priorizam os dados, a análise de dados e a IA para impulsionar os resultados comerciais e criam suas estratégias de dados em torno de uma arquitetura de data lakehouse, que unifica dados, análise e IA em uma única plataforma. Essa arquitetura combina os melhores recursos de data warehouses e data lakes para lidar com todos os dados, análises de dados e casos de uso de IA. Todos os dados são armazenados em um data lake na cloud e gerenciados por uma camada unificada, permitindo que a análise seja realizada diretamente em uma única cópia dos dados. Essa abordagem simplifica a governança e a segurança dos dados, reduz os silos funcionais e facilita a colaboração. Ao incutir alta confiança nos dados, as organizações podem operar com confiança e entender melhor como os dados são adquiridos, alterados, usados e impactados em todas as cargas de trabalho de análise de dados.
Uma solução de governança de dados para um data lakehouse fornece vários recursos importantes:
- Catálogo de dados centralizado: um catálogo de dados centralizado armazena todos os seus dados, modelos de ML e artefatos de análise de dados, bem como metadados para cada objeto. O catálogo unificado também combina dados de outros catálogos, como um Hive metastore existente.
- Controles unificados de acesso a dados: um modelo de permissões único e unificado em todos os ativos e em todas as clouds. Isso inclui o controle de acesso baseado em atributos (ABAC) para informações de identificação pessoal (PII).
- Auditoria de dados: o acesso aos dados é auditado centralmente com alertas e recursos de monitoramento para promover responsabilidade e segurança
- Gerenciamento da qualidade dos dados: gerenciamento robusto da qualidade dos dados com controles de qualidade integrados, testes, monitoramento e aplicação para garantir a disponibilidade de dados precisos e úteis
- Linhagem de dados: para obter visibilidade total de como os dados fluem no lakehouse, da origem e consumo até o nível da coluna
- Descobrimento de dados: descoberta fácil de dados para permitir que cientistas de dados, analistas, engenheiros e partes interessadas descubram e consultem rapidamente dados relevantes e acelerem o retorno sobre o investimento
- Compartilhamento de dados e colaboração de dados: os dados podem ser compartilhados — com controles de acesso refinados — entre clouds, regiões e plataformas, evitando a formação de silos
- Clean rooms de dados para colaboração com privacidade segura: colabore em dados confidenciais com partes interessadas internas ou externas em um ambiente que preserva a privacidade
- Marketplace aberto para dados, analítica e IA: descubra, acesse e implante conjuntos de dados, bem como ativos de IA e analíticos — como modelos de ML, notebooks, aplicativos e dashboards — sem dependências de plataforma proprietária, ETL complicado ou replicação cara.
Quem supervisiona a governança de dados?
Diretor de dados
Seu diretor de dados (CDO na sigla em inglês) é o executivo mais sênior da sua equipe de governança. Em última análise, é a pessoa responsável pela segurança, acessibilidade e usabilidade de seus dados.
A função de um CDO envolve configurar o sistema, garantir fundos e pessoal para sua operação (e para aspectos relacionados, como ferramentas para automatizar alguns processos) e realizar verificações regulares de seu status geral.
Proprietários de dados
Os proprietários dos dados são indivíduos ou equipes responsáveis pela administração técnica de seus conjuntos de dados. Eles podem tomar decisões sobre quais membros da equipe devem ter acesso a quais tipos de informações. Se suas políticas (ou a falta delas) levarem a uma violação de dados, eles poderão ser responsabilizados.
Para cumprir essa função e suas muitas responsabilidades, os proprietários de dados geralmente também são membros sênior da sua organização.
Gestores de dados
Para ajudar na execução diária de seus fluxos de trabalho de governança de dados, os proprietários de dados e os CDOs devem nomear gestores de dados. A gestão de dados envolve essencialmente a implementação do programa que foi estabelecido para eles e a garantia de que os dados antigos e novos sejam gerenciados adequadamente. Eles são responsáveis por monitorar a conformidade dos funcionários e dos clientes e por encaminhar os problemas que surgirem.
Comitês de governança de dados
Esse comitê será o principal órgão que cria políticas relevantes em sua organização.
Em geral, ele é composto por executivos seniores e proprietários de dados, que têm grande interesse na segurança e na usabilidade dos dados. Após a aprovação de suas políticas, eles podem estabelecer procedimentos a serem seguidos pelos gestores e também resolver disputas entre as partes.
