Governança de dados
Um guia abrangente sobre os processos, as políticas e a tecnologia que as organizações usam para gerenciar e aproveitar ao máximo seus dados
O que é governança de dados?
A governança de dados é uma abordagem abrangente que compreende os princípios, as práticas e as ferramentas para gerenciar os ativos de dados de uma organização durante todo o ciclo de vida. Ao alinhar os requisitos relacionados aos dados com a estratégia de negócios, a governança de dados fornece recursos superiores de gerenciamento, qualidade, visibilidade, segurança e conformidade de dados em toda a organização. A implementação de uma estratégia eficaz de governança de dados permite que as empresas disponibilizem os dados facilmente para a tomada de decisões orientada por dados, protegendo seus dados contra acesso não autorizado e garantindo a conformidade com os requisitos regulamentares.
Continue explorando
Quais são os benefícios empresariais da governança de dados?
A governança de dados é essencial para liberar o valor dos dados, que são um ativo essencial para as organizações. Ao implementar uma abordagem robusta de governança de dados, as empresas podem aproveitar seus ativos de dados, obter uma vantagem competitiva e conquistar e manter a confiança do cliente, garantindo práticas sólidas de dados e privacidade.
Aumento da eficiência operacional e redução de custos
A governança de dados eficaz permite que as organizações criem uma única fonte confiável para seu patrimônio de dados, evitando a dispersão e os silos de dados e reduzindo a duplicação. Isso resulta em maior eficiência, redução de custos e gerenciamento mais fácil dos conceitos de segurança e governança em todo o patrimônio de dados.
Maior produtividade e tomada de decisão mais rápida
A governança de dados promove a democratização dos dados, garantindo a precisão, a consistência e a confiabilidade dos dados. Ela ajuda os usuários de dados a encontrar dados de alta qualidade rapidamente, promovendo uma melhor compreensão do significado e do contexto dos dados, levando a uma maior produtividade e agilizando a tomada de decisões.
Colaboração aprimorada e realização de valor
Um forte programa de governança de dados estabelece a base para uma melhor colaboração e compartilhamento de dados entre equipes, unidades de negócios e parceiros. Isso ajuda as organizações a promover o compartilhamento de conhecimento e criar uma melhor cultura de dados, levando a uma maior inovação, melhor tomada de decisões e maximizando o valor de seus dados.
Segurança e privacidade aprimoradas
A governança de dados reduz os riscos de segurança e privacidade implementando controles e processos para impedir o acesso não autorizado e o uso indevido de dados confidenciais. Ela promove uma cultura de confiança e transparência com as partes interessadas.
Melhor conformidade com regulamentos e normas
A governança de dados eficaz resulta em melhor conformidade com os requisitos regulatórios, como HIPAA, FedRAMP, GDPR ou CCPA. Isso protege a reputação da organização, evita possíveis consequências financeiras e legais e aumenta a confiança das partes interessadas.
Principais elementos da governança de dados
Catalogação de dados
Uma governança de dados eficaz requer conhecimento dos dados existentes em uma organização. É aí que entra um catálogo de dados, que fornece um repositório de metadados centralizado para os ativos de dados de uma organização. Um catálogo de dados permite que as partes interessadas descubram, entendam e acessem rapidamente os dados de que precisam, melhorando as atividades relacionadas a dados, como descobrimento, governança e análise. Ele atua como um índice pesquisável de todos os dados disponíveis, incluindo informações sobre seu formato, estrutura, localização e uso, fornecendo valor semântico a uma enormidade de informações que, de outra forma, não seriam identificáveis. A incorporação de um catálogo de dados em um programa de governança pode ajudar as organizações a melhorar o gerenciamento de dados, aprimorar a colaboração, reduzir a redundância e garantir controles de acesso adequados e a recuperação de informações de auditoria.
Qualidade dos dados
No mundo atual impulsionado por dados, garantir a alta qualidade dos dados é crucial para analítica precisa, tomada de decisões informada e economia. A qualidade dos dados afeta diretamente a confiabilidade das decisões baseadas em dados e é um aspecto fundamental da governança de dados. Para manter uma governança de dados eficaz, as organizações devem priorizar a avaliação dos principais atributos de qualidade dos dados, como precisão, integridade, atualização e conformidade com as regras de qualidade de dados. Portanto, um forte foco na qualidade dos dados é essencial em qualquer estratégia de governança de dados, pois ajuda a rastrear a linhagem de dados, aplicar regras de qualidade de dados e rastrear mudanças. Não deixe que a baixa qualidade dos dados comprometa suas decisões de negócios e a alocação de recursos. Priorize a qualidade dos dados como parte essencial de seus esforços de governança de dados para obter melhores resultados.
Classificação de dados
A classificação de dados é uma parte crucial da governança de dados que envolve a organização e a categorização dos dados com base em sua sensibilidade, valor e criticidade. Com o crescimento exponencial dos dados, as empresas estão cada vez mais preocupadas em proteger dados confidenciais, mitigar riscos e garantir a qualidade dos dados. A classificação permite que as organizações identifiquem e classifiquem os dados com base em seu nível de risco e importância, permitindo que apliquem medidas e políticas de segurança apropriadas. Um sistema robusto de classificação de dados aprimora a governança dos dados, reduz os riscos e garante a qualidade e a proteção dos dados em escala.
Segurança dos dados
As organizações entendem a importância de conceder acesso a dados de alta qualidade às suas equipes para gerar insights e valor comercial, ao mesmo tempo em que priorizam a proteção de dados confidenciais contra o acesso não autorizado. O gerenciamento eficaz do acesso aos dados é fundamental para a segurança e a governança dos dados, e um bom programa de governança de segurança de dados deve incluir controles de acesso que definam quais grupos ou indivíduos podem acessar quais dados. Esses controles podem ser altamente específicos, chegando até ao nível de registro ou arquivo individual. Como as violações de dados e as regulamentações, como o GDPR e a CCPA, representam riscos cada vez maiores, as empresas devem estabelecer políticas de governança claras que definam quem pode acessar conjuntos de dados confidenciais e como rastrear qualquer uso indevido. O acesso não autorizado a informações privadas ou confidenciais não deve ocorrer, e implementar estratégias eficazes de gerenciamento de acesso é essencial para proteger os dados e manter a confiança do cliente.
Auditoria de direitos e acesso a dados
A auditoria eficaz do acesso aos dados é um aspecto essencial dos programas de governança de dados e de governança de segurança, principalmente em setores regulamentados. Ao entender quem tem acesso a quais dados e rastrear o acesso recente, as organizações podem identificar proativamente usuários ou grupos com excesso de direitos e ajustar seu acesso adequadamente, minimizando o risco de uso indevido dos dados. Sem mecanismos de auditoria adequados, uma organização pode não estar totalmente ciente de sua área de superfície de risco, deixando-a vulnerável a violações de dados e não conformidade regulatória. Portanto, uma equipe de auditoria bem projetada dentro de uma organização de governança de dados ou de governança de segurança desempenha um papel fundamental para garantir a segurança dos dados e a conformidade com regulamentos como o GDPR e a CCPA. Ao implementar estratégias eficazes de auditoria de acesso a dados, as organizações podem manter a confiança de seus clientes e proteger seus dados contra acesso não autorizado ou uso indevido.
Linhagem de dados
A linhagem de dados é uma ferramenta poderosa que ajuda as organizações a garantir a qualidade e a confiabilidade dos dados, fornecendo uma melhor compreensão das fontes e do consumo de dados. Ela captura metadados e eventos relevantes em todo o ciclo de vida dos dados, fornecendo uma visão de ponta a ponta de como os dados fluem pelo patrimônio de dados de uma organização. Como um pilar essencial de uma estratégia pragmática de governança de dados, a linhagem de dados permite que as organizações se tornem compatíveis e prontas para auditoria, ao mesmo tempo em que reduz a sobrecarga operacional de criação manual de trilhas de auditoria e fornece fontes confiáveis para relatórios de auditoria. Além disso, a linhagem de dados capacita os consumidores de dados a realizar análises melhores e ajuda as equipes de dados a realizar a análise da causa raiz de quaisquer erros, reduzindo significativamente o tempo de depuração.
Descobrimento de dados
À medida que as organizações continuam a coletar grandes quantidades de dados de várias fontes, está se tornando cada vez mais importante tornar esses dados facilmente detectáveis para casos de uso de analítica, IA ou ML. Isso é fundamental para acelerar a democratização dos dados e desbloquear seu verdadeiro valor. Além disso, com o surgimento de ativos de dados modernos, como dashboards, modelos de machine learning, queries, bibliotecas e notebooks, o descobrimento de dados se tornou um pilar fundamental de uma estratégia robusta de governança de dados. As organizações devem ver o descobrimento de dados como um aspecto fundamental de sua estratégia de governança de dados. Ele permite que as equipes de dados localizem facilmente os ativos de dados em toda a organização, colaborem em vários projetos e inovem com rapidez e eficiência. Isso ajuda a evitar a duplicação de dados, o que pode ser problemático, pois custa dinheiro persisti-los e pode levar a desafios de governança em diferentes níveis de segurança.
Compartilhamento e colaboração de dados
O compartilhamento e a colaboração de dados são componentes vitais no ambiente de negócios atual, com as organizações trocando dados com equipes internas, parceiros externos e clientes em várias nuvens, plataformas de dados e regiões. Como a demanda por dados externos continua a crescer, é fundamental que as organizações troquem dados com segurança e, ao mesmo tempo, mantenham o controle e a visibilidade sobre como suas informações confidenciais são usadas. Os clean rooms de dados desempenham um papel crítico na colaboração de dados segura e controlada, garantindo que os regulamentos de privacidade de dados sejam mantidos. É essencial que as organizações invistam em tecnologias de compartilhamento de dados de formato aberto, interoperáveis e multicloud para atender às suas necessidades de inovação orientada por dados. Além disso, os mercados de dados funcionam como uma ponte entre os provedores de dados e os consumidores, facilitando o descobrimento e a distribuição de conjuntos de dados. Portanto, é fundamental reformular o compartilhamento de dados como uma necessidade comercial e um pilar crucial de uma estratégia robusta de governança de dados.
O que é uma estrutura de governança de dados?
Uma estrutura de governança de dados é o projeto estruturado que transforma os princípios de governança em prática. Enquanto a governança de dados se refere à disciplina mais ampla de gerenciar dados como um ativo estratégico, uma estrutura de governança de dados define as políticas, papéis, padrões e processos específicos que dão vida a essa disciplina em toda a organização.
Sem uma estrutura, mesmo as iniciativas de governança de dados bem-intencionadas tendem a estagnar: a propriedade não é clara, as políticas de governança de dados não são aplicadas e a manutenção da qualidade dos dados se torna reativa em vez de sistemática.
Uma estrutura sólida de governança de dados oferece às organizações a base operacional para tratar os dados como um ativo crítico, garantindo que eles permaneçam precisos, confiáveis e acessíveis às pessoas certas no momento certo.
Os 4 pilares de uma estrutura de governança de dados
Uma estrutura de governança de dados eficaz se baseia em quatro pilares interdependentes. Juntos, eles abordam as dimensões humanas e técnicas de boas práticas de gestão de dados:
Pessoas: um programa de governança é tão sólido quanto as pessoas que o administram. Isso inclui os data owners, responsáveis por domínios de dados específicos, os gestores de dados, que lidam com as responsabilidades do dia a dia da gestão de dados, os data architects, que projetam as estruturas que dão suporte a definições de dados consistentes e à integração de dados, e um comitê ou conselho de governança de dados que define políticas e resolve disputas.
Estabelecer papéis claros elimina a ambiguidade, impede a formação de silos de dados e garante que a responsabilidade seja distribuída adequadamente em toda a organização.
Políticas: as políticas de governança de dados definem as regras que regem como os dados são criados, armazenados, usados e protegidos durante todo o ciclo de vida dos dados.
Isso inclui esquemas de classificação de dados que identificam dados sensíveis, controles de acesso que determinam quem pode view ou modificar ativos de dados específicos e requisitos de compliance vinculados a regulamentações como GDPR, CCPA ou HIPAA.
Políticas bem documentadas criam uma única fonte da verdade sobre como os dados devem ser tratados, reduzindo os riscos e construindo a confiança das partes interessadas.
Processos: As políticas exigem processos repetíveis para serem eficazes. Os principais processos de governança de dados incluem gerenciamento de metadados, melhorias na qualidade dos dados, auditoria de acesso e permissões de dados, e a capacidade de rastrear a linhagem de dados da origem ao consumo.
Esses processos garantem que a governança de dados não seja uma iniciativa pontual, mas uma função contínua incorporada às práticas diárias de gestão de dados — que ganha escala à medida que os volumes de dados, as fontes de dados e a complexidade do negócio aumentam.
Tecnología: A tecnología certa aplica a estrutura em escala. Isso inclui catálogo de dados para descoberta e gestão de metadados, ferramentas de linhagem de dados que fornecem visibilidade de ponta a ponta do fluxo de dados, sistemas de gestão de dados mestre que mantêm definições de dados consistentes entre as unidades de negócios e plataformas de governança unificada que aplicam controles de acesso de forma consistente em todos os ativos de dados e nuvens.
A tecnologia transforma a governança de um exercício manual e orientado por documentos em uma função automatizada e auditável.
Modelos de estrutura de governança de dados
As organizações implementam estruturas de governança de dados em diferentes configurações estruturais, dependendo de seu tamanho, setor e da maturidade de suas práticas de gestão de dados existentes. Os três modelos de estrutura de governança de dados mais comuns são:
Centralizado: Um único conselho ou função de governança de dados é responsável por todas as decisões em toda a empresa. Este modelo funciona bem para organizações menores ou aquelas em indústrias altamente regulamentadas onde políticas de governança de dados consistentes são inegociáveis, embora possa criar gargalos à medida que as equipes de dados crescem.
Federado: as unidades de negócios individuais gerenciam seus próprios domínios de dados sob um conjunto compartilhado de padrões. Este modelo proporciona maior agilidade e conhecimento de domínio, mas exige forte coordenação para evitar silos de dados e manter a integridade dos dados em toda a organização.
Híbrido: a abordagem mais predominante em grandes empresas, a governança híbrida combina supervisão centralizada — políticas de governança de dados compartilhadas, um catálogo de dados centralizado e controles de acesso unificados — com gestão de dados federada no nível do domínio. As unidades de negócios mantêm a flexibilidade, enquanto a organização mantém os padrões consistentes necessários para a compliance e dados de alta qualidade.
Escolher o modelo certo não é tanto uma questão de selecionar a estrutura teoricamente ideal, mas sim de fazer uma avaliação honesta: quais processos de governança de dados já existem, qual é o nível de maturidade da alfabetização de dados entre as equipes e quais requisitos de compliance se aplicam aos dados dos clientes e a outros domínios de dados críticos?
Princípios de governança e desafios comuns
Frameworks de governança de dados eficazes — incluindo orientações de órgãos de padronização, como o Data Governance Institute, e frameworks alinhados com os padrões de qualidade de dados da ISO — compartilham um conjunto comum de princípios: responsabilidade, transparência, integridade de dados, precisão dos dados e administração. Esses princípios garantem que os consumidores de dados possam confiar nos dados dos quais dependem para analítica e tomada de decisões, enquanto os data owners permanecem claramente responsáveis pela qualidade e segurança dos ativos de dados em seu domínio.
Compreender esses princípios também esclarece onde os programas de governança tendem a falhar. Os desafios comuns da governança de dados incluem propriedade fragmentada, definições de dados inconsistentes entre as unidades de negócios, alfabetização de dados insuficiente entre os usuários finais e a ausência de tecnologia capaz de aplicar políticas de governança em escala. Um framework de governança de dados robusto aborda esses desafios não adicionando sobrecarga burocrática, mas sim incorporando a governança aos processos e ferramentas de dados, o que torna mais fácil fazer a coisa certa do que a errada.
Aderir às melhores práticas de governança de dados significa tratar a estrutura como um programa vivo, em vez de um documento de política fixo.
As organizações que mantêm um framework de governança de dados robusto revisam suas políticas regularmente, adaptam seus processos à medida que novas fontes de dados são introduzidas e investem na tecnologia necessária para aplicar a governança em todo o seu patrimônio de dados — desde dados brutos em data lakes até produtos de dados com curadoria, consumidos tanto por analistas quanto por partes interessadas do negócio.
Como se cria uma boa solução de governança de dados?
As organizações com foco em dados priorizam os dados, a análise de dados e a IA para impulsionar os resultados comerciais e criam suas estratégias de dados em torno de uma arquitetura de data lakehouse, que unifica dados, análise e IA em uma única plataforma. Essa arquitetura combina os melhores recursos de data warehouses e data lakes para lidar com todos os dados, análises de dados e casos de uso de IA. Todos os dados são armazenados em um data lake na cloud e gerenciados por uma camada unificada, permitindo que a análise seja realizada diretamente em uma única cópia dos dados. Essa abordagem simplifica a governança e a segurança dos dados, reduz os silos funcionais e facilita a colaboração. Ao incutir alta confiança nos dados, as organizações podem operar com confiança e entender melhor como os dados são adquiridos, alterados, usados e impactados em todas as cargas de trabalho de análise de dados.
Uma solução de governança de dados para um data lakehouse fornece vários recursos importantes:
- Catálogo de dados centralizado: um catálogo de dados centralizado armazena todos os seus dados, modelos de ML e artefatos de análise de dados, bem como metadados para cada objeto. O catálogo unificado também combina dados de outros catálogos, como um Hive metastore existente.
- Controles unificados de acesso a dados: um modelo de permissões único e unificado em todos os ativos e em todas as clouds. Isso inclui o controle de acesso baseado em atributos (ABAC) para informações de identificação pessoal (PII).
- Auditoria de dados: o acesso aos dados é auditado centralmente com alertas e recursos de monitoramento para promover responsabilidade e segurança
- Gerenciamento da qualidade dos dados: gerenciamento robusto da qualidade dos dados com controles de qualidade integrados, testes, monitoramento e aplicação para garantir a disponibilidade de dados precisos e úteis
- Linhagem de dados: para obter visibilidade total de como os dados fluem no lakehouse, da origem e consumo até o nível da coluna
- Descobrimento de dados: descoberta fácil de dados para permitir que cientistas de dados, analistas, engenheiros e partes interessadas descubram e consultem rapidamente dados relevantes e acelerem o retorno sobre o investimento
- Compartilhamento de dados e colaboração de dados: os dados podem ser compartilhados — com controles de acesso refinados — entre clouds, regiões e plataformas, evitando a formação de silos
- Clean rooms de dados para colaboração com privacidade segura: colabore em dados confidenciais com partes interessadas internas ou externas em um ambiente que preserva a privacidade
- Marketplace aberto para dados, analítica e IA: descubra, acesse e implante conjuntos de dados, bem como ativos de IA e analíticos — como modelos de ML, notebooks, aplicativos e dashboards — sem dependências de plataforma proprietária, ETL complicado ou replicação cara.
Quem supervisiona a governança de dados?
Diretor de dados
Seu diretor de dados (CDO na sigla em inglês) é o executivo mais sênior da sua equipe de governança. Em última análise, é a pessoa responsável pela segurança, acessibilidade e usabilidade de seus dados.
A função de um CDO envolve configurar o sistema, garantir fundos e pessoal para sua operação (e para aspectos relacionados, como ferramentas para automatizar alguns processos) e realizar verificações regulares de seu status geral.
Proprietários de dados
Os proprietários dos dados são indivíduos ou equipes responsáveis pela administração técnica de seus conjuntos de dados. Eles podem tomar decisões sobre quais membros da equipe devem ter acesso a quais tipos de informações. Se suas políticas (ou a falta delas) levarem a uma violação de dados, eles poderão ser responsabilizados.
Para cumprir essa função e suas muitas responsabilidades, os proprietários de dados geralmente também são membros sênior da sua organização.
Gestores de dados
Para ajudar na execução diária de seus fluxos de trabalho de governança de dados, os proprietários de dados e os CDOs devem nomear gestores de dados. A gestão de dados envolve essencialmente a implementação do programa que foi estabelecido para eles e a garantia de que os dados antigos e novos sejam gerenciados adequadamente. Eles são responsáveis por monitorar a conformidade dos funcionários e dos clientes e por encaminhar os problemas que surgirem.
Comitês de governança de dados
Esse comitê será o principal órgão que cria políticas relevantes em sua organização.
Em geral, ele é composto por executivos seniores e proprietários de dados, que têm grande interesse na segurança e na usabilidade dos dados. Após a aprovação de suas políticas, eles podem estabelecer procedimentos a serem seguidos pelos gestores e também resolver disputas entre as partes.
