por Bryan Saftler
Governança de dados, analytics e IA é talvez o aspecto mais importante e desafiador de qualquer esforço de democratização de dados e IA. Para suas necessidades de dados, analytics e IA, você provavelmente implantou dois sistemas diferentes — data warehouses para business intelligence e data lakes para IA. E agora você criou silos de dados com movimentação de dados entre dois sistemas, cada um com um modelo de governança diferente.
Mas os dados não se limitam a arquivos ou tabelas. Você também tem ativos como dashboards, modelos de ML e notebooks, cada um com seus próprios modelos de permissão, tornando difícil gerenciar permissões de acesso para todos esses ativos de forma consistente. O problema aumenta quando seus ativos de dados existem em várias nuvens com diferentes soluções de gerenciamento de acesso. Boas notícias, há uma maneira de unificar a governança de dados. Mas por que você deveria se importar?
Sem uma governança de dados robusta, as equipes de empresas não conseguem entender completamente seu público, impulsionar melhores resultados de negócios operacionalmente e em todo o ciclo de vida do consumidor, ou controlar vieses algorítmicos e centrados em dados. À medida que os modelos de IA se tornam mais intrincados, é vital entender como eles são governados e como interagem com ativos de dados internos e externos.
Os CIOs entendem isso. De fato, 98% dos CIOs dizem que avançar para uma abordagem unificada e consistente de governança é importante, conforme encontrado no MIT Technology Report co-desenvolvido pela Databricks: Bringing Breakthrough Data Intelligence to Industries.
No mundo acelerado das comunicações, mídia e entretenimento, o público exige experiências personalizadas, adaptadas às suas preferências únicas. Isso requer um profundo entendimento dos dados do usuário — desde hábitos de consumo de conteúdo e entendimento do engajamento de clickstream até informações demográficas, de compras passadas e de transações. No entanto, esses dados são frequentemente fragmentados em vários sistemas e plataformas, tornando desafiador obter uma visão unificada do cliente. Uma governança de dados eficaz é essencial para consolidar e harmonizar esses dados díspares, permitindo que as empresas de mídia construam um perfil 360 graus de seu público. A partir desse perfil 360 graus, as equipes podem construir melhor modelos e sistemas de IA em torno de experiências hiperpersonalizadas, recomendações de conteúdo e mais que mantêm o público engajado e retornando.
À medida que os modelos de IA se tornam mais complexos, é crucial entender como eles interagem com os dados que os alimentam. Práticas robustas de governança de dados garantem transparência e explicabilidade nos insights impulsionados por IA. Isso é alcançado mantendo linhagem de dados detalhada, proveniência e métricas de qualidade que permitem às equipes de dados rastrear as origens e transformações dos dados usados para treinar modelos de IA.
Isso significa que uma governança de dados robusta não é mais opcional — mas essencial. De acordo com a McKinsey & Company, empresas sem governança de dados eficaz desperdiçam até 29% do tempo de sua força de trabalho em tarefas improdutivas devido à má qualidade dos dados. No entanto, apesar de seu papel crítico no aprimoramento da qualidade dos dados e na tomada de decisões, a governança de dados muitas vezes não aumenta diretamente os lucros, levando algumas empresas a relegá-la aos departamentos de TI em vez de tratá-la como uma prioridade estratégica.
Para que a governança de dados transforme uma organização, ela deve ser liderada por executivos de ponta. Com o aumento dos mandatos governamentais, funções como Chief AI Officer e Chief Data Officer (CDO) agora estão impulsionando a iniciativa. Isso é especialmente importante para IA, que depende do contexto de negócios além dos dados subjacentes. Ao lançar um programa de governança de dados, o primeiro passo do CDO é obter apoio do negócio. Isso envolve a criação de duas entidades-chave — o Escritório de Gerenciamento de Dados (DMO) para estabelecer políticas e um Conselho de Dados de líderes de negócios para definir prioridades e garantir a conformidade. Uma estratégia crucial é focar em áreas de dados específicas, como dados de clientes ou produtos, para tornar a iniciativa gerenciável e alinhada com os objetivos estratégicos. Essa abordagem direcionada ajuda a evitar que o escopo avassalador da governança de dados prejudique o programa. Demonstrar os benefícios tangíveis de negócios da governança de dados é vital para manter o financiamento e o apoio executivo. O DMO desempenha um papel crítico na documentação de sucessos e na comunicação do valor do investimento contínuo, garantindo que a governança de dados permaneça uma prioridade mesmo após a resolução de problemas imediatos.
Ao definir padrões de governança de dados, o DMO deve examinar de perto como os dados são criados e acessados em toda a empresa. Embora algum nível de redundância de dados seja muitas vezes inevitável, especialmente para fins operacionais, os avanços nas capacidades de análise agora permitem que as organizações consolidem sua infraestrutura de análise. Em vez de manter um cenário fragmentado de data warehouses independentes, data marts, data lakes e plataformas especializadas de ciência de dados, as organizações devem considerar a consolidação desses ambientes díspares em uma plataforma de dados unificada e corporativa. Essa abordagem centralizada pode dar melhor suporte à amplitude total das necessidades analíticas encontradas em toda a empresa.
A Databricks Data Intelligence Platform foi construída desde o início com essa visão de uma abordagem unificada para dados e analytics em mente. Alimentada por uma camada de gerenciamento de dados no Delta Lake, capaz de trabalhar com dados estruturados e não estruturados originados interna e externamente com desempenho e custo-efetividade, a Databricks permite que as organizações consolidem todos os seus ativos de informação orientados a análises dentro de uma única plataforma unificada.
Com suporte para processamento em tempo real e em lote, a plataforma Databricks permite que engenheiros de dados processem e entreguem insights ao negócio nas velocidades críticas para suportar um resultado de negócio desejado. Com integração com todas as plataformas modernas de business intelligence e descoberta de dados do mercado hoje, bem como suporte robusto para cargas de trabalho de machine learning e IA, incluindo IA generativa, a Databricks é capaz de atender à gama mais completa das necessidades analíticas da organização.
A Databricks Data Intelligence Platform está rapidamente se tornando o padrão da indústria para gerenciamento de dados inovador. É aqui que entra o Unity Catalog. O Unity Catalog está revolucionando a governança de dados ao oferecer uma camada unificada e integrada para gerenciar dados estruturados e não estruturados, modelos de machine learning e vários outros ativos digitais em qualquer nuvem ou plataforma. Como resultado, o Unity Catalog permite que profissionais de dados acessem e colaborem com segurança em dados confiáveis, aproveitando a inteligência artificial para aumentar a produtividade e explorar totalmente as capacidades da arquitetura lakehouse. Isso é particularmente importante devido a regulamentações de privacidade de dados como o General Data Protection Regulation (GDPR) e o California Consumer Privacy Act (CCPA), onde a linhagem de dados é uma consideração crítica ao abordar o "direito de ser esquecido". Essas regulamentações exigem que as organizações sejam capazes de identificar a origem e o fluxo de dados pessoais, para que possam localizá-los e excluí-los mediante solicitação.
Organizações de mídia e entretenimento frequentemente operam em um ambiente multinuvem, com dados e aplicativos espalhados por várias plataformas de nuvem. O Databricks Unity Catalog simplifica o modelo de permissão e a governança de ativos de dados, independentemente de sua localização, fornecendo uma única camada unificada para gerenciar dados estruturados e não estruturados, modelos de machine learning e outros ativos digitais em qualquer nuvem ou plataforma.
Os principais habilitadores disponíveis através do Unity Catalog incluem:
Essa abordagem unificada de governança acelera as iniciativas de dados e IA, simplificando a conformidade regulatória. Para um número crescente de organizações, o Unity Catalog como um componente central da plataforma Databricks se tornou a base de sua estratégia de governança de dados corporativa.
À medida que a indústria de mídia e entretenimento continua a abraçar o poder da IA Generativa, a governança de dados será a chave para desbloquear todo o seu potencial. Ao garantir a qualidade, segurança e acessibilidade dos dados que alimentam esses modelos de IA, as organizações podem impulsionar a inovação, criar conteúdo mais envolvente e oferecer experiências excepcionais ao seu público.
A governança de dados não é apenas um requisito de conformidade, é um imperativo estratégico. Ao adotar uma abordagem de governança centrada em dados e liderada pelo negócio, as organizações podem desbloquear todo o potencial de suas iniciativas de dados e IA, oferecendo experiências personalizadas, impulsionando a inovação e garantindo o sucesso a longo prazo no cenário de mídia em constante mudança.
(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original
Assine nosso blog e receba os posts mais recentes diretamente na sua caixa de entrada.