Descoberta de dados unificada com contexto de negócios no Unity Catalog

O descobrimento de dados tem como base o contexto de negócios

À medida que os ecossistemas de dados crescem, muitas organizações enfrentam um desafio básico: ajudar as pessoas a encontrar os dados certos e a decidir se devem usá-los. As equipes empacam porque não conseguem responder com confiança a perguntas fundamentais: esses dados existem? Onde eles estão? Quais dados devo usar? O que eles significam? São confiáveis? E como eu consigo acesso?

Na prática, a descoberta é fragmentada. Os dados são organizados em torno de fontes e sistemas de produção, enquanto o significado de negócio reside em outro lugar, em dashboards, documentos, wikis ou conhecimento institucional. Sinais de confiança e fluxos de trabalho de acesso são frequentemente desconectados dos lugares onde as pessoas realmente procuram por dados.

Quando a descoberta não tem contexto de negócios, os usuários perdem tempo pesquisando ou duplicando trabalho, os responsáveis pelos dados se tornam gargalos e a adoção fica estagnada, mesmo quando os dados certos já existem.

Uma experiência de descoberta unificada e inteligente em todos os ativos de dados e IA

Hoje, a Databricks apresenta uma nova experiência Discover, agora disponível em Beta, integrada diretamente ao Unity Catalog. A página Discover substitui a descoberta fragmentada e específica da ferramenta por uma maneira única e selecionada de encontrar e entender dados, análise de dados e ativos de AI. Em vez de pesquisar em várias ferramentas ou adivinhar qual dataset usar, os usuários podem encontrar ativos relevantes e confiáveis em um só lugar.

O Unity Catalog permite que a inteligência de dados seja aplicada à descoberta, em que:

• O significado de negócio está incorporado diretamente no catálogo por meio de Domínios (agrupamentos de ativos alinhados aos negócios) e metadados governados, para que os usuários entendam o que os dados representam, e não apenas onde residem.
• Certificações e descontinuações revelam sinais de confiança e qualidade juntamente com os ativos, ajudando as equipes a se concentrarem nos dados mais importantes
• Inteligência de dados nativa da plataforma usa sinais como uso, linhagem e propriedade para fornecer contexto sobre como os ativos são usados e quem é responsável por eles
• Fluxos de trabalho integrados de solicitação de acesso permitem que os usuários passem da descoberta para a ação sem sair da experiência

A página Discover abrange todo o seu lakehouse, desde dados estruturados e não estruturados até dashboards, métricas, Notebooks, aplicações e ativos de IA, como os Genie spaces, todos disponibilizados por meio de uma experiência única e governada.

Domínios: organizando a descoberta em torno de como o negócio funciona

Domínios, agora em Beta, fornecem a base para uma descoberta alinhada aos negócios.

Em vez de forçar os ativos em hierarquias técnicas rígidas, os domínios organizam os ativos de dados e analítica por unidade de negócios ou caso de uso, como Finanças, marketing ou telemetria do cliente. É importante ressaltar que os ativos podem aparecer em vários Domínios. Isso elimina as desvantagens das estruturas de pastas tradicionais, nas quais as equipes precisam decidir a qual hierarquia única um ativo pertence.

Os domínios combinam a inteligência de metadados com o controle humano:

• Ativos populares e usados com frequência são exibidos automaticamente
• Os curadores podem pin ativos de alta prioridade ou recém-publicados para garantir que os datasets e dashboards mais importantes sejam fáceis de encontrar
• Os ativos podem ter a curadoria feita em vários Domínios sem duplicação.

Os Domínios também permitem que os administradores:

• Organize ativos relevantes em dados e analítica
• Personalize a experiência de navegação em cada página de Domínio
• Adicione descrições detalhadas e designe proprietários técnicos e de negócios

Para os usuários, isso significa que a descoberta é intuitiva e alinhada ao trabalho deles. Para as organizações, isso significa que o contexto de negócios é codificado de forma flexível no catálogo, sem impor hierarquias rígidas.

Sinais de IA guiados pela experiência humana com curadoria inteligente

Nossa experiência na página Descobrir se baseia nos recursos existentes do Unity Catalog, combinando sinais alimentados por IA, como uso e popularidade, com a curadoria humana por meio de certificações e marcação de descontinuação.

As certificações atuam como sinais de confiança claros, ajudando os usuários a identificar rapidamente quais ativos são fontes da verdade recomendadas e aprovadas. As recomendações baseadas em IA ajudam a trazer à tona ativos relevantes e de alto valor sem sobrecarregar os usuários.

A página Descobrir também permite que os curadores criem seções personalizadas para destacar os keys ativos na página Descobrir e nas páginas de Domínio individuais. Isso pode orientar os usuários que não estão familiarizados com o cenário de dados da organização para os dados e percepções corretas. 

Confiança e acesso integrados diretamente à descoberta

A descoberta só funciona se os usuários puderem agir com base no que encontram. A página Discover foi criada com base no modelo de permissão do Unity Catalog, permitindo que as organizações concedam amplo acesso a metadados por meio de Navegar, ao mesmo tempo que aplicam controles de acesso à consulta dos dados subjacentes. Os usuários podem entender a finalidade, a qualidade e a propriedade de um ativo e, em seguida, solicitar acesso diretamente quando estiverem prontos para usá-lo.

Ao incorporar fluxos de trabalho de acesso na descoberta, as equipes reduzem as aprovações manuais, encurtam o tempo para a percepção e escalam a governança sem transformar os curadores em gargalos.

Introdução

A página Discover e os Domínios agora estão em Beta na AWS, noAzure Databricks e no GCP, e são desenvolvidos para empresas com dados distribuídos, equipes orientadas a domínios e plataformas de dados que atendem a usuários técnicos e de negócios. Convidamos você a se inscrever na versão beta e compartilhar seu feedback para ajudar a moldar o roteiro. Confira nossa demo para ver como funciona na prática! 

Saiba mais sobre como o Unity Catalog garante que seus dados, modelos, agentes e aplicativos sejam detectáveis, governados e seguros visitando nosso site. 

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original