O Unity Catalog é uma solução de governança unificada para todos os dados e ativos de IA em seu lakehouse, incluindo arquivos, tabelas, modelos de machine learning e dashboards, independentemente da nuvem usada.
Governança centralizada para dados e IA
Com um modelo baseado em ANSI SQL, centralize a governança comum de arquivos, tabelas, dashboards e modelos de ML, independentemente da nuvem.
Busca e descoberta de dados integradas
Encontre, entenda e consulte rapidamente dados em todo o seu conjunto de dados para máxima produtividade.
Desempenho e escala
Obtenha melhor desempenho para suas queries com serviço de metadados de baixa latência e otimização automática de tabelas.
Linhagem automatizada para todas as cargas de trabalho
Crie uma visão unificada e transparente de todo o seu ecossistema de dados, enriquecido por uma linhagem automatizada e precisa de todas as cargas de trabalho em SQL, R, Python, Scala, em todos os tipos de ativos: tabelas, notebooks, fluxos de trabalho e dashboards.
Integração com suas ferramentas existentes
Aproveite seus catálogos de dados e soluções de governança existentes para preparar seus dados e estratégia de governança de IA para o futuro.
Como funciona
Gerencie e controle centralmente todos os ativos de dados
Com o modelo de governança comum baseado no padrão aberto ANSI SQL, simplifique a governança de arquivos, tabelas, dashboards e modelos de ML, independentemente da nuvem. Defina as políticas de acesso no nível da conta uma vez e aplique-as a todas as cargas de trabalho e workspaces. O Unity Catalog mantém um log das operações realizadas nos dados, fornecendo auditoria centralizada e precisa dos seus dados. Você pode cumprir os requisitos de conformidade e auditoria com total tranquilidade.
Gerenciar controles de acesso refinados
Use funções SQL padrão para definir filtros de linha e máscaras de coluna e habilitar controles de acesso específicos. À medida que a Databricks continua desenvolvendo recursos para melhorar a escalabilidade e a integração, os próximos controles de acesso baseados em atributos permitirão definir políticas de acesso com base em tags personalizadas (atributos).
Experiência de busca de dados unificada e segura
Encontre, entenda e consulte rapidamente dados relevantes em todo o seu acervo de dados com uma experiência de busca unificada criada para analistas de dados, engenheiros de dados e data scientists. No Unity Catalog, a busca de dados é segura por padrão: o acesso aos resultados é limitado com base nos privilégios dos usuários. Assim, você obtém uma camada extra de segurança para proteção da privacidade.
Desempenho de query aprimorado em qualquer escala
O Unity Catalog oferece desempenho de query aprimorado por meio de um serviço de metadados de baixa latência e ajuste automático de tabela. As queries são executadas mais rapidamente em todas as escalas. A compactação automática e assíncrona de dados otimiza os tamanhos dos arquivos e reduz automaticamente a latência de entrada/saída (E/S) em segundo plano.
Linhagem de dados automatizada e em tempo real
Obtenha visibilidade de ponta a ponta do fluxo de dados em seu lakehouse com linhagem de dados automatizada em tempo real em todas as cargas de trabalho em SQL, Python, Scala e R. Realize rapidamente verificações de qualidade de dados, analise profundamente o impacto das alterações e depure quaisquer erros em seus pipelines de dados. Aproveite a verdadeira linhagem entre tabelas, colunas, notebooks, fluxos de trabalho e dashboards. Os gráficos de linhagem do Unity Catalog representam diferentes níveis de acesso. Sua disponibilidade é, portanto, limitada de acordo com os privilégios de acesso dos usuários. Uma API REST também pode ser usada para recuperar a linhagem para integrações com outros catálogos.
Compartilhamento seguro de dados entre organizações
O Unity Catalog oferece suporte nativo ao Delta Sharing, o primeiro protocolo aberto do mundo para compartilhamento seguro de dados. Ele permite que você compartilhe facilmente dados existentes nos formatos Delta Lake e Apache Parquet em qualquer plataforma de computação. Os usuários não precisam estar na plataforma Databricks ou na mesma nuvem também. Na verdade, eles nem precisam estar em uma nuvem. Você pode compartilhar dados em tempo real sem precisar replicá-los ou copiá-los para outro sistema. Graças às integrações nativas com Power BI, Tableau, Spark, Pandas e Java, os destinatários podem usar os dados compartilhados na ferramenta de sua escolha. Você pode centralizar o gerenciamento, a governança, a auditoria e o rastreamento do uso de dados compartilhados em uma única plataforma.
Integrações perfeitas com suas ferramentas existentes
O Unity Catalog funciona com seus catálogos de dados, sistemas de armazenamento de dados e soluções de governança existentes para que você possa aproveitar seus investimentos existentes e criar um modelo de governança preparado para o futuro sem custos de migração caros.
Dados e armazenamento na nuvem
Governança de dados e parceiros de catálogo
Clientes
“O Unity Catalog nos ajudou a simplificar o gerenciamento de dados e os controles de acesso em toda a empresa. A equipe de dados da Compass integrou com segurança mais de 100 fontes de dados, migrou todos os workspaces para o Unity Catalog e criou uma camada de ouro para as principais partes interessadas explorarem para obter insights sobre áreas como clientes, produtos, uso, receita e muito mais, criando uma única fonte da verdade, com controles de acesso abrangentes em toda a empresa.”
“O Unity Catalog simplificou muito nossa implementação de controle de acesso baseado em funções. Agora, temos a capacidade de proteger dados em nível de catálogo, banco de dados, tabela e coluna. Fornecemos, de forma transparente, o nível adequado de acesso a todos os usuários. Conseguimos adequar o gerenciamento e a segurança do acesso aos dados com confiança para atender às nossas rígidas políticas de conformidade e privacidade.”
“Ao adotar o Unity Catalog, a Milliman conseguiu criar um vínculo direto entre seus vastos ativos de dados e seus usuários, por meio de gerenciamento de acesso simplificado e complexidade de armazenamento reduzida. O Unity Catalog oferece à Milliman a capacidade de exploração colaborativa de dados e armazenamento simplificado, atendendo aos rigorosos padrões do setor de saúde. Com o Unity Catalog, podemos escalar rapidamente com base nas necessidades dos nossos clientes.”
“O Unity Catalog nos permite construir uma plataforma de última geração que libera todo o potencial de veículos definidos por software que evoluem e melhoram à medida que acumulam quilômetros – melhorando assim a experiência de direção para os clientes e maximizando os benefícios ambientais do transporte elétrico. Agora, temos um catálogo de dados centralizado e gerenciamento de acesso em várias equipes e workspaces, o que abriu oportunidades sem precedentes para colaboração e inovação.”
“O Unity Catalog realmente mudou o jogo para nós. Nossos analistas podem acessar as tabelas externas da AWS em tempo real nos workspaces da Databricks e juntá-los às tabelas do Delta Lake. Assim, aproveitamos as vantagens de desempenho oferecidas pelo Databricks SQL sem migrar nossas tabelas Glue. Com o Unity Catalog, diferentes equipes podem colaborar umas com as outras sem ter que mover dados constantemente.”
