Anunciando a Disponibilidade Geral da governança de dados entre nuvens

Estamos animados para anunciar que a capacidade de acessar dados AWS S3 no Azure Databricks através do Unity Catalog para habilitar a governança de dados entre nuvens agora está disponível para todos. Como a única solução unificada e aberta de governança da indústria para todos os dados e ativos de IA, o Unity Catalog permite que as organizações governem dados onde quer que estejam, garantindo segurança, conformidade e interoperabilidade entre as nuvens. Com este lançamento, as equipes podem configurar e consultar diretamente os dados AWS S3 do Azure Databricks sem precisar migrar ou copiar conjuntos de dados. Isso facilita a padronização de políticas, controles de acesso e auditoria em ambos os armazenamentos ADLS e S3. 

Neste blog, abordaremos dois tópicos principais:

• Como o Unity Catalog permite a governança de dados entre nuvens
• Como acessar e trabalhar com dados do AWS S3 a partir do Azure Databricks

O que é governança de dados entre nuvens no Unity Catalog? 

À medida que as empresas adotam arquiteturas híbridas e multi-cloud, elas frequentemente enfrentam controles de acesso fragmentados, políticas de segurança inconsistentes e processos de governança duplicados. Essa complexidade aumenta o risco, eleva os custos operacionais e retarda a inovação.

A governança de dados entre nuvens com o Unity Catalog simplifica isso, estendendo um único modelo de permissão, aplicação centralizada de políticas e auditoria abrangente em dados armazenados em várias nuvens, como AWS S3 e Azure Data Lake Storage, todos gerenciados a partir da Plataforma Databricks.

Os principais benefícios de aproveitar a governança de dados entre nuvens no Unity Catalog incluem:

• Governança unificada – Gerencie políticas de acesso, controles de segurança e padrões de conformidade a partir de um único lugar, sem ter que lidar com sistemas isolados
• Acesso a dados sem atritos – Descubra, consulte e analise dados de forma segura em nuvens em um único espaço de trabalho, eliminando silos e reduzindo a complexidade
• Maior segurança e conformidade – Obtenha visibilidade centralizada, marcação, linhagem, classificação de dados e auditoria em todo o seu armazenamento em nuvem

Ao unir a governança entre nuvens, o Unity Catalog oferece às equipes uma única interface segura para gerenciar e maximizar o valor de todos os seus dados e ativos de IA, independentemente de onde estejam.

Como funciona

Anteriormente, ao usar o Azure Databricks, o Unity Catalog suportava apenas locais de armazenamento dentro do ADLS. Isso significa que, se você tem dados armazenados em um bucket do AWS S3, mas precisa acessar e processá-los com o Unity Catalog no Azure Databricks, a abordagem tradicional exigiria a extração, transformação e carregamento (ETL) desses dados em um contêiner ADLS - um processo que é tanto custoso quanto demorado. Isso também aumenta o risco de manter cópias duplicadas e desatualizadas de dados.

Com este lançamento de Disponibilidade Geral, você pode agora configurar um local S3 entre nuvens diretamente do Unity Catalog no Azure Databricks. Isso permite que você leia e governe seus dados S3 sem migração ou duplicação. 

Você pode configurar o acesso ao seu bucket AWS S3 em algumas etapas simples: 

1. Configure sua credencial de armazenamento e crie um local externo. Uma vez que seus recursos AWS IAM e S3 estão provisionados, você pode criar sua credencial de armazenamento e local externo diretamente no Azure Databricks Catalog Explorer. 
   • Para criar sua credencial de armazenamento, navegue até Credenciais dentro do Catalog Explorer. Selecione AWS IAM Role (Somente leitura), preencha os campos necessários e adicione o trecho da política de confiança quando solicitado.​
   • Para criar um local externo, navegue até Locais externos dentro do Catalog Explorer. Em seguida, selecione a credencial que você acabou de configurar e complete os detalhes restantes. 
2. Aplicar permissões. Na página de Credenciais dentro do Catalog Explorer, agora você pode ver seus dados ADLS e S3 juntos em um só lugar no Azure Databricks. A partir daí, você pode aplicar permissões consistentes em ambos os sistemas de armazenamento.

3. Comece a fazer consultas! Você está pronto para consultar seus dados S3 diretamente do seu espaço de trabalho Azure Databricks.

O que é suportado no lançamento GA?

Com o GA, agora suportamos o acesso a tabelas e volumes externos no S3 a partir do Azure Databricks. Especificamente, as seguintes funcionalidades agora são suportadas apenas para leitura:

• Credenciais de armazenamento de função IAM da AWS
• Localizações externas S3
• Tabelas externas S3
• Volumes externos S3
• Acesso S3 dbutils.fs
• Compartilhamento Delta de dados S3 da UC no Azure

Introdução

Para experimentar a governança de dados multi-cloud no Azure Databricks, confira nossa documentação sobre como configurar credenciais de armazenamento para funções IAM para armazenamento S3 no Azure Databricks. É importante notar que seu provedor de nuvem pode cobrar taxas para acessar dados externos aos seus serviços de nuvem. Para começar com o Unity Catalog, siga nosso guia Unity Catalog para Azure. 

Junte-se à equipe de produto e engenharia do Unity Catalog na Data + AI Summit, de 9 a 12 de junho no Moscone Center em San Francisco! Dê uma primeira olhada nas últimas inovações em governança de dados e IA. Registre-se agora para garantir sua vaga!

(This blog post has been translated using AI-powered tools) Original Post