Anunciando a Disponibilidade Geral da governança de dados cross-cloud

Temos o prazer de anunciar que a capacidade de acessar dados do AWS S3 no Azure Databricks por meio do Unity Catalog para habilitar a governança de dados cross-cloud agora está em Disponibilidade Geral. Como a única solução de governança unificada e aberta do setor para todos os ativos de dados e IA, o Unity Catalog capacita as organizações a governar os dados onde quer que eles estejam, garantindo segurança, conformidade e interoperabilidade entre nuvens. Com este lançamento, as equipes podem configurar e consultar diretamente dados do AWS S3 a partir do Azure Databricks sem a necessidade de migrar ou copiar conjuntos de dados. Isso facilita a padronização de políticas, controles de acesso e auditoria no armazenamento ADLS e S3.

Neste blog, abordaremos dois tópicos principais:

• Como o Unity Catalog possibilita a governança de dados cross-cloud
• Como acessar e trabalhar com dados do AWS S3 a partir do Azure Databricks

O que é governança de dados cross-cloud no Unity Catalog?

À medida que as empresas adotam arquiteturas híbridas e cross-cloud, elas frequentemente enfrentam controles de acesso fragmentados, políticas de segurança inconsistentes e processos de governança duplicados. Essa complexidade aumenta os riscos, eleva os custos operacionais e desacelera a inovação.

A governança de dados cross-cloud com o Unity Catalog simplifica isso ao estender um modelo de permissão único, aplicação centralizada de políticas e auditoria abrangente para dados armazenados em várias nuvens, como AWS S3 e Azure Data Lake Storage, tudo gerenciado de dentro da plataforma Databricks.

Os principais benefícios de aproveitar a governança de dados cross-cloud no Unity Catalog incluem:

• Governança unificada – Gerencie políticas de acesso, controles de segurança e padrões de conformidade em um só lugar, sem precisar lidar com sistemas isolados
• Acesso a dados sem fricção – Descubra, consulte e analise dados com segurança entre nuvens em um único workspace, eliminando silos e reduzindo a complexidade
• Maior segurança e conformidade – Obtenha visibilidade centralizada, marcação (tagging), linhagem, classificação de dados e auditoria em todo o seu armazenamento em nuvem

Ao unificar a governança entre nuvens, o Unity Catalog oferece às equipes uma interface única e segura para gerenciar e maximizar o valor de todos os seus ativos de dados e IA — onde quer que estejam.

Como funciona

Anteriormente, ao usar o Azure Databricks, o Unity Catalog suportava apenas locais de armazenamento no ADLS. Isso significava que, se você tivesse dados armazenados em um bucket do AWS S3, mas precisasse acessá-los e processá-los com o Unity Catalog no Azure Databricks, a abordagem tradicional exigiria a extração, transformação e carregamento (ETL) desses dados em um contêiner ADLS — um processo caro e demorado. Isso também aumenta o risco de manter cópias duplicadas e desatualizadas dos dados.

Com este lançamento em GA, agora você pode configurar um local externo do S3 cross-cloud diretamente do Unity Catalog no Azure Databricks. Isso permite ler e governar perfeitamente seus dados do S3 sem migração ou duplicação.

Você pode configurar o acesso ao seu bucket do AWS S3 em apenas alguns passos simples:

1. Configure sua credencial de armazenamento e crie um local externo. Assim que seus recursos do AWS IAM e S3 estiverem provisionados, você poderá criar sua credencial de armazenamento e local externo diretamente no Catalog Explorer do Azure Databricks.
   • Para criar sua credencial de armazenamento, navegue até Credentials no Catalog Explorer. Selecione AWS IAM Role (Read-only), preencha os campos obrigatórios e adicione o trecho da política de confiança quando solicitado.​
   • Para criar um local externo, navegue até External locations no Catalog Explorer. Em seguida, selecione a credencial que você acabou de configurar e preencha os detalhes restantes.
2. Aplique permissões. Na página Credentials no Catalog Explorer, agora você pode ver seus dados do ADLS e S3 juntos em um só lugar no Azure Databricks. A partir daí, você pode aplicar permissões consistentes em ambos os sistemas de armazenamento.

3. Comece a consultar! Você está pronto para consultar seus dados do S3 diretamente do seu workspace do Azure Databricks.

O que é suportado no lançamento em GA?

Com a GA, agora oferecemos suporte ao acesso a tabelas e volumes externos no S3 a partir do Azure Databricks. Especificamente, os seguintes recursos agora são suportados em capacidade de apenas leitura:

• Credenciais de armazenamento de função (role) do AWS IAM
• Locais externos do S3
• Tabelas externas do S3
• Volumes externos do S3
• Acesso S3 dbutils.fs
• Delta Sharing de dados do S3 a partir do UC no Azure

Primeiros passos

Para testar a governança de dados cross-cloud no Azure Databricks, confira nossa documentação sobre como configurar credenciais de armazenamento para funções IAM para armazenamento S3 no Azure Databricks. É importante observar que seu provedor de nuvem pode cobrar taxas pelo acesso a dados externos aos serviços de nuvem dele. Para começar a usar o Unity Catalog, siga nosso guia do Unity Catalog para o Azure.

Junte-se à equipe de produto e engenharia do Unity Catalog no Data + AI Summit, de 9 a 12 de junho, no Moscone Center em San Francisco! Conheça em primeira mão as últimas inovações em governança de dados e IA. Inscreva-se agora para garantir sua vaga!

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original