Databricks e AWS parceiros para simplificar a configuração da infraestrutura

Hoje, anunciamos que a configuração automatizada para implantação de workspace clássicos na AWS está em disponibilidade geral. Os clientes agora podem implantar novos Workspaces em minutos, diretamente do console da account do Databricks. Com a tecnologia de delegação temporária do AWS IAM, esse novo fluxo automatiza a configuração da infraestrutura, permitindo que os clientes dediquem mais tempo à construção de inteligência de dados.

O Databricks on AWS está crescendo a um ritmo sem precedentes. À medida que esse crescimento acelera, nossos clientes deixaram claro que querem se concentrar na inteligência de dados, e não na administração da cloud.

Anteriormente, a configuração de um Databricks workspace na AWS exigia que os administradores de cloud configurassem manualmente a infraestrutura no Databricks e na AWS, o que levava até uma hora.

A Databricks e a AWS fizeram uma parceria para simplificar o onboarding de clientes em todo o passo. No ano passado, no AWS re:Invent, anunciamos o SaaS Quick Launch para uma integração simplificada com o AWS Marketplace e o Buy with AWS para aquisições mais rápidas.

Neste blog, abordaremos:

• Como a configuração automatizada funciona com a delegação temporária do AWS IAM
• Como configurar um workspace com o novo fluxo

Como a configuração automatizada funciona

Para implantar workspaces clássicos do Databricks, os clientes precisam fornecer suas credenciais da AWS para provisionar e gerenciar recursos de compute do EC2 e de armazenamento do S3. Anteriormente, os administradores de cloud criavam manualmente IAM roles com políticas JSON de mais de 140 linhas, configuravam buckets do S3 e a rede VPC, um processo que levava até uma hora.

Agora, bastam alguns cliques:

O que está acontecendo aqui?

Com tecnologia de delegação temporária do AWS IAM, o Databricks provisiona automaticamente todos os recursos necessários quando os usuários selecionam “Adicionar automaticamente” durante a criação do workspace:

Credencial de compute

• IAM role entre accounts com permissões de escopo definido e políticas de confiança adequadas para acesso à compute clássica e gerenciamento do ciclo de vida
• VPC gerenciada pelo cliente com sub-redes default, grupos de segurança e tabelas de roteamento

Credenciais de armazenamento

• Bucket do S3 com políticas de acesso configuradas adequadamente
• Função do IAM separada que concede ao Unity Catalog acesso de privilégio mínimo ao bucket do S3
• Eventos de arquivos gerenciados são habilitados automaticamente para um processamento de dados eficiente

Verificação de permissão delegada:

Após fazer login na AWS, a integração de delegação temporária verifica as permissões do usuário na AWS e as compara com as necessárias para criar um workspace clássico.

• Se tiverem acesso suficiente, os usuários concedem ao Databricks permissões temporárias (por uma duração específica) para provisionar automaticamente todos os recursos necessários da AWS. Caso contrário, eles podem solicitar as permissões necessárias ao administrador da account da AWS no mesmo fluxo.
• Todas as permissões delegadas têm tempo limitado e expiram automaticamente após a implantação, reduzindo o acesso permanente e o risco de segurança. Os clientes sempre analisam e aprovam as permissões solicitadas no console da AWS antes que quaisquer recursos sejam criados.

Key benefícios da configuração automatizada

• Elimina erros comuns: o provisionamento automatizado evita erros como políticas de confiança incorretas, falta de permissões do S3 ou IDs mal configurados.
• Fluxos de trabalho de aprovação integrada: usuários sem as permissões necessárias podem solicitá-las aos administradores de suas accounts AWS, eliminando a falha mais comum na criação de workspaces clássicos.
• Segurança de privilégio mínimo por default: todas as funções do IAM seguem os princípios de privilégio mínimo com permissões e limites de escopo definido alinhados às políticas de segurança da empresa
• Gerenciamento de eventos de arquivo ativado: configurado automaticamente para um processamento de dados eficiente com o Autoloader.
• VPCs gerenciadas pelo cliente por default: cada workspace é implantado em uma VPC gerenciada pelo cliente, com a opção de adicionar recursos de segurança empresarial após a implantação
• Trilha de auditoria completa: todas as ações automatizadas são registradas no AWS CloudTrail com visibilidade total dos recursos criados

Saiba mais

Se você quiser criar um novo workspace clássico usando novas credenciais, acesse o console da sua account do Databricks e experimente a nova experiência de implantação de configuração automatizada hoje mesmo. Clique em “Criar workspace” na guia Workspace para começar.

Se você é novo no Databricks, inscreva-se para a nossa avaliação.

Para mais informações:

• Saiba mais sobre as opções de implantação de workspace
• Informações adicionais sobre a delegação temporária do AWS IAM

join a nós no AWS Reinvent, de 1 a 5 de dezembro no Venetian em Las Vegas! Saiba como as principais organizações estão acelerando suas jornadas de modernização de dados na AWS e tenha uma experiência prática com as últimas inovações.

(This blog post has been translated using AI-powered tools) Original Post