Anúncio da Disponibilidade Geral do Lakehouse Federation

Hoje, temos o prazer de anunciar que a Lakehouse Federation no Unity Catalog está agora em Disponibilidade Geral (GA) nas nuvens AWS, Azure e GCP! A Lakehouse Federation permite que você descubra, consulte e governe todos os seus dados em um só lugar. Com este lançamento GA, você pode esperar estabilidade, segurança e prontidão empresarial aprimoradas para suas cargas de trabalho federadas.

Neste post, abordamos as funcionalidades GA da Lakehouse Federation, exploramos como ela está impulsionando análises ágeis nas principais empresas do mundo e discutimos os próximos passos.

Guia Rápido da Lakehouse Federation

Organizações em todo o mundo, independentemente do tamanho ou setor, estão aproveitando dados e IA para impulsionar a inovação. No entanto, por razões históricas, organizacionais ou tecnológicas, os dados muitas vezes permanecem dispersos em vários sistemas operacionais e analíticos. Essa fragmentação leva a vários desafios:

1. Dificuldade em descobrir e acessar todos os dados
2. Execução lenta devido a gargalos de engenharia
3. Conformidade fraca em sistemas isolados

A Lakehouse Federation aborda esses pontos críticos e simplifica a forma como as organizações expõem, consultam e governam sistemas de dados isolados como uma extensão de seu lakehouse. Com essas novas funcionalidades, você pode:

1. Criar uma visão unificada do seu patrimônio de dados: Classifique e descubra automaticamente todos os seus dados, estruturados e não estruturados, em um só lugar e permita que todos em sua organização acessem e explorem com segurança todos os dados disponíveis em suas mãos - não importa onde eles residam.
2. Consultar e combinar todos os dados de forma eficiente com um único motor: Acelere análises ad hoc e prototipagem em todos os seus dados, análises e casos de uso de IA nos dados mais completos - sem necessidade de ingestão - com um único motor. O planejamento avançado de consultas entre fontes e o cache garantem o desempenho ideal da consulta, mesmo ao acessar e combinar dados de várias plataformas com uma única consulta.
3. Proteger dados em todas as fontes de dados: Use um modelo de permissão para definir e aplicar regras de acesso e proteger todos os seus dados em todas as fontes de dados. Aplique regras como segurança em nível de linha e coluna, políticas baseadas em tags, auditoria centralizada de forma consistente entre plataformas, rastreie o uso de dados e atenda aos requisitos de conformidade com linhagem de dados e auditabilidade integradas.

Mais de 5.000 clientes Databricks estão aproveitando a Lakehouse Federation para unificar seus patrimônios de dados, garantindo descoberta e governança de dados consistentes.

"A Lakehouse Federation nos permitiu combinar todos os nossos ativos de dados em vários data warehouses e bancos de dados sob o Unity Catalog, simplificando a descoberta e o gerenciamento de acesso aos dados. Isso desbloqueia uma variedade de casos de uso, incluindo ingestão e consultas ad hoc, tornando nossas análises mais fáceis do que nunca." — Alexander Booth, Assistant Director of Research com o Texas Rangers

Disponibilidade Geral

Temos o prazer de anunciar a Disponibilidade Geral para os conectores MySQL, PostgreSQL, Amazon Redshift, Snowflake, Azure SQL Database, SQL Server e Azure Synapse.

Este lançamento marca um marco importante em algumas áreas:

1. Desempenho aprimorado: Com este lançamento, aumentamos significativamente a cobertura de expressões e operadores que podemos enviar (ou seja, delegar para o banco de dados subjacente) para conexões SQL Server, Postgres, MySQL, Snowflake, Redshift e Synapse. Na prática, isso significará consultas com menor latência e criação mais rápida de Materialized Views (MV), tudo isso sem exigir que os usuários modifiquem suas consultas.
2. Estabilidade e observabilidade aprimoradas: Atualizamos nosso framework de federação e pushdown para ser mais resiliente e lidar com cenários de falha sem impactar as cargas de trabalho dos usuários.
   Também introduzimos Perfis de Consulta aprimorados para dar suporte a metadados e estatísticas específicas de federação, oferecendo aos administradores melhores maneiras de monitorar e auditar.
3. Novas opções de segurança: A partir das fontes do ecossistema Azure e Snowflake, estamos adicionando suporte para opções de autenticação sem senha, suporte do Azure AD/Entra ID para Azure SQL e suporte OAuth para Snowflake. Nos próximos meses, também desenvolveremos funcionalidades semelhantes para os ecossistemas AWS/Google.

"A Lakehouse Federation nos ajudou a consolidar nosso cenário de dados com governança consistente em um só lugar e a gerar ganhos significativos de eficiência operacional. Os insights e a qualidade dos dados agora estão perfeitamente integrados, permitindo-nos focar em fornecer aos nossos clientes os melhores insights para maximizar o valor de seus investimentos em publicidade." — Bob Wuisman, Global Head of Production na Ebiquity plc.

Próximos Passos?

Federação de Catálogo

Descubra, governe e acesse dados do Hive Metastore (HMS) e AWS Glue com a Lakehouse Federation. Com a Federação de Catálogo, você poderá montar facilmente qualquer HMS externo (ou interno do Databricks) como um catálogo estrangeiro no Unity Catalog.

Para usuários do Databricks HMS (interno), esta é uma maneira simples e direta de começar com o Unity Catalog e se beneficiar das funcionalidades de governança unificada fornecidas pelo Unity Catalog.

Para usuários de HMS externo e AWS Glue, ele fornece uma maneira integrada de acessar dados externos do metastore diretamente do Unity Catalog sem alterar seus fluxos de trabalho. 

A Federação de Catálogo está atualmente em Private Preview.

Novos Conectores

Expandir a lista de fontes de dados suportadas para a Lakehouse Federation continua sendo uma prioridade em nossa missão de ajudar os clientes a unificar seus patrimônios de dados. Temos o prazer de anunciar que os conectores Google BigQuery, completando o suporte de federação de Data Warehouse em todos os três principais provedores de nuvem, e Salesforce Data Cloud agora estão em Public Preview.

Os conectores Oracle e Teradata estarão disponíveis em breve para preview.

Conexões de Data Warehouse de Alto Rendimento

Para proporcionar uma experiência de consulta mais rápida em data warehouses, que tendem a conter tabelas maiores, estamos adicionando recursos para transferências automáticas de dados de alto rendimento. 

No futuro, começando com os conectores Amazon Redshift & Snowflake, você poderá consultar e materializar tabelas de data warehouses rapidamente. Por baixo dos panos, o Lakehouse Federation aproveitará APIs mais rápidas/em lote (por exemplo, descarregar para armazenamento de objetos ou local de staging em paralelo) e buscará esses resultados em paralelo (sem gargalo no driver). Tudo isso sem qualquer intervenção do usuário!

Compartilhamento para Lakehouse Federation

Por fim, o compartilhamento de dados do Lakehouse Federation se tornará muito mais fácil. A integração futura com o Delta Sharing permitirá que os clientes compartilhem tabelas federadas externamente sem que os destinatários precisem de acesso ao Databricks ou ao sistema de dados subjacente. Isso simplificará o compartilhamento de dados, eliminando a necessidade de cópias redundantes em diferentes sistemas.

Comece Agora

• Leia nossa documentação (AWS, Azure, GCP) para começar com o Lakehouse Federation
• Assista à sessão do Lakehouse Federation do Data and AI Summit 2024 para um mergulho profundo no Lakehouse Federation
• Assista a Matei Zaharia, cofundador e Diretor de Tecnologia da Databricks, apresentar o discurso de abertura no Data+AI Summit 2023 para saber mais sobre os últimos anúncios no Unity Catalog!

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original