O que há de novo com o Azure Databricks: Governança Unificada, Formatos Abertos e Cargas de Trabalho Nativas de IA

Azure Databricks continua a evoluir como a plataforma de dados mais aberta, governada e inteligente no Azure. No Data + AI Summit deste ano da Databricks, introduzimos uma série de novas inovações projetadas para ajudar os clientes do Azure a modernizar as arquiteturas de dados, escalar a colaboração segura e acelerar a adoção de IA. Desde a simplificação da ingestão de dados e orquestração até o empoderamento de mais usuários com insights governados, essas inovações tornam mais fácil do que nunca construir, implantar e escalar IA em toda a sua organização. Neste resumo, abordaremos as principais atualizações anunciadas no Data + AI Summit - agora disponíveis no Azure.

Capacitando Usuários de Negócios com Databricks One + Genie

Databricks One é uma nova experiência de espaço de trabalho projetada para ajudar os usuários de negócios a tirar o máximo proveito dos dados e da IA com o mínimo de atrito. Ela oferece uma interface simplificada e intuitiva onde os usuários podem explorar painéis de AI/BI, fazer perguntas usando linguagem natural através do Genie e acessar aplicativos personalizados do Databricks. Os usuários também podem descobrir painéis, espaços e ferramentas relevantes através de recomendações alimentadas por IA, tudo dentro de um ambiente controlado integrado com a identidade e segurança do Azure.

Como parte desta experiência, o novo “acesso do consumidor”, disponível para todos os clientes Databricks hoje, fornece aos usuários de negócios uma interface simplificada e somente leitura para acessar ativos compartilhados como painéis, espaços Genie e Databricks Apps - tornando insights governados acessíveis aos tomadores de decisão.

AI/BI Genie agora está disponível para todos, capacitando usuários de negócios a fazer perguntas de dados em linguagem natural e receber respostas precisas e explicáveis. Alimentado pela Data Intelligence, o Genie aprende com os padrões de uso organizacional e metadados para gerar SQL, gráficos e resumos baseados em dados confiáveis. Ele suporta perguntas de acompanhamento, raciocínio profundo (em breve) e compreensão semântica para ajudar os usuários a ir além do painel e descobrir insights significativos. Além disso, o conector nativo do Azure Databricks para o Azure AI Foundry permite que os agentes do Foundry recuperem insights controlados e em tempo real do AI/BI Genie. Este conector respeita as permissões do Catálogo Unity e garante que os insights estejam fundamentados nos dados confiáveis de sua organização.

Governança Unificada e Abertura: A Fundação para Interoperabilidade

Unity Catalog é a base da plataforma aberta, segura e interoperável do Azure Databricks. Atualizações recentes continuam a expandir suas capacidades:

• Controle de Acesso Baseado em Atributos (ABAC) define políticas de acesso flexíveis usando tags que podem ser aplicadas no nível do catálogo, esquema ou tabela. O ABAC está disponível em Beta para segurança em nível de linha e coluna. 
• Publicação automatizada para o Power BI permite que conjuntos de dados governados sejam publicados e atualizados de forma segura no Power BI, reforçando a segurança e integridade dos dados em toda a pilha Microsoft. Quando o ABAC é usado com a tarefa Publicar no Power BI, o ABAC garante que apenas usuários autorizados possam visualizar ou publicar dados controlados, alinhando o acesso ao espaço de trabalho com atributos de negócios e políticas de segurança.
• O Catálogo Espelhado do Azure Databricks agora está Geralmente Disponível. Este recurso permite que tabelas governadas no Unity Catalog sejam acessadas pelo Microsoft Fabric, possibilitando a interoperabilidade por meio das APIs abertas do Unity Catalog.
• Governança de dados entre nuvens com o Catálogo Unity suporta o acesso a dados S3 a partir do Azure Databricks. Isso permite que as organizações apliquem segurança consistente, auditoria e linhagem de dados em limites de nuvem.
• Classificação de Dados, Detecção de Anomalias e Melhorias de Auditoria aproveitam a inteligência de dados para sinalizar automaticamente anomalias e campos sensíveis em seus dados
• Tabelas Gerenciadas Iceberg trazem suporte completo ao Apache Iceberg™ para o Catálogo Unity, permitindo acesso aberto e governado em vários motores e ferramentas. 

Com esses aprimoramentos, o Catálogo Unity se destaca como o catálogo mais rico em recursos, performático e aberto disponível hoje. Ele ajuda as organizações a padronizar a governança e acelerar a inovação em todo o seu patrimônio de dados Azure. Esses benefícios já estão sendo realizados através das tabelas gerenciadas do Catálogo Unity, que aplicam otimizações de IA integradas para oferecer economia de custos de até 50%+ e consultas 20x mais rápidas, tudo sem necessidade de ajuste ou manutenção manual.

Modernize o armazenamento de dados e o ETL com o Lakeflow e o Lakebridge

Lakeflow, agora disponível para todos, unifica a ingestão de dados, transformação e orquestração por meio de três componentes integrados:

• Lakeflow Connect para ingestão gerenciada e confiável
• Pipelines Declarativos Lakeflow para construção de pipelines de dados escaláveis com facilidade  
• Trabalhos Lakeflow para orquestração nativa de dados e IA

Lakeflow simplifica a engenharia de dados eliminando a necessidade de unir várias ferramentas, reduzindo a complexidade e o custo para que as equipes possam se concentrar em gerar valor para o negócio. Para equipes de engenharia, a tecnologia subjacente é de código aberto como Pipelines Declarativos Spark, oferecendo transparência e flexibilidade para usuários avançados.

Ao mesmo tempo, o Lakeflow Designer—o novo construtor de pipeline visual alimentado por IA disponível em pré-visualização ainda este ano—permite que usuários não técnicos construam, implantem e monitorem pipelines de dados de nível de produção através de uma interface sem código. Isso é especialmente valioso para clientes Azure que procuram modernizar fluxos de trabalho a partir de ferramentas ETL legadas, tornando o desenvolvimento de pipeline acessível a uma gama mais ampla de usuários, garantindo confiabilidade e escalabilidade.

Lakebridge acelera a migração de cargas de trabalho de armazém de dados legado para Azure Databricks SQL. Ele simplifica a avaliação, conversão, validação e reconciliação - oferecendo uma implementação até 2x mais rápida para equipes que estão migrando de Teradata, Oracle, Snowflake e mais.

Bancos de dados e aplicativos para cargas de trabalho nativas de IA

Lakebase é o primeiro banco de dados Postgres totalmente gerenciado integrado com o lakehouse e construído para aplicações inteligentes. Lakebase permite que os clientes combinem cargas de trabalho operacionais, analíticas e de IA do Azure Databricks, dentro de uma plataforma unificada e sem pipelines ETL personalizados. Os casos de uso comuns incluem servir dados e/ou recursos do lakehouse em aplicações como recomendações personalizadas, construção de aplicações e agentes para processamento de pedidos ou chatbots, e análise de dados operacionais no lakehouse para análise de pedidos históricos, para citar alguns.

Databricks Apps, agora geralmente disponíveis, permitem que as equipes construam aplicações seguras e governadas diretamente dentro do ambiente Azure Databricks. Desde ferramentas administrativas internas até aplicações voltadas para o cliente, os aplicativos podem ser construídos em Python ou JavaScript e integram-se perfeitamente com a autenticação Azure. Isso também pode ser complementado com Microsoft Power Apps para permitir interfaces de usuário flexíveis respaldadas pela governança do Catálogo Unity.

Conclusão: Azure Databricks é Sua Plataforma de Inteligência de Dados Nativa de IA

Azure Databricks está entregando o futuro dos dados e da IA. Com inovações em governança, abertura e cargas de trabalho nativas de IA, estamos ajudando os clientes do Azure a simplificar as operações, aumentar a produtividade e escalar insights em suas organizações.

Explore essas novas capacidades hoje e comece sua jornada em direção a uma Plataforma de Inteligência de Dados Databricks no Azure.

Comece com uma avaliação gratuita de 14 dias do Azure Databricks

(This blog post has been translated using AI-powered tools) Original Post