Arquitetura de ponta a ponta da Inteligência de Dados com Azure Databricks

Resumo da arquitetura

A arquitetura de ponta a ponta da inteligência de dados integra-se perfeitamente com o Power BI e o Copilot no Microsoft Fabric, Microsoft Purview, Azure Data Lake Storage Gen2 e Azure Event Hubs, capacitando a tomada de decisões baseada em dados em toda a empresa. Esta solução demonstra como você pode aproveitar a Plataforma de Inteligência de Dados para Azure Databricks combinada com o Power BI para democratizar dados e IA, atendendo às necessidades de segurança e escala de nível empresarial. Começando com uma arquitetura de lakehouse unificada e aberta, governada pelo Unity Catalog, a inteligência de dados aproveita os dados únicos de uma organização para fornecer uma solução simples, robusta e acessível para ETL, armazenamento de dados e IA, para que possam entregar produtos de dados de forma mais rápida e fácil.

Casos de uso

Esta arquitetura de ponta a ponta pode ser usada para:

1. Modernizar uma arquitetura de dados legada combinando ETL, armazenamento de dados e IA para criar uma plataforma mais simples e à prova de futuro
2. Potencialize casos de uso de análises em tempo real, como recomendações de comércio eletrônico, manutenção preditiva e otimização da cadeia de suprimentos em escala
3. Construa aplicações GenAI de nível de produção, como agentes de atendimento ao cliente movidos a IA, personalização e automação de documentos
4. Capacitar líderes de negócios dentro de uma organização para obter insights de seus dados sem um conjunto de habilidades técnicas profundas ou painéis personalizados
5. Compartilhar ou monetizar dados de forma segura com parceiros e clientes

Fluxo de Dados

1. Ingestão de dados
   • Transmita dados de Azure Event Hubs para Lakeflow Declarative Pipelines, com aplicação de esquema e governança via Unity Catalog
   • Use Auto Loader para ingerir incrementalmente dados não estruturados e semi-estruturados de ADLS Gen2 para o Delta Lake
   • Acessar sistemas relacionais externos usando Lakehouse Federation, garantindo que todas as fontes sigam o mesmo modelo de governança
2. Processe dados em lote e em streaming em grande escala usando Lakeflow Declarative Pipelines e o motor Photon, seguindo a arquitetura de medalhão.
   • Bronze: Dados brutos em lote e em streaming ingeridos como estão para retenção e auditabilidade
   • Prata: Conjuntos de dados limpos e unidos - a lógica de streaming e lote é definida declarativamente para simplificar a complexidade
   • Ouro: Dados agregados e prontos para negócios, projetados para consumo por sistemas de análise e IA downstream
   • Esta abordagem unificada permite que as equipes construam pipelines resilientes que suportam o processamento de dados em tempo real e histórico na mesma arquitetura
3. Armazene todos os dados em um formato aberto e interoperável usando Delta Lake no ADLS Gen2.
   Habilite a compatibilidade entre motores como Delta, Apache Iceberg™ e Hudi, centralizando o armazenamento em um ambiente seguro e escalável.
4. Explore, enriqueça e treine modelos de IA usando notebooks colaborativos e ferramentas de ML governadas.
   Use notebooks sem servidor para exploração e treinamento de modelos, com MLflow, feature store e Unity Catalog gerenciando modelos, recursos e índices de vetores.
5. Sirva consultas ad hoc e de alta concorrência diretamente do seu data lake usando Databricks SQL.
   Forneça acesso rápido e econômico a dados de nível Gold sem a necessidade de mover ou duplicar dados.
6. Visualize dados prontos para negócios no Power BI usando modelos semânticos conectados ao Unity Catalog.
   Crie relatórios no Microsoft Fabric com conexões ao vivo para dados governados via Databricks SQL.
7. Permita que usuários de negócios explorem dados usando linguagem natural com AI/BI Genie.
   Democratize o acesso aos dados permitindo que qualquer um consulte dados de forma conversacional sem escrever SQL.
8. Compartilhe dados ao vivo e governados externamente usando o Delta Sharing.
   Use padrões abertos para distribuir dados de forma segura com parceiros, clientes ou outras unidades de negócios.
9. Orquestre dados e fluxos de trabalho de IA em toda a plataforma usando Databricks Jobs.
   Gerencie dependências, agendamento e execução a partir de um único painel em seus pipelines e trabalhos de ML.
10. Publique metadados no Microsoft Purview para descoberta e governança unificada de dados.
    Amplie seu alcance de governança sincronizando os metadados do Catálogo Unity para visibilidade em toda a empresa.
11. Aproveite os serviços principais do Azure para governança de plataforma.
    • Gerenciamento de identidade e login único (SSO) via Microsoft Entra ID
    • Gerencie custos e faturamento via Microsoft Cost Management
    • Monitorar telemetria e saúde do sistema via Azure Monitor
    • Gerencie chaves criptografadas e segredos via Azure Key Vault
    • Facilite o controle de versão e CI/CD via Azure DevOps e GitHub
    • Garanta a gestão de segurança na nuvem via Microsoft Defender para Cloud