Como substituímos nossos slides estáticos de arquitetura de referência padrão por um painel de arquitetura interativo para 70 setores, em 3 nuvens e 16 idiomas, enriquecido com disponibilidade regional de produtos e materiais de aprendizado.
por Ashraf Osman, Amr Ali e Shelley Shaffery
A maioria das apresentações sobre a arquitetura do Databricks costumava começar com o mesmo slide: ingestão à esquerda, o lakehouse no centro, BI e IA à direita. O slide está correto, mas não especifica para onde vão o razão bancário principal de um banco e as mensagens de pagamento SWIFT. Um hospital quer saber o que acontece com as mensagens HL7 do seu sistema de prontuário eletrônico (EHR) e com suas imagens médicas DICOM. Uma concessionária pergunta sobre as leituras de medidores inteligentes e os dados de SCADA vindos da rede elétrica.
Portanto, as pessoas redesenhavam o slide para cada setor, e as cópias acabavam divergindo. Elas ficavam desatualizadas a cada lançamento de produto, ficavam salvas em laptops individuais e não havia como saber qual delas era a mais recente.
A Databricks Reference Architecture simplifica essa jornada. É um painel público e interativo com uma versão para cada um dos 70 setores, atualizado a partir da documentação do Databricks para não ficar obsoleto. Cada caixa abre um painel explicando o que é, quem a utiliza e onde saber mais. Você também pode copiar qualquer painel e modificá-lo para atender aos seus próprios sistemas.
O painel de arquitetura abrange 70 setores em 11 segmentos econômicos até 16 de novembro de 2026. Clique em um nome para abrir o respectivo painel.
Você encontrará a mesma lista no seletor de indústrias na parte superior do painel. Você pode pesquisar qualquer indústria de interesse e interagir com ela. Há também a Standard Reference Architecture, que é o painel de arquitetura sem viés de indústria.
A Databricks Platform no centro é a mesma em todas as indústrias. O que muda são os elementos ao redor.
As fontes são os sistemas que a indústria realmente utiliza: 964 sistemas diferentes distribuídos nos 70 painéis até o lançamento deste blog. Eles são agrupados da forma como as pessoas desse setor se referem a eles. Como prontuário eletrônico do paciente (EHR), exames de imagem e ciclo de receita na saúde, ou medição, SCADA e gerenciamento de interrupções em uma empresa de serviços públicos. A maioria das caixas de origem também especifica os dados que enviam: se são em lotes (batch) ou streaming, o formato, a quantidade e a frequência. Por padrão, uma fonte mostra seu tipo, como prontuário eletrônico do paciente (EHR). Alterne para "Marcas" para ver os produtos dos fornecedores.
Os painéis também listam os formatos de dados que cada indústria troca, totalizando 186. Eles vão de FIX e ISO 20022 em finanças até HL7, FHIR e DICOM na saúde, e OPC UA na manufatura, e cada um possui um link para o órgão que o publica.
As equipes trazem os nomes que cada setor usa, como Tesouraria e ALM em um banco ou Operações de Rede em uma concessionária, com 1.538 personas nos 70 painéis.
As camadas medallion também usam os termos próprios da indústria. No painel bancário, a camada Gold contém margem financeira líquida e índices de liquidez. No painel de saúde, ela contém tempo de permanência e desfechos de pacientes. E cada painel conta com 10 casos de uso, 4 Genie Agents, 4 AI/BI Dashboards e 4 Databricks Apps desenvolvidos para essa indústria.
Veja como seis deles se comparam, desde as fontes até a camada Silver:
| Indústria | Grupos de sistemas de origem | Formatos de dados | Conformados em Silver |
|---|---|---|---|
| Bancos | Banking core, cartões e pagamentos, canais digitais, risco e finanças, open banking | ISO 20022, SWIFT MT, BAI2, Nacha ACH | Clientes e contas |
| Saúde | EHR e clínico, ciclo de receita, imagens e dispositivos, operações e equipe | HL7 v2, FHIR, DICOM, X12N | Pacientes e atendimentos |
| Manufatura | ERP e planejamento, MES e chão de fábrica, qualidade e PLM, IoT e historiadores | OPC UA, MTConnect, B2MML, Sparkplug | Pedidos e lotes |
| Telecomunicações | BSS e faturamento, OSS e inventário, atendimento ao cliente, serviços de campo, fraudes e garantia | CDR, TAP3, NRTRDE, TMF Open APIs | Assinantes e sessões |
| Utilidades elétricas | Medição e AMI, SCADA e operações de rede, cliente e faturamento, GIS e gerenciamento de interrupções | CIM, IEC 61850, DNP3, COMTRADE | Medidores e instalações |
| Farmacêutica | Descoberta e P&D, clínico e EDC, manufatura GxP, qualidade e LIMS, segurança e comercial | eCTD, ICH E2B(R3), SPL, CDISC | Sujeitos e lotes |
Cada painel é aberto na visualização Simplificada. Ela mostra o que você precisa para entender a indústria: as primeiras entradas em cada grupo, sistemas principais como o sistema core banking de um banco, os casos de uso com histórias de clientes da Databricks e os principais serviços de nuvem.
A visualização Detalhada adiciona todo o resto, como CI/CD, monitoramento e repositórios operacionais, além de legendas, tags de capacidade e descrições. Alterne as visualizações na barra de ferramentas. Links compartilhados e exportações seguem a visualização exibida na tela.
Todos os 700 casos de uso indicam o problema que resolvem, qual equipe se beneficia e como são construídos no Databricks, com um link para cada produto utilizado. 581 deles possuem links para pelo menos uma história de cliente do Databricks, e esses aparecem primeiro. Quando há um Databricks Solution Accelerator para um caso de uso, o painel inclui um link para ele para que você possa começar a partir de código funcional.
Os Genie Agents funcionam da mesma forma. No painel farmacêutico, o Trial Enrollment Agent lê a captura de dados eletrônicos e os sistemas de gerenciamento de ensaios clínicos para a equipe de operações clínicas, líderes de biofarmacêutica e gerentes de ensaios clínicos. O painel lista as perguntas que essas equipes fariam a ele, como quais locais estão com inscrições abaixo da meta este mês.
Clique em uma equipe para ver as pessoas que fazem parte dela, os casos de uso que gerenciam e os produtos do Databricks que utilizam, com uma breve explicação sobre a finalidade de cada produto. O painel também cria uma trilha de aprendizado para essa equipe com cursos e certificações gratuitos do Databricks Academy, além de adicionar histórias de clientes, demos e vídeos relevantes para eles.
As camadas do medallion se conectam a um modelo de dados implantável. Abra a camada Silver no painel bancário e o painel direciona para o modelo bancário nos Databricks Industry Data Models, com suas respectivas tabelas e colunas. Apresentamos esses modelos em Jumpstart your Data Modeling with Databricks Industry Data Models, e o agente que os constrói em Reimagining Data Modeling on the Lakehouse: Introducing Vibe Data Modeling.
As caixas de origem vão um nível mais fundo, nos próprios dados. O historiador de processos no painel de manufatura coleta tags de sensores das linhas de produção. O painel indica quem usa esses dados e o volume recebido, um fluxo contínuo de 10.000 a 100.000 tags por segundo.
Esta é a parte que mais utilizamos. Antes de qualquer pessoa projetar algo, duas perguntas surgem: o produto roda na região onde faremos a implantação e ele já é GA ou ainda está em preview?
Escolha uma região no menu Region. O painel esmaece todos os produtos que essa região não suporta e abre um painel com a lista completa para ela. Ele lista todos os produtos e recursos publicados na documentação do Databricks, junto com o estágio de lançamento e a disponibilidade local. Quando a documentação inclui uma observação, como um recurso que processa dados fora da sua geografia, o painel também a exibe. Cada linha contém um link para a página de documentação correspondente.
A lista pode ser filtrada como uma planilha. Desmarque GA na coluna Stage e restará apenas o que está em Public Preview ou Beta. Você também pode ordená-la, pesquisá-la e baixá-la para o Excel. A barra de endereços mantém seus filtros, permitindo que você envie exatamente a visualização desejada para outra pessoa.
Se você quiser apenas limpar o painel em si, o menu Stage filtra a plataforma por estágio de lançamento. Desative Beta e previews e tudo o que não for GA sairá de cena. Isso é muito útil quando você precisa de uma arquitetura estritamente GA para uma revisão.
Tanto os estágios quanto as regiões vêm da documentação pública do Databricks. Nós os atualizamos antes de cada alteração no painel, e ele exibe a data da última atualização.
Cada painel funciona no Azure, AWS e GCP. Mude a nuvem, e as ferramentas de ingestão mudam junto, enquanto os links da documentação apontam para a documentação específica daquela nuvem.
Os painéis são traduzidos para 16 idiomas, com layout da direita para a esquerda no caso de árabe e hebraico, e as exportações saem no idioma que você está lendo.
Cada setor também possui seu próprio link de compartilhamento e cartão de pré-visualização. Publique o link no Slack, Teams ou LinkedIn e ele será aberto no setor correspondente, com o nome respectivo no cartão.
Qualquer painel pode ser exportado como uma apresentação do PowerPoint ou PDF contendo uma página de sumário, o painel e uma página dedicada a cada caso de uso, Genie Agent, dashboard e app. No PowerPoint, o slide do painel é construído com formas reais para que você possa mover e renomear as caixas. O painel também pode ser baixado como PNG, GIF animado, HTML interativo, arquivo editável do draw.io, arquivo do Visio, arquivo SVG, arquivo do Excalidraw ou um arquivo YAML que você pode editar e importar novamente.
Se preferir começar a partir de uma descrição, o AI Architecture Assistant encontra o setor mais próximo para você. Descreva o negócio ou anexe uma foto de quadro branco ou PDF, e ele criará uma arquitetura editável com base no painel desse setor. Ele roda como um Databricks App no seu próprio workspace, e o repositório também inclui um servidor MCP que fornece todas as 70 arquiteturas para agentes de IA.
Considere um painel setorial como ponto de partida. Cada empresa tem seus próprios sistemas, restrições e histórico. Um subsetor pode ser bem diferente do setor principal. Os produtos dos fornecedores também mudam. Se encontrar algo desatualizado, avise-nos através do botão Feedback.
Abra o Databricks Reference Architecture, escolha seu setor e sua nuvem e clique em qualquer caixa. O código e um instalador para o seu próprio workspace estão no GitHub. Se o seu setor estiver faltando ou se houver algum erro no painel, use o botão Feedback na parte superior do painel.
Estamos construindo pipelines que atualizam o painel conforme novos produtos são lançados, em vez de esperar pela próxima alteração no repositório.
Explore a arquitetura de referência interativa
O que é uma arquitetura de referência do Databricks?
Um painel interativo e gratuito que mostra como o Databricks se aplica a um setor específico: os sistemas de origem, formatos de dados, equipes, casos de uso e produtos envolvidos. Há uma versão para cada um dos 70 setores, e você pode exportar ou editar qualquer uma delas.
É gratuito?
Sim. O painel é público e de uso gratuito, e o código junto com um instalador para o seu workspace estão no GitHub.
Quais nuvens e regiões são cobertas?
Cada painel funciona na AWS, GCP e na nuvem Azure. Escolha uma região para ver quais produtos e recursos estão disponíveis nela, bem como o estágio de lançamento, diretamente na documentação do Databricks.
Posso personalizar um painel para o meu próprio ambiente?
Sim. Use Baixar para copiar um painel do setor e, em seguida, personalize-o usando a ferramenta de sua preferência. Você também pode editar e reimportar um arquivo YAML.
Como posso saber quais produtos estão disponíveis na minha região ou estágio de lançamento?
Escolha uma região para ver os produtos que não estão disponíveis nela e use o filtro de estágio de lançamento para verificar os estágios de disponibilidade, como GA, versão preliminar pública e beta. Os painéis de produtos contêm links para a documentação relevante.
Quão atualizadas estão as informações de disponibilidade regional e de produtos?
As informações de disponibilidade são verificadas com base na documentação pública do Databricks antes das atualizações do painel. Pipelines de atualização automatizados estão planejados, portanto, as atualizações ainda não são descritas como em tempo real.
Posso usar a arquitetura de referência em uma nuvem diferente ou em outro idioma?
Sim. Os painéis oferecem suporte a Azure, AWS e GCP, e estão disponíveis em 16 idiomas, incluindo layouts da direita para a esquerda para árabe e hebraico.
Posso executar a arquitetura de referência no meu próprio workspace?
Sim. O código-fonte e um instalador estão disponíveis no GitHub para configurá-la no seu workspace.
Como faço para relatar um erro ou solicitar um setor que não está listado?
Use o botão de feedback na parte superior do painel para relatar um problema ou solicitar um setor adicional.
(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original
Assine nosso blog e receba os posts mais recentes diretamente na sua caixa de entrada.