Como criar aplicativos corporativos governados no Databricks com Replit e Lakebase

A combinação do Replit e da Databricks oferece às empresas uma plataforma completa de desenvolvimento à implantação. Com essa integração, as equipes corporativas podem criar aplicativos governados usando o Replit Agent, que opera em dados em tempo real da Databricks, e implantá-los no Databricks Apps com suporte nativo ao Lakebase. Seja o usuário um líder de negócios, um analista de dados ou um desenvolvedor, ele pode utilizar a codificação baseada em agentes para criar um aplicativo de produção a partir de um prompt em linguagem simples.

No mês passado, anunciamos que a integração do Replit com a Databricks está disponível para o público geral (GA) com suporte nativo ao Lakebase. Neste blog, iremos além do que anunciamos para explicar o porquê: por que as equipes corporativas se importam, quais aplicativos as pessoas estão criando e como ir do zero a um aplicativo de produção completo e governado. Vamos responder a essas perguntas sequencialmente.

Por que as equipes corporativas devem usar o Replit com a Databricks?

Muitas empresas enfrentam um dilema. Elas possuem plataformas de dados governadas, mas os usuários finais, como gerentes de operações, analistas de dados e gerentes de negócios, ainda têm dificuldades para criar rapidamente aplicativos personalizados para visualizar e interagir com esses dados.

Eles precisam de uma maneira rápida e sem atritos para criar um aplicativo com um front-end intuitivo, provisionar um banco de dados, criar uma camada de autenticação, aplicar a governança e, finalmente, implantar em produção. Cada etapa exige equipes diferentes e múltiplos fluxos de aprovação.

Veja como a integração entre o Replit e a Databricks encurta esse processo:

1. Desenvolvedores cidadãos: O Replit permite que um usuário de negócios descreva um aplicativo em linguagem simples. Esse agente criará o front-end para visualizar/interagir com os dados corporativos e provisionará automaticamente o banco de dados transacional subjacente. Ao implantar na Databricks, o Replit aplicará a governança da Databricks para que o criador veja apenas os dados aos quais ele tem acesso

2. Governança integrada: O aplicativo é implantado como um Databricks App. Cada aplicativo herda autenticação automática de usuários, controles de acesso seguros e integração estreita com o Unity Catalog. Isso economiza muitas rodadas de alterações com a equipe de segurança e infraestrutura.

3. Suporte nativo ao Lakebase: Quando os aplicativos estão prontos para serem implantados, nos bastidores, o Replit Agent provisionará automaticamente um banco de dados Postgres gerenciado do Lakebase para os dados operacionais do seu aplicativo. Isso permite que seu aplicativo leia dados analíticos em tempo real da Databricks e grave seus próprios dados de volta no Lakebase. O Lakebase funciona como um armazenamento de dados persistente para os aplicativos.

É importante analisar como o Lakebase se compara a um banco de dados externo. No passado, as equipes que criavam aplicativos com dados da Databricks precisavam contar com instâncias externas de Postgres ou MySQL para os dados que o aplicativo precisava manter. Esses dados, por exemplo, entradas de usuários ou estados de execução do aplicativo, ficavam fora da Databricks, exigindo que as empresas gerenciassem infraestruturas de governança e modelos de permissão paralelos. Com o Lakebase, você não precisa mais fazer isso.

Veja como eles se comparam:

As empresas podem criar uma variedade de aplicativos modernos com o Replit na Databricks. Vamos dar uma olhada em três aplicativos corporativos que mostram o que é possível realizar.

Cenário 1: Aplicativo de gestão de desempenho para líder de operações

Um líder de operações gostaria de avaliar o desempenho de várias franquias e compartilhar a análise de desempenho com proprietários de franquias específicos. Historicamente, as empresas dependiam de seus desenvolvedores de BI para criar painéis para essa análise. Os problemas com isso sempre foram que o desenvolvimento leva tempo, os painéis não permitem personalização ou tomada de ação facilmente, e o detalhamento (drill down) para chegar à próxima pergunta era sempre desafiador ou totalmente impossível.

No entanto, com a Databricks e o Replit, os usuários corporativos obtêm o melhor dos dois mundos: velocidade de desenvolvimento e governança/segurança corporativa. Usando um prompt simples, o líder de operações pode criar um aplicativo de operações de várias páginas, e o Replit Agent gerará todo o aplicativo de acordo com as especificações do líder. Ele lê dados governados em tempo real diretamente de um warehouse do Lakehouse sob o Unity Catalog. Em produção, o token correspondente de cada usuário é transmitido, permitindo que os dados sejam compartilhados apenas com proprietários de franquias específicos que têm permissão para visualizar seus próprios conjuntos de dados confidenciais.

Esse aplicativo de desempenho seria aplicável a painéis de operações de varejo, rastreadores de desempenho de franquias, visualizações de vendas regionais e status da cadeia de suprimentos.

Cenário 2: Um pipeline de processamento de documentos para um analista de negócios

Analistas financeiros e de operações precisam analisar grandes volumes de documentos não estruturados, como faturas, formulários e contratos, e usar esses dados para tomar decisões críticas instantaneamente.

Esses analistas podem criar aplicativos de pipeline de processamento de documentos que ingerem esses documentos e usam as funções de IA da Databricks para convertê-los de arquivos não estruturados (PDFs, documentos, imagens) em campos estruturados. O aplicativo permitirá que eles façam consultas nesses documentos, que agora foram armazenados no banco de dados do Lakebase como dados estruturados, e tomem decisões informadas.

Este aplicativo tem ampla aplicabilidade em processamento de faturas, extração de contratos, recebimento de sinistros e análise de documentos regulatórios.

Cenário 3: Um aplicativo full-stack para automação de fluxos de trabalho manuais

Toda organização possui vários fluxos de trabalho manuais que exigem lidar com planilhas, conversas por e-mail e dados localizados em vários lugares para conduzir aprovações ou relatar atualizações. Isso poderia ser facilmente resolvido com aplicativos que automatizam fluxos de trabalho, reunindo todos os dados e criando um mecanismo de fluxo de trabalho de aprovação. Ele lê dados analíticos em tempo real da Databricks e captura novos dados operacionais no Lakebase à medida que as pessoas o utilizam.

Vimos clientes criarem aplicativos semelhantes para fluxos de trabalho de aprovação, sistemas de entrada de projetos, ferramentas de gerenciamento de fornecedores, acompanhamento de conformidade e portais de solicitações internas.

Como configurar o Replit com o Databricks Lakebase?

Por meio de um processo de quatro etapas, qualquer usuário pode criar um aplicativo usando o Replit e implantá-lo como um aplicativo da Databricks no ambiente Databricks. Ele começa com a conexão do ambiente Databricks ao Replit, permitindo que os usuários criem um aplicativo personalizado a partir de um prompt, implantem-no nativamente no Databricks Apps com a governança do Unity Catalog e provisionem automaticamente um banco de dados Lakebase para os dados do aplicativo.

Aqui está o fluxo de quatro etapas

Para começar, são necessários três papéis e aproximadamente 15 minutos. Seu workspace da Databricks deve ser um workspace padrão sem um perfil de segurança de conformidade, e sua organização deve estar no plano Replit Enterprise.

O passo a passo abaixo usa um conector de entidade de serviço (M2M) para acesso compartilhado. O Replit também oferece suporte a um conector de usuário para máquina (U2M), que permite que cada criador se conecte usando sua própria identidade da Databricks. Consulte este guia para escolher a opção correta

Etapa 1: Criar uma entidade de serviço (administrador da Databricks)

No Console de Conta da Databricks:

1. Crie uma entidade de serviço para a conexão Databricks ↔ Replit
2. Gere um ID do cliente e um segredo
3. Atribua a entidade de serviço ao workspace de destino
4. Conceda a ela as permissões apropriadas (normalmente, acesso ao SQL warehouse e aos catálogos/esquemas que o aplicativo usará)

Exemplo de concessão de permissão:

Etapa 2: Adicionar o conector da Databricks (administrador da organização no Replit)

No Replit:

1. Navegue até as configurações de conector da sua organização
2. Adicione um novo conector do Databricks (Service Principal)
3. Insira o ID do cliente e o segredo da Etapa 1
4. Opcionalmente, configure o RBAC para controlar quais usuários do Replit podem usar o conector

Passo 3: Ativar e conectar (usuário do Replit Enterprise)

1. Ative o conector do Databricks no seu projeto do Replit
2. Forneça o caminho HTTP e o nome de host do servidor do seu SQL warehouse para concluir a conexão

Passo 4: Criar o prompt, compilar e implantar

1. Descreva o aplicativo que você quer criar em linguagem simples, especificando o warehouse e os dados que gostaria de usar
2. Acompanhe o agente enquanto ele explora seu esquema, gera consultas e cria o front-end
3. Teste no ambiente de visualização
4. Implante no Databricks Apps com apenas uma ação

Veja a integração em ação:

Perguntas frequentes

O que é a integração do Replit com o Databricks? A combinação do Replit e do Databricks oferece às empresas uma plataforma completa, do desenvolvimento à implantação. Com essa integração, as equipes corporativas podem criar aplicativos com governança usando o Replit Agent que opera em dados reais do Databricks e implantá-los no Databricks Apps com suporte nativo ao Lakebase. Seja o usuário um líder de negócios, um analista de dados ou um desenvolvedor, ele pode fazer "vibe coding" de um aplicativo de produção a partir de um prompt em linguagem simples

Como o Replit se conecta ao Databricks? O Replit suporta tanto o OAuth de usuário para máquina (U2M), que usa a identidade e as permissões do Databricks de cada criador, quanto o OAuth de entidade de serviço (M2M), que usa uma identidade de serviço compartilhada. Este guia orienta você na configuração da entidade de serviço.

O que é o Lakebase e por que ele é importante para os aplicativos do Replit? O Databricks Lakebase Postgres é um serviço Postgres serverless totalmente gerenciado que roda dentro do ambiente do Databricks. Para aplicativos do Replit, ele fornece um banco de dados transacional para armazenar dados específicos do aplicativo, como entradas do usuário e estado de execução do aplicativo, sem a necessidade de um banco de dados separado fora do ambiente do Databricks. O Replit Agent provisiona automaticamente o banco de dados Lakebase na implantação.

Pessoas que não são desenvolvedoras podem criar aplicativos com o Replit no Databricks? Sim. O Replit Agent permite que um usuário de negócios descreva um aplicativo em linguagem simples. Este agente não apenas criará o front-end para visualizar/interagir com os dados corporativos e provisionará o banco de dados transacional subjacente, mas também aplicará a governança para que eles vejam apenas os dados que têm autorização para acessar no Databricks e, em seguida, fará a implantação em um aplicativo pronto para produção.

Como a governança é aplicada em aplicativos do Databricks criados com o Replit? O aplicativo é implantado como um Databricks App. Assim, cada aplicativo herda autenticação automática de usuário, controles de acesso seguros e uma integração estreita com o Unity Catalog. Isso poupa muitas idas e vindas com a equipe de segurança e infraestrutura.

Um aplicativo do Replit pode gravar dados de volta no Databricks? Sim. Ele pode gravar qualquer dado operacional no Lakebase. O aplicativo pode ler dados analíticos do Databricks por meio de um SQL warehouse e gravar dados operacionais (envios, aprovações, estado) em um banco de dados Lakebase Postgres.

O que é a Migração de AI Supervisionada? A Migração de AI Supervisionada garante que qualquer alteração no esquema do banco de dados proposta pelo Replit Agent exija a aprovação da equipe antes de ir para a produção.

O que são as Implantações de Visualização Automatizadas? As Implantações de Visualização Automatizadas permitem que você teste seus aplicativos antes que eles entrem no ar. O Replit cria um ambiente de teste separado para que as equipes possam criar, revisar alterações e fazer ajustes no ambiente de teste sem afetar a produção.

Quanto custa a integração do Replit com o Databricks? A integração exige um plano Replit Enterprise e consumo do Databricks (computação de SQL warehouse e Lakebase). A computação do Databricks é serverless. Assim, ela escala sob carga e reduz a zero quando ociosa, fazendo com que você pague apenas pelo que usar.

Onde posso ver a integração do Replit com o Databricks em ação? Inscreva-se no próximo webinar na terça-feira, 10 de novembro: "Crie aplicativos full-stack no Databricks Lakebase". Assista à demonstração completa do desenvolvimento à implantação: Como criar aplicativos prontos para produção no Replit com o Lakebase Postgres. 

Próximos passos

• Participe do nosso próximo webinar em 10 de novembro — Uma demonstração ao vivo da criação e implantação de um aplicativo com governança no Databricks com o Replit. Inscreva-se no próximo webinar na terça-feira, 10 de novembro: "Crie aplicativos full-stack no Databricks Lakebase".
• Assista à demonstração — Veja todo o fluxo de desenvolvimento à implantação em ação: Como criar aplicativos prontos para produção no Replit com o Lakebase Postgres
• Explore a integração — Visite replit.com/partners/databricks
• Leia o guia de configuração — Conecte o Replit ao Databricks na documentação do Databricks

• Encontre-nos no Data and AI World Tour — O Replit se juntará ao Databricks nas paradas do World Tour ao redor do mundo, incluindo São Paulo, Mumbai, Chicago, Nova York, Londres e Tóquio. Inscreva-se aqui

   

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original