A Secretaria da Educação do Estado de São Paulo (SEDUC), que atende a milhões de alunos na maior rede de ensino público do Brasil, modernizou sua arquitetura de dados com o Databricks Lakebase. Ao substituir o Apache Cassandra, a SEDUC eliminou infraestruturas custosas, simplificou os fluxos de trabalho de desenvolvimento e melhorou o desempenho de aplicações de alto volume. Com uma base serverless e governada, a equipe agora disponibiliza dados para sistemas críticos de forma mais rápida, mais segura e a um custo menor.
Gerenciamento em escala massiva e com infraestrutura complexa e custosa
A SEDUC opera um dos maiores sistemas de educação pública do mundo, atendendo a milhares de escolas, centenas de milhares de professores e milhões de alunos em todo o estado de São Paulo. Sua plataforma de dados precisa administrar cargas de trabalho enormes e contínuas, incluindo um aplicativo de controle de presença em aula que grava entre 15 e 22 milhões de registros todos os dias.
Inicialmente, a equipe utilizou endpoints do Databricks Lakehouse para gerenciar a carga de trabalho. Embora altamente eficazes para casos de uso de analítica e orientados por queries, esses endpoints não foram otimizados para os requisitos de throughput elevado e baixa latência de cargas de trabalho de aplicações operacionais. À medida que a demanda aumentava, a equipe avaliava abordagens alternativas mais adequadas para padrões de tráfego contínuos e com alta carga de gravação. Como resultado, a SEDUC adotou o Apache Cassandra como uma solução de throughput elevado para essas cargas de trabalho.
Embora o Cassandra tenha melhorado o desempenho, ele introduziu uma complexidade operacional significativa. A equipe precisava manter um cluster dedicado com uma execução contínua apenas para dar suporte ao conector do Cassandra.
“Manter um cluster permanente para um único conector parecia ineficiente e inviável”, disse Gustavo Delfino, arquiteto sênior de dados da SEDUC. Essa abordagem também conflitava com a estratégia mais ampla da SEDUC de adotar uma infraestrutura serverless.
Além da complexidade operacional, o custo total de propriedade virou uma grande preocupação. O ambiente Cassandra operava fora da Databricks Platform, introduzindo infraestrutura adicional, sobrecarga de gerenciamento e complexidade de integração. A SEDUC precisava de uma solução mais integrada, econômica e alinhada à sua arquitetura existente.
Substituindo o Cassandra pelo Lakebase para uma abordagem unificada e serverless
A SEDUC decidiu adotar o Databricks Lakebase para simplificar sua arquitetura e otimizar a entrega de dados processados para aplicações. Como já operava uma arquitetura medallion (Bronze, Prata e Ouro) na Databricks, a equipe precisava de uma maneira eficiente de disponibilizar dados tratados da camada Ouro para sistemas downstream sem sobrecarregar bancos de dados transacionais.
O Lakebase introduziu um padrão ETL limpo inverso:
Os dados são processados e refinados na camada Ouro.
Os dados são sincronizados diretamente no Lakebase.
Os aplicativos consomem os dados da Lakebase.
Isso eliminou a necessidade de conectores externos, clusters dedicados e gerenciamento complexo de infraestrutura.
"Os dados já estavam em nossa camada Ouro e sincronizá-los com o Lakebase exigiu pouco esforço", explicou Gustavo. "Não precisei criar notebooks nem configurar a conectividade de banco de dados. Simplesmente funcionou."
A implementação se alinhou perfeitamente à estratégia de priorizar o serverless da SEDUC, permitindo que a equipe estendesse sua arquitetura existente sem adicionar carga operacional.
O Lakebase também aprimorou a governança e a segurança. Com o Unity Catalog gerenciando o acesso e a linhagem dos dados, a SEDUC manteve controle total sobre informações confidenciais. Ao mesmo tempo, o Lakebase eliminou a necessidade de armazenar credenciais em notebooks — uma abordagem que apresentava potenciais riscos de segurança. “O Lakebase elimina essas conexões”, observou Gustavo, fortalecendo a postura geral de segurança da plataforma.
Reduzindo custos e acelerando a produtividade da engenharia
Ao substituir o Cassandra pelo Lakebase, a SEDUC alcançou um impacto imediato e mensurável:
A organização eliminou a totalidade dos seus custos de infraestrutura.
A SEDUC removeu a necessidade de gerenciar clusters sempre ativos e dependências de conectores.
As equipes não precisam mais gastar tempo mantendo clusters, solucionando problemas de conectores ou gerenciando ambientes de runtime.
As aplicações podem processar de forma confiável cargas de trabalho de alto volume sem sobrecarregar os sistemas transacionais.
Tão importante quanto a economia de custos foi a melhoria na eficiência da engenharia. Agora as equipes podem focar na criação de novos recursos e na melhoria de aplicativos que atendem diretamente a educadores e estudantes.
“Podemos dedicar nosso tempo agora à criação de recursos”, disse Gustavo.
O desempenho e a escalabilidade também melhoraram. Com o Lakebase funcionando como a camada de entrega para dados de nível Ouro, você garante uma experiência de desempenho consistente e em tempo real para professores registrando presença, alunos enviando tarefas e administradores acessando painéis.
De olho no futuro, a SEDUC planeja expandir o uso do Lakebase para substituir conexões adicionais baseadas em JDBC em toda a plataforma. Essas conexões criam gargalos de processamento e geram desafios de segurança que o Lakebase pode eliminar. Ao estender essa arquitetura, a SEDUC busca simplificar ainda mais as operações, melhorar o desempenho e dimensionar sua plataforma de dados para atender às necessidades dinâmicas da maior rede de ensino do Brasil.
Com o Databricks Lakebase, a SEDUC transformou uma arquitetura complexa e de alto custo em uma base otimizada, segura e escalável, atendendo a milhões de usuários e acelerando a inovação em toda a organização.
FAQ: SEDUC e Lakebase no Databricks
O Lakebase é um banco de dados Postgres gerenciado e integrado à Databricks Platform que permite que os aplicativos consumam dados curados diretamente do lakehouse, sem pipelines ou conectores complexos.