Usando dados mais inteligentes para fortalecer a gestão do ensino superior
por Kacey Hertan
8 horas → minutos | Tempo de processamento para um trabalho de dados de 300 milhões de registros após a migração para o Databricks
1/2 dia | Para concluir uma análise de segmentação de estudantes que antes levava duas semanas para dois analistas
O Office for Students regula mais de 400 provedores de ensino superior na Inglaterra e gerencia dados que abrangem milhões de registros de estudantes ao longo de décadas. À medida que a escala e a complexidade das análises cresceram, os sistemas legados não conseguiram mais acompanhar o ritmo. Ao migrar para o Databricks, a organização transformou a forma como suas equipes acessam, analisam e agem sobre os dados, acelerando drasticamente a geração de insights e criando uma base mais flexível para o suporte à tomada de decisões orientada por AI.
O Office for Students está focado em garantir a alta qualidade do ensino superior para todos os estudantes na Inglaterra por meio de uma regulação baseada em dados que apoia a qualidade, a equidade e a responsabilidade do sistema de ensino superior. A equipe examina dados de estudantes e provedores, incluindo resultados dos estudantes, relatórios dos provedores, padrões de matrícula, dados de continuidade dos estudantes e indicadores que podem sinalizar riscos para a qualidade da educação ou para a experiência dos estudantes nos provedores de ensino superior.
No entanto, as limitações de uma plataforma de análise legada tornaram-se impossíveis de contornar. Sua equipe de dados gerenciava dados de cada estudante que passou pelo ensino superior na Inglaterra, até 3 milhões de registros por ano, extraídos do JISC, Department for Education, Universities and Colleges Admissions Service (UCAS), Student Loans Company e outras fontes abrangendo de 15 a 20 anos. O sistema havia sido originalmente projetado para análise de dados quantitativos, mas as demandas sobre a organização evoluíram muito além do que a plataforma legada conseguia suportar de maneira eficiente.
Um de os exemplos mais claros foi um processo de preparação de dados (data wrangling) usado para criar a infraestrutura de monitoramento dos resultados dos estudantes. O fluxo de trabalho processava aproximadamente 300 milhões de registros e levava 8 horas para ser concluído no ambiente legado. Além das limitações de desempenho, a incorporação de dados não estruturados e qualitativos exigia soluções manuais que desaceleravam as análises e limitavam a capacidade da organização de trabalhar com fontes de dados emergentes.
A plataforma obsoleta também criou desafios operacionais para a própria equipe. Profissionais com habilidades especializadas eram cada vez mais difíceis de contratar, tornando mais complexo escalar as capacidades analíticas e modernizar os fluxos de trabalho. Os analistas passavam um tempo desproporcional lidando com as limitações das ferramentas em vez de gerar insights.
“Chegamos ao ponto em que a plataforma simplesmente não estava alinhada com o tipo de trabalho analítico que precisávamos realizar”, diz Mark Gittoes, Head of Analytical Innovation no Office for Students. “Precisávamos de um ambiente que pudesse suportar tanto a escala dos dados quanto o ritmo da tomada de decisões.”
O Office for Students migrou para o Databricks para consolidar fluxos de trabalho de dados, análises e AI em uma única plataforma governada. Trazer conjuntos de dados estruturados, informações qualitativas e dados quase em tempo real para um único ambiente mudou fundamentalmente a forma como as análises podiam ser realizadas para avaliar riscos, entender o desempenho dos provedores e apoiar decisões que impactam os resultados dos estudantes em escala.
Em vez de trabalhar em sistemas desconectados de forma sequencial, as equipes podem analisar várias fontes simultaneamente em uma arquitetura unificada para extrair insights acionáveis de forma mais rápida e consistente em todo o setor.
O Databricks nos ajuda a transformar dados complexos do ensino superior em insights mais rápidos e confiáveis, que apoiam melhores decisões para estudantes e provedores em toda a Inglaterra. —Mark Gittoes, Head of Analytical Innovation, Office for Students
A plataforma também melhorou a governança e a colaboração entre as equipes. O Unity Catalog fornece a linhagem de dados, controles de acesso consistentes e padrões de segurança que um ambiente regulado exige, ao mesmo tempo em que dá aos analistas maior confiança de que as proteções adequadas estavam em vigor ao trabalhar com dados educacionais de alta importância em centenas de provedores. Isso criou uma base mais escalável para experimentação e adoção de AI sem comprometer os requisitos de governança, além de garantir que os insights usados em decisões regulatórias pudessem ser rastreados, validados e confiáveis.
Com todos os dados centralizados, os analistas conseguem iterar mais rapidamente e focar em trabalhos de maior valor, em vez de manter pipelines fragmentados ou unir manualmente resultados de múltiplos sistemas, direcionando o esforço da preparação de dados para a interpretação do que os dados revelam sobre a qualidade e os riscos do ensino superior. O esforço de modernização também ampliou a flexibilidade de contratação da organização, alinhando suas ferramentas com habilidades de dados modernas mais amplamente adotadas.
“Ter tudo em um só lugar muda a rapidez com que você pode passar de uma pergunta para uma análise significativa”, diz Gittoes. “Isso nos permite gastar menos tempo preparando dados e mais tempo entendendo o que eles estão nos dizendo sobre riscos, tendências e resultados nos provedores de ensino superior.”
Para o Office for Students, o valor da AI não está em substituir o julgamento humano. Trata-se de reduzir o atrito que desacelera as análises e ajudar as equipes a identificar informações relevantes mais rapidamente, para que possam entender melhor os riscos à qualidade do ensino superior e à experiência dos estudantes em toda a Inglaterra. “Como órgão regulador, os humanos estão sempre no controle disso”, diz Gittoes. “É sempre um suporte à decisão, não a tomada de decisão em si.”
No Office for Students, o Genie Code reduziu o tempo e o custo de tarefas analíticas complexas. Uma análise de segmentação de estudantes que teria levado pelo menos duas semanas para dois analistas foi concluída em meio dia. Uma prova de conceito para a triagem de registro de provedores, que antes exigia que dois ou três colegas lessem documentos manualmente ao longo de um mês, agora apoia a sinalização de envios ausentes antes do início de uma avaliação completa, ajudando as equipes a identificar possíveis problemas de conformidade dos provedores mais cedo no processo regulatório e reduzindo atrasos na avaliação da prontidão institucional.
O impacto vai além dos ganhos de eficiência. O acesso mais rápido a informações confiáveis permite que o Office for Students identifique problemas mais cedo, entenda melhor as tendências entre os provedores de ensino superior que possam indicar riscos emergentes para os resultados dos estudantes ou para o desempenho institucional, e tome decisões regulatórias mais informadas que ajudem a proteger os resultados dos estudantes e a fortalecer a responsabilidade em todo o setor. Com uma base moderna de dados e AI estabelecida, a organização continua a encurtar a distância entre uma pergunta e uma resposta confiável, garantindo que a supervisão humana e a responsabilidade permaneçam centrais em cada decisão para apoiar padrões mais elevados em todo o ensino superior inglês.
Receba atualizações regulares sobre como o Databricks ajuda as organizações do setor público a unificar dados, governar a AI e transformar conhecimento em ação em escala global seguindo o Databricks for Public Sector no LinkedIn.
(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original
Assine nosso blog e receba os posts mais recentes diretamente na sua caixa de entrada.