Utiliser des données plus intelligentes pour renforcer la gouvernance de l'enseignement supérieur
par Kacey Hertan
De 8 heures à quelques minutes | Temps de traitement d'un volume de 300 millions d'enregistrements après la migration vers Databricks
Une demi-journée | Pour réaliser une analyse de segmentation des étudiants qui nécessitait auparavant deux semaines de travail pour deux analystes
L'Office for Students régule plus de 400 établissements d'enseignement supérieur en Angleterre et gère des données couvrant des millions de dossiers d'étudiants sur plusieurs décennies. Face à l'augmentation du volume et de la complexité des analyses, les systèmes existants ne parvenaient plus à suivre le rythme. En migrant vers Databricks, l'organisation a transformé la manière dont ses équipes accèdent aux données, les analysent et les exploitent, accélérant considérablement la génération d'insights tout en établissant des bases plus flexibles pour l'aide à la décision basée sur l'IA.
L'Office for Students s'efforce de garantir un enseignement supérieur de haute qualité pour tous les étudiants en Angleterre grâce à une régulation basée sur les données, qui favorise la qualité, l'équité et la responsabilité du système éducatif. L'équipe examine les données des étudiants et des établissements, notamment les résultats académiques, les rapports des prestataires, les tendances d'inscription, les taux de poursuite d'études et les indicateurs susceptibles de signaler des risques pour la qualité de l'enseignement ou l'expérience étudiante.
Cependant, les limites de l'ancienne plateforme d'analyse étaient devenues impossibles à contourner. Leur équipe de données gérait les informations de chaque étudiant ayant intégré l'enseignement supérieur en Angleterre, soit jusqu'à 3 millions de dossiers par an, provenant du JISC, du Department for Education, de l'Universities and Colleges Admissions Service (UCAS), de la Student Loans Company et d'autres sources sur une période de 15 à 20 ans. Le système avait d'abord été conçu pour l'analyse de données quantitatives, mais les exigences de l'organisation avaient évolué bien au-delà de ce que l'ancienne plateforme pouvait supporter efficacement.
L'un des exemples les plus parlants concerne le processus de préparation des données (data wrangling) utilisé pour créer l'infrastructure de suivi des résultats des étudiants. Ce workflow traitait environ 300 millions d'enregistrements et nécessitait 8 heures d'exécution sur l'ancien environnement. Au-delà des limites de performance, l'intégration de données non structurées et qualitatives exigeait des solutions de contournement manuelles qui ralentissaient les analyses et limitaient la capacité de l'organisation à exploiter de nouvelles sources de données.
Le vieillissement de la plateforme posait également des défis opérationnels pour l'équipe elle-même. Les compétences spécialisées devenaient de plus en plus difficiles à recruter, ce qui freinait l'évolution des capacités d'analyse et la modernisation des workflows. Les analystes passaient un temps disproportionné à contourner les limites des outils plutôt qu'à générer de la valeur.
« Nous étions arrivés à un point où la plateforme n'était tout simplement plus adaptée au type de travail analytique que nous devions mener », explique Mark Gittoes, responsable de l'innovation analytique à l'Office for Students. « Nous avions besoin d'un environnement capable de supporter à la fois le volume des données et le rythme de la prise de décision. »
L'Office for Students a choisi Databricks pour regrouper ses workflows de données, d'analyse et d'IA sur une plateforme unique et gouvernée. Le fait de rassembler des ensembles de données structurées, des informations qualitatives et des données en quasi-temps réel dans un seul environnement a fondamentalement transformé la manière de réaliser les analyses pour évaluer les risques, comprendre les performances des établissements et appuyer les décisions qui ont un impact sur la réussite des étudiants à grande échelle.
Plutôt que de travailler de manière séquentielle sur des systèmes déconnectés, les équipes peuvent désormais analyser plusieurs sources simultanément au sein d'une architecture unifiée, afin de dégager des insights exploitables plus rapidement et de manière plus cohérente pour l'ensemble du secteur.
Databricks nous aide à transformer des données complexes sur l'enseignement supérieur en insights plus rapides et plus fiables, favorisant ainsi de meilleures décisions pour les étudiants et les établissements dans toute l'Angleterre. —Mark Gittoes, responsable de l'innovation analytique, Office for Students
La plateforme a également amélioré la gouvernance et la collaboration entre les équipes. Unity Catalog fournit la traçabilité des données (data lineage), des contrôles d'accès cohérents et les modèles de sécurité requis par un environnement réglementé, tout en donnant aux analystes l'assurance que des garde-fous appropriés sont en place lorsqu'ils manipulent des données éducatives sensibles provenant de centaines d'établissements. Cela a permis de poser des bases plus évolutives pour l'expérimentation et l'adoption de l'IA sans compromettre les exigences de gouvernance, tout en garantissant que les insights utilisés pour les décisions réglementaires puissent être tracés, validés et fiabilisés.
Grâce à la centralisation de toutes les données, les analystes peuvent itérer plus rapidement et se concentrer sur des tâches à plus forte valeur ajoutée, plutôt que de maintenir des pipelines fragmentés ou d'assembler manuellement les résultats de plusieurs systèmes. L'effort s'est ainsi déplacé de la préparation des données vers l'interprétation de ce qu'elles révèlent sur la qualité et les risques de l'enseignement supérieur. Cet effort de modernisation a également offert une plus grande flexibilité de recrutement à l'organisation en alignant ses outils sur les compétences modernes en matière de données les plus répandues.
« Le fait de tout centraliser change la vitesse à laquelle on passe d'une question à une analyse pertinente », déclare Gittoes. « Cela nous permet de passer moins de temps à préparer les données et plus de temps à comprendre ce qu'elles nous révèlent sur les risques, les tendances et les résultats des différents établissements d'enseignement supérieur. »
Pour l'Office for Students, la valeur de l'IA ne réside pas dans le remplacement du jugement humain. Il s'agit plutôt de réduire les frictions qui ralentissent l'analyse et d'aider les équipes à faire émerger plus rapidement les informations pertinentes afin de mieux appréhender les risques liés à la qualité de l'enseignement et à l'expérience étudiante en Angleterre. « En tant que régulateur, l'humain reste toujours au cœur du processus », précise Gittoes. « Il s'agit toujours d'une aide à la décision, et non d'une prise de décision automatisée. »
À l'Office for Students, Genie Code a permis de réduire le temps et le coût des tâches analytiques complexes. Une analyse de segmentation des étudiants qui aurait pris au moins deux semaines à deux analystes a été réalisée en une demi-journée. Un projet pilote (proof of concept) pour le tri des demandes d'enregistrement des établissements, qui nécessitait auparavant la lecture manuelle de documents par deux ou trois collaborateurs pendant un mois, permet désormais de signaler les pièces manquantes avant le début de l'évaluation complète. Cela aide les équipes à identifier plus tôt les éventuels problèmes de conformité des établissements dans le processus réglementaire et réduit les délais d'évaluation de leur état de préparation.
L'impact dépasse les simples gains d'efficacité. Un accès plus rapide à des informations fiables permet à l'Office for Students d'identifier les problèmes plus tôt, de mieux comprendre les tendances au sein des établissements d'enseignement supérieur susceptibles d'indiquer des risques émergents pour la réussite des étudiants ou la performance des institutions, et de prendre des décisions réglementaires plus éclairées qui contribuent à protéger les parcours des étudiants et à renforcer la responsabilité dans l'ensemble du secteur. Grâce à un socle moderne de données et d'IA, l'organisation continue de réduire le délai entre une question et une réponse fiable, tout en veillant à ce que la supervision humaine et la responsabilité restent au cœur de chaque décision afin de soutenir des standards élevés dans l'enseignement supérieur anglais.
Recevez régulièrement des informations sur la manière dont Databricks aide les organisations du secteur public à unifier les données, à gouverner l'IA et à transformer les connaissances en actions à l'échelle mondiale en suivant Databricks for Public Sector sur LinkedIn.
(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original
Abonnez-vous à notre blog et recevez les derniers articles directement dans votre boîte mail.