Utilizzare dati più intelligenti per rafforzare la gestione dell'istruzione superiore
di Kacey Hertan
Da 8 ore a pochi minuti | Tempo di elaborazione per un job di dati da 300 milioni di record dopo il passaggio a Databricks
Mezza giornata | Per completare un'analisi di segmentazione degli studenti che in precedenza richiedeva due settimane a due analisti
L'Office for Students regolamenta oltre 400 istituti di istruzione superiore in tutta l'Inghilterra e gestisce dati che coprono milioni di record di studenti nell'arco di decenni. Con l'aumento della scala e della complessità delle analisi, i sistemi legacy non erano più in grado di tenere il passo. Passando a Databricks, l'organizzazione ha trasformato il modo in cui i suoi team accedono ai dati, li analizzano e agiscono di conseguenza, accelerando notevolmente la generazione di insight e creando al contempo una base più flessibile per il supporto decisionale basato sull'AI.
L'Office for Students si impegna a garantire un'istruzione superiore di alta qualità per tutti gli studenti in Inghilterra attraverso una regolamentazione basata sui dati che supporti la qualità, l'equità e la responsabilità del sistema di istruzione superiore. Il team esamina i dati degli studenti e degli istituti, tra cui i risultati degli studenti, la reportistica degli istituti, i modelli di iscrizione, i dati sulla prosecuzione degli studi degli studenti e gli indicatori che possono segnalare rischi per la qualità dell'istruzione o l'esperienza degli studenti presso gli istituti di istruzione superiore.
Tuttavia, era diventato impossibile aggirare i limiti della piattaforma di analisi legacy. Il loro team di dati gestiva le informazioni relative a ogni studente che avesse intrapreso un percorso di istruzione superiore in Inghilterra, fino a 3 milioni di record all'anno, provenienti da JISC, Department for Education, Universities and Colleges Admissions Service (UCAS), Student Loans Company e altre fonti nell'arco di 15-20 anni. Originariamente il sistema era stato progettato per l'analisi di dati quantitativi, ma le esigenze dell'organizzazione si erano evolute ben oltre ciò che la piattaforma legacy poteva supportare in modo efficiente.
Uno degli esempi più chiari è stato un processo di data wrangling utilizzato per creare l'infrastruttura di monitoraggio dei risultati degli studenti. Il flusso di lavoro elaborava circa 300 milioni di record e richiedeva 8 ore per essere completato sull'ambiente legacy. Oltre ai limiti di prestazioni, l'integrazione di dati non strutturati e qualitativi richiedeva soluzioni manuali che rallentavano l'analisi e limitavano la capacità dell'organizzazione di lavorare con fonti di dati emergenti.
L'obsolescenza della piattaforma creava anche sfide operative per il team stesso. Era sempre più difficile assumere personale con competenze specializzate, il che rendeva più complesso scalare le capacità analitiche e modernizzare i flussi di lavoro. Gli analisti dedicavano una quantità sproporzionata di tempo a gestire i limiti degli strumenti anziché a generare insight.
“Eravamo arrivati al punto in cui la piattaforma semplicemente non era allineata con il tipo di lavoro analitico che dovevamo svolgere”, afferma Mark Gittoes, Head of Analytical Innovation presso l'Office for Students. “Avevamo bisogno di un ambiente in grado di supportare sia la scala dei dati sia il ritmo del processo decisionale”.
L'Office for Students è passato a Databricks per consolidare i flussi di lavoro di dati, analytics e AI su un'unica piattaforma governata. L'integrazione di dataset strutturati, informazioni qualitative e dati quasi in tempo reale in un unico ambiente ha cambiato radicalmente il modo in cui è possibile eseguire le analisi per valutare i rischi, comprendere le prestazioni degli istituti e supportare decisioni che influiscono sui risultati degli studenti su scala.
Invece di lavorare in modo sequenziale su sistemi scollegati, i team possono analizzare più fonti contemporaneamente all'interno di un'architettura unificata per far emergere insight utili in modo più rapido e coerente in tutto il settore.
Databricks ci aiuta a trasformare dati complessi sull'istruzione superiore in insight più rapidi e affidabili, che supportano decisioni migliori per gli studenti e gli istituti in tutta l'Inghilterra. —Mark Gittoes, Head of Analytical Innovation, Office for Students
La piattaforma ha inoltre migliorato la governance e la collaborazione tra i team. Unity Catalog fornisce la data lineage, controlli di accesso coerenti e i modelli di sicurezza richiesti da un ambiente regolamentato, offrendo al contempo agli analisti una maggiore sicurezza sulla presenza di guardrail adeguati quando lavorano con dati sensibili sull'istruzione in centinaia di istituti. Ciò ha creato una base più scalabile per la sperimentazione e l'adozione dell'AI senza compromettere i requisiti di governance, garantendo al contempo che gli insight utilizzati nelle decisioni normative potessero essere tracciati, convalidati e ritenuti affidabili.
Con tutti i dati centralizzati, gli analisti sono in grado di iterare più rapidamente e concentrarsi su attività a maggior valore aggiunto, anziché gestire pipeline frammentate o unire manualmente i risultati di più sistemi, spostando l'impegno dalla preparazione dei dati all'interpretazione di ciò che i dati rivelano sulla qualità e sui rischi dell'istruzione superiore. L'impegno di modernizzazione ha anche ampliato la flessibilità di assunzione dell'organizzazione, allineando i suoi strumenti a competenze sui dati moderni più diffuse.
“Avere tutto in un unico posto cambia la rapidità con cui si può passare da una domanda a un'analisi significativa”, afferma Gittoes. “Ci consente di dedicare meno tempo alla preparazione dei dati e più tempo a comprendere ciò che ci dicono su rischi, tendenze e risultati negli istituti di istruzione superiore”.
Per l'Office for Students, il valore dell'AI non risiede nel sostituire il giudizio umano. Si tratta invece di ridurre gli attriti che rallentano l'analisi e aiutare i team a far emergere le informazioni rilevanti più rapidamente, in modo da comprendere meglio i rischi per la qualità dell'istruzione superiore e l'esperienza degli studenti in tutta l'Inghilterra. “In qualità di organo di regolamentazione, l'intervento umano è sempre previsto”, afferma Gittoes. “Si tratta sempre di supporto decisionale, non di processo decisionale autonomo”.
Presso l'Office for Students, Genie ha ridotto i tempi e i costi di attività analitiche complesse. Un'analisi di segmentazione degli studenti che avrebbe richiesto ad almeno due analisti due settimane è stata completata in mezza giornata. Un proof of concept per il triage di registrazione degli istituti, che in precedenza richiedeva a due o tre colleghi la lettura manuale di documenti per oltre un mese, ora supporta la segnalazione di invii mancanti prima dell'inizio di una valutazione completa, aiutando i team a identificare potenziali problemi di conformità degli istituti nelle prime fasi del processo normativo e riducendo i ritardi nella valutazione della prontezza istituzionale.
L'impatto va oltre i guadagni in termini di efficienza. Un accesso più rapido a informazioni affidabili consente all'Office for Students di identificare i problemi in anticipo, comprendere meglio le tendenze tra gli istituti di istruzione superiore che potrebbero indicare rischi emergenti per i risultati degli studenti o le prestazioni istituzionali e prendere decisioni normative più informate che aiutino a proteggere i risultati degli studenti e a rafforzare la responsabilità in tutto il settore. Grazie a una moderna base di dati e AI, l'organizzazione continua a ridurre la distanza tra una domanda e una risposta sicura, garantendo al contempo che la supervisione umana e la responsabilità rimangano centrali in ogni decisione per supportare standard più elevati in tutta l'istruzione superiore inglese.
Ricevi aggiornamenti regolari su come Databricks aiuta le organizzazioni del settore pubblico a unificare i dati, governare l'AI e trasformare la conoscenza in azione su scala globale seguendo Databricks for Public Sector su LinkedIn.
(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale
Iscriviti al nostro blog e ricevi gli ultimi articoli direttamente nella tua casella di posta.