Uso de datos más inteligentes para fortalecer la gestión de la educación superior
por Kacey Hertan
De 8 horas a minutos | Tiempo de procesamiento para una tarea de datos de 300 millones de registros tras migrar a Databricks
Medio día | Para completar un análisis de segmentación de estudiantes que antes requería dos semanas de trabajo de dos analistas
La Office for Students regula a más de 400 proveedores de educación superior en toda Inglaterra y gestiona datos que abarcan millones de registros de estudiantes a lo largo de décadas. A medida que crecían la escala y la complejidad del análisis, los sistemas heredados ya no podían mantener el ritmo. Al migrar a Databricks, la organización transformó la forma en que sus equipos acceden, analizan y actúan sobre los datos, acelerando drásticamente la generación de información de valor y creando al mismo tiempo una base más flexible para el soporte de decisiones basado en AI.
La Office for Students se centra en garantizar una alta calidad de la educación superior para todos los estudiantes de Inglaterra mediante una regulación basada en datos que respalda la calidad, la equidad y la rendición de cuentas del sistema de educación superior. El equipo examina los datos de los estudiantes y de los proveedores, incluidos los resultados de los estudiantes, los informes de los proveedores, los patrones de inscripción, los datos de continuidad de los estudiantes y los indicadores que pueden señalar riesgos para la calidad de la educación o la experiencia de los estudiantes en los distintos proveedores de educación superior.
Sin embargo, las limitaciones de una plataforma de análisis heredada se habían vuelto imposibles de eludir. Su equipo de datos gestionaba información sobre cada estudiante que había pasado por la educación superior en Inglaterra, hasta 3 millones de registros al año, procedentes de JISC, el Department for Education, el Universities and Colleges Admissions Service (UCAS), la Student Loans Company y otras fuentes que abarcaban de 15 a 20 años. El sistema se había diseñado originalmente para el análisis de datos cuantitativos, pero las exigencias de la organización habían evolucionado mucho más allá de lo que la plataforma heredada podía soportar de manera eficiente.
Uno de los ejemplos más claros fue un proceso de preparación de datos (data wrangling) utilizado para crear la infraestructura de monitoreo de los resultados de los estudiantes. El flujo de trabajo procesaba aproximadamente 300 millones de registros y tardaba 8 horas en completarse en el entorno heredado. Más allá de las limitaciones de rendimiento, la incorporación de datos no estructurados y cualitativos requería soluciones manuales provisionales que ralentizaban el análisis y limitaban la capacidad de la organización para trabajar con fuentes de datos emergentes.
La plataforma obsoleta también generaba desafíos operativos para el propio equipo. Cada vez era más difícil contratar personal con habilidades especializadas, lo que complicaba la escala de las capacidades analíticas y la modernización de los flujos de trabajo. Los analistas dedicaban un tiempo desproporcionado a lidiar con las limitaciones de las herramientas en lugar de generar información de valor.
“Habíamos llegado a un punto en el que la plataforma simplemente no estaba alineada con el tipo de trabajo analítico que necesitábamos realizar”, afirma Mark Gittoes, Head of Analytical Innovation en la Office for Students. “Necesitábamos un entorno que pudiera soportar tanto la escala de los datos como el ritmo de la toma de decisiones”.
La Office for Students se migró a Databricks para consolidar los flujos de trabajo de datos, análisis y AI en una única plataforma gobernada. Reunir conjuntos de datos estructurados, información cualitativa y datos casi en tiempo real en un solo entorno cambió fundamentalmente la forma en que se podían realizar los análisis para evaluar riesgos, comprender el rendimiento de los proveedores y respaldar decisiones que impactan en los resultados de los estudiantes a escala.
En lugar de trabajar con sistemas desconectados de forma secuencial, los equipos pueden analizar múltiples fuentes simultáneamente dentro de una arquitectura unificada para obtener información accionable de manera más rápida y consistente en todo el sector.
Databricks nos ayuda a transformar datos complejos de educación superior en información más rápida y confiable que respalda mejores decisiones para estudiantes y proveedores en toda Inglaterra. —Mark Gittoes, Head of Analytical Innovation, Office for Students
La plataforma también mejoró la gobernanza y la colaboración entre los equipos. Unity Catalog proporciona el linaje de datos, los controles de acceso consistentes y los patrones de seguridad que requiere un entorno regulado, al tiempo que brinda a los analistas una mayor confianza de que se cuenta con las medidas de protección adecuadas al trabajar con datos educativos de gran importancia en cientos de proveedores. Esto ha creado una base más escalable para la experimentación y la adopción de AI sin comprometer los requisitos de gobernanza, y ha garantizado que la información utilizada en las decisiones regulatorias pueda rastrearse, validarse y ser confiable.
Con todos los datos centralizados, los analistas pueden iterar más rápidamente y centrarse en tareas de mayor valor en lugar de mantener pipelines fragmentados o unir manualmente los resultados de múltiples sistemas, trasladando el esfuerzo de la preparación de datos a la interpretación de lo que los datos revelan sobre la calidad y el riesgo de la educación superior. El esfuerzo de modernización también amplió la flexibilidad de contratación de la organización al alinear sus herramientas con habilidades de datos modernas y más ampliamente adoptadas.
“Tener todo en un solo lugar cambia la rapidez con la que se puede pasar de una pregunta a un análisis significativo”, afirma Gittoes. “Nos permite dedicar menos tiempo a preparar datos y más tiempo a comprender lo que nos dicen sobre los riesgos, las tendencias y los resultados en los proveedores de educación superior”.
Para la Office for Students, el valor de la AI no radica en reemplazar el juicio humano. Se trata de reducir la fricción que ralentiza el análisis y ayudar a los equipos a extraer información relevante más rápidamente para que puedan comprender mejor los riesgos para la calidad de la educación superior y la experiencia de los estudiantes en toda Inglaterra. “Como regulador, los humanos siempre participan en este proceso”, afirma Gittoes. “Siempre se trata de un soporte para la toma de decisiones, no de la toma de decisiones en sí”.
En la Office for Students, Genie Code redujo el tiempo y el costo de las tareas analíticas complejas. Un análisis de segmentación de estudiantes que habría llevado a dos analistas al menos dos semanas se completó en medio día. Una prueba de concepto para el triaje de registro de proveedores, que antes requería que dos o tres colegas leyeran documentos manualmente durante un mes, ahora ayuda a marcar las entregas faltantes antes de que comience una evaluación completa, lo que ayuda a los equipos a identificar posibles problemas con el cumplimiento de los proveedores en una etapa más temprana del proceso regulatorio y reduce los retrasos en la evaluación de la preparación institucional.
El impacto va más allá de las ganancias en eficiencia. Un acceso más rápido a información confiable permite a la Office for Students identificar problemas antes, comprender mejor las tendencias entre los proveedores de educación superior que puedan indicar riesgos emergentes para los resultados de los estudiantes o el rendimiento institucional, y tomar decisiones regulatorias mejor fundamentadas que ayuden a proteger los resultados de los estudiantes y a fortalecer la rendición de cuentas en todo el sector. Con una base moderna de datos y AI implementada, la organización continúa acortando la distancia entre una pregunta y una respuesta confiable, al tiempo que garantiza que la supervisión humana y la rendición de cuentas sigan siendo fundamentales en cada decisión para respaldar estándares más altos en toda la educación superior inglesa.
Reciba actualizaciones periódicas sobre cómo Databricks ayuda a las organizaciones del sector público a unificar datos, gobernar la AI y transformar el conocimiento en acción a escala global siguiendo a Databricks for Public Sector en LinkedIn.
(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original
Suscríbete a nuestro blog y recibe las últimas publicaciones directamente en tu bandeja de entrada.