더 스마트한 데이터를 활용한 고등교육 관리 감독 강화
작성자: 케이시 허탄
8시간 → 분 단위 | Databricks 도입 후 3억 건의 레코드 데이터 작업 처리 시간
반나절 | 이전에는 분석가 2명이 2주 동안 수행해야 했던 학생 세분화 분석 완료 시간
Office for Students는 영국 전역의 400개 이상의 고등교육 기관을 규제하며, 수십 년에 걸친 수백만 명의 학생 레코드 데이터를 관리합니다. 분석의 규모와 복잡성이 커짐에 따라 기존 레거시 시스템으로는 더 이상 감당할 수 없게 되었습니다. Databricks로 이전함으로써 이 기관은 팀이 데이터에 액세스하고, 분석하고, 조치를 취하는 방식을 혁신하여 인사이트 도출을 획기적으로 가속화하는 동시에 AI 기반 의사 결정 지원을 위한 보다 유연한 기반을 마련했습니다.
Office for Students는 고등교육 시스템의 품질, 공정성 및 책무성을 지원하는 데이터 기반 규제를 통해 영국 전역의 모든 학생에게 고품질의 고등교육을 보장하는 데 집중하고 있습니다. 이 팀은 학생 성과, 기관 보고서, 등록 패턴, 학생 학업 지속 데이터, 고등교육 기관 전반의 교육 품질이나 학생 경험에 대한 위험 신호가 될 수 있는 지표를 포함한 학생 및 기관 데이터를 검토합니다.
그러나 기존 레거시 분석 플랫폼의 한계로 인해 더 이상 작업을 진행하기가 불가능해졌습니다. 데이터 팀은 JISC, 교육부, 대학입학처(UCAS), 학자금 대출 공사(Student Loans Company) 및 기타 소스에서 수집한 15~20년에 걸친 데이터를 바탕으로 영국에서 고등교육을 받은 모든 학생(연간 최대 300만 건의 레코드)의 데이터를 관리했습니다. 이 시스템은 원래 정량적 데이터 분석을 위해 설계되었으나, 기관의 요구 사항은 레거시 플랫폼이 효율적으로 지원할 수 있는 수준을 훨씬 넘어섰습니다.
가장 대표적인 예는 학생 성과를 모니터링하기 위한 인프라를 구축하는 데 사용된 데이터 준비(data wrangling) 프로세스였습니다. 이 워크플로는 약 3억 건의 레코드를 처리했으며, 레거시 환경에서 완료하는 데 8시간이 걸렸습니다. 성능상의 한계 외에도 비정형 및 정성적 데이터를 통합하려면 수동 해결 방법이 필요했기 때문에 분석이 지연되었고 새로운 데이터 소스를 활용하는 기관의 역량이 제한되었습니다.
노후화된 플랫폼은 팀 자체에도 운영상의 어려움을 안겨주었습니다. 전문 기술을 갖춘 인력을 채용하기가 점점 더 어려워져 분석 역량을 확장하고 워크플로를 현대화하는 데 걸림돌이 되었습니다. 분석가들은 인사이트를 도출하는 대신 도구의 한계를 해결하는 데 과도한 시간을 소비해야 했습니다.
“우리는 플랫폼이 우리가 수행해야 하는 분석 작업과 전혀 맞지 않는 지점에 도달해 있었습니다”라고 Office for Students의 분석 혁신 부문 총괄인 Mark Gittoes는 말합니다. “데이터의 규모와 의사 결정 속도를 모두 지원할 수 있는 환경이 필요했습니다.”
Office for Students는 데이터, 분석 및 AI 워크플로를 거버넌스가 확보된 단일 플랫폼으로 통합하기 위해 Databricks로 이전했습니다. 정형 데이터 세트, 정성적 정보 및 실시간에 가까운 데이터를 하나의 환경으로 가져옴으로써 위험을 평가하고, 기관의 성과를 파악하며, 대규모로 학생 성과에 영향을 미치는 의사 결정을 지원하기 위한 분석 수행 방식이 근본적으로 바뀌었습니다.
팀은 서로 단절된 시스템을 순차적으로 거치는 대신, 통합된 아키텍처 내에서 여러 소스를 동시에 분석하여 교육 부문 전반에 걸쳐 실행 가능한 인사이트를 더 빠르고 일관되게 도출할 수 있습니다.
Databricks는 복잡한 고등교육 데이터를 더 빠르고 신뢰할 수 있는 인사이트로 전환하여 영국 전역의 학생과 교육 기관을 위한 더 나은 의사 결정을 지원하도록 돕습니다. —Mark Gittoes, Office for Students 분석 혁신 부문 총괄
또한 이 플랫폼은 팀 간의 거버넌스와 협업을 개선했습니다. Unity Catalog는 규제 대상 환경에 필요한 데이터 계보(lineage), 일관된 액세스 제어 및 보안 패턴을 제공하는 동시에, 분석가들이 수백 개의 기관에 걸친 민감한 교육 데이터를 다룰 때 적절한 가드레일이 마련되어 있다는 확신을 가질 수 있도록 지원합니다. 이를 통해 거버넌스 요구 사항을 타협하지 않으면서도 실험과 AI 도입을 위한 확장성 있는 기반을 마련했으며, 규제 결정에 사용되는 인사이트를 추적, 검증 및 신뢰할 수 있도록 보장했습니다.
모든 데이터가 중앙 집중화됨에 따라 분석가들은 파편화된 파이프라인을 유지 관리하거나 여러 시스템의 결과를 수동으로 결합하는 대신 더 빠르게 반복 작업을 수행하고 고부가가치 작업에 집중할 수 있게 되었으며, 데이터 준비 작업에 들던 노력을 데이터가 보여주는 고등교육의 품질과 위험을 해석하는 데 투입할 수 있게 되었습니다. 또한 이러한 현대화 노력은 널리 채택된 현대적 데이터 기술에 도구를 맞춤으로써 기관의 채용 유연성을 넓혀주었습니다.
“모든 것을 한곳에 모아두면 질문에서 의미 있는 분석으로 나아가는 속도가 달라집니다”라고 Gittoes는 말합니다. “덕분에 데이터 준비에 소비하는 시간은 줄이고, 데이터가 고등교육 기관 전반의 위험, 트렌드, 성과에 대해 무엇을 말해주는지 이해하는 데 더 많은 시간을 할애할 수 있게 되었습니다.”
Office for Students에게 AI의 가치는 인간의 판단을 대체하는 것이 아닙니다. 분석 속도를 늦추는 마찰을 줄이고 팀이 관련 정보를 더 빠르게 표면화하여 영국 전역의 고등교육 품질과 학생 경험에 대한 위험을 더 잘 이해할 수 있도록 돕는 것입니다. “규제 기관으로서 이 과정에는 항상 사람이 개입합니다”라며 Gittoes는 “이는 언제나 의사 결정 자체가 아니라 의사 결정 지원입니다”라고 말합니다.
Office for Students에서는 Genie Code를 통해 복잡한 분석 작업의 시간과 비용을 줄였습니다. 분석가 2명이 최소 2주는 걸렸을 학생 세분화 분석이 반나절 만에 완료되었습니다. 이전에는 2~3명의 동료가 한 달 동안 문서를 수동으로 읽어야 했던 기관 등록 분류에 대한 개념 증명(PoC)은 이제 본격적인 평가가 시작되기 전에 누락된 제출물을 표시하도록 지원하여, 팀이 규제 프로세스 초기에 기관 준수 관련 잠재적 문제를 식별하고 기관 준비 상태 평가의 지연을 줄일 수 있도록 돕습니다.
그 영향은 효율성 향상에만 국한되지 않습니다. 신뢰할 수 있는 정보에 더 빠 르게 액세스함으로써 Office for Students는 문제를 더 일찍 식별하고, 학생 성과나 기관 성과에 대한 새로운 위험을 나타낼 수 있는 고등교육 기관 전반의 트렌드를 더 잘 이해하며, 학생 성과를 보호하고 부문 전반의 책무성을 강화하는 데 도움이 되는 정보에 기반한 규제 결정을 내릴 수 있습니다. 현대적인 데이터 및 AI 기반을 갖춘 이 기관은 질문과 확신에 찬 답변 사이의 거리를 계속해서 단축하는 동시에, 영국 고등교육 전반의 더 높은 기준을 지원하기 위해 모든 결정의 중심에 인간의 감독과 책무성을 유지하고 있습니다.
LinkedIn에서 Databricks for Public Sector를 팔로우하여 Databricks가 어떻게 전 세계 공공 부문 조직이 데이터를 통합하고, AI를 거버닝하며, 지식을 행동으로 전환하도록 돕는지에 대한 정기적인 업데이트를 받아보세요.
(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)
블로그를 구독하고 최신 게시물을 이메일로 받아보세요.