英国のOffice for StudentsがDatabricksを活用して高等教育の基準を向上させ、学生の成果を改善した方法

8時間から数分へ | Databricksへの移行後、3億件のレコードを処理するデータジョブの処理時間

半日 | 以前は2人のアナリストが2週間かけていた学生のセグメンテーション分析を完了するまでの時間

Office for Studentsは、イングランド全土の400以上の高等教育機関を規制し、数十年にわたる数百万件もの学生レコードに及ぶデータを管理しています。分析の規模と複雑さが増すにつれ、レガシーシステムでは対応しきれなくなりました。Databricksに移行することで、同組織はチームがデータにアクセスし、分析し、行動する方法を変革しました。これにより、インサイトの生成を劇的に加速させると同時に、AIを活用した意思決定支援のためのより柔軟な基盤を構築しました。

ツールが業務に追いつかなくなったとき

Office for Studentsは、高等教育システムの品質、公平性、説明責任をサポートするデータに基づく規制を通じて、イングランド全土のすべての学生に高品質な高等教育を提供することに注力しています。同チームは、学生の成果、教育機関からの報告、入学パターン、就学継続データ、高等教育機関における教育の質や学生の体験に対するリスクを示す可能性のある指標など、学生や教育機関のデータを調査しています。

しかし、レガシーな分析プラットフォームの限界を回避することは不可能になっていました。同組織のデータチームは、JISC、教育省、大学・大学一括申請サービス（UCAS）、学生ローン会社などから収集した、15〜20年間にわたる年間最大300万件のイングランドの高等教育に関わったすべての学生のデータを管理していました。システムはもともと定量データの分析用に設計されていましたが、組織に対する要求は、レガシープラットフォームが効率的にサポートできる範囲をはるかに超えて進化していました。

最も分かりやすい例の1つが、学生の成果を監視するためのインフラ構築に使用されていたデータラングリングプロセスです。このワークフローは約3億件のレコードを処理し、レガシー環境では完了までに8時間かかっていました。パフォーマンスの制限に加え、非構造化データや定性データを取り込むには手動での回避策が必要であり、それが分析を遅らせ、新しいデータソースを活用する組織の能力を制限していました。

プラットフォームの老朽化は、チーム自体にも運用上の課題をもたらしました。専門的なスキルを持つ人材の採用がますます困難になり、分析能力の拡張やワークフローの近代化が難しくなっていました。アナリストは、インサイトを生成することよりも、ツールの制限に対処することに不釣り合いなほどの時間を費やしていました。

「プラットフォームが、私たちが本来行うべき分析業務にまったく合わなくなっている段階に達していました」と、Office for Studentsの分析イノベーション部門責任者であるMark Gittoes氏は語ります。「データの規模と意思決定のスピードの両方をサポートできる環境が必要だったのです」

1つのプラットフォーム、1つの信頼できる情報源

Office for Studentsは、データ、分析、AIワークフローをガバナンスの効いた単一のプラットフォームに統合するためにDatabricksに移行しました。構造化データセット、定性情報、ほぼリアルタイムのデータを1つの環境に集約したことで、リスク評価、教育機関のパフォーマンス把握、そして学生の成果に影響を与える意思決定を大規模にサポートするための分析手法が根本から変わりました。

バラバラのシステムを順に処理していく代わりに、チームは統合されたアーキテクチャ内で複数のデータソースを同時に分析し、業界全体でより迅速かつ一貫して実用的なインサイトを導き出すことができるようになりました。

Databricksは、複雑な高等教育データをより迅速で信頼性の高いインサイトに変換し、イングランド全土の学生や教育機関にとってより良い意思決定をサポートしてくれます。 —Mark Gittoes氏、Office for Students 分析イノベーション部門責任者

また、このプラットフォームはチーム間のガバナンスとコラボレーションも向上させました。Unity Catalogは、規制環境が必要とするデータリネージ、一貫したアクセス制御、セキュリティパターンを提供します。同時に、何百もの教育機関にまたがる極めて重要な教育データを扱う際、適切なガードレールが整備されているという確信をアナリストに与えます。これにより、ガバナンス要件を損なうことなく、実験やAI導入のためのよりスケーラブルな基盤が構築され、規制上の意思決定に使用されるインサイトの追跡、検証、信頼性が確保されました。

すべてのデータが集中管理されたことで、アナリストは断片化したパイプラインの維持や複数システムからの出力の手動での統合に時間を取られることなく、より迅速に反復作業を行い、より価値の高い業務に集中できるようになりました。これにより、データの準備から、データが高等教育の質やリスクについて何を示しているかの解釈へと注力分野をシフトさせることができました。この近代化の取り組みは、ツールをより広く普及しているモダンなデータスキルに合わせることで、組織の採用の柔軟性も広げました。

「すべてが1つの場所にあることで、疑問が生じてから有意義な分析を行うまでのスピードが劇的に変わります」とGittoes氏は言います。「データ準備にかける時間を減らし、高等教育機関全体のリスク、トレンド、成果についてデータが何を物語っているかを理解することに、より多くの時間を割けるようになりました」

迅速な分析から、より適切な意思決定へ

Office for Studentsにとって、AIの価値は人間の判断に取って代わることではありません。分析を遅らせる摩擦を減らし、チームが関連情報をより迅速に見つけられるようにすることで、イングランド全土の高等教育の質や学生の体験に対するリスクをより深く理解できるようにすることです。「規制機関として、これには常に人間が関与しています」とGittoes氏は言います。「これは常に意思決定の支援であり、意思決定そのものではありません」

Office for Studentsでは、Genie Codeによって複雑な分析タスクの時間とコストが削減されました。以前は2人のアナリストが少なくとも2週間かけていた学生のセグメンテーション分析が、半日で完了しました。以前は2〜3人のスタッフが1ヶ月かけて手動で文書を読み込んでいた教育機関登録トリアージの概念実証（PoC）は、現在では本格的な評価が始まる前に提出漏れにフラグを立てることをサポートしています。これにより、チームは規制プロセスのより早い段階で教育機関のコンプライアンスに関する潜在的な問題を特定し、教育機関の準備状況評価の遅れを減らすことができます。

その影響は効率性の向上にとどまりません。信頼できる情報に迅速にアクセスできるようになったことで、Office for Studentsは問題をより早期に特定し、学生の成果や教育機関のパフォーマンスに対する新たなリスクを示す可能性のある高等教育機関全体のトレンドをより深く理解し、学生の成果を保護し業界全体の説明責任を強化する、より適切な規制上の意思決定を下すことができるようになりました。モダンなデータとAIの基盤が整ったことで、同組織は、イングランドの高等教育全体でより高い基準をサポートするために、すべての意思決定の中心に人間の監視と説明責任を維持しつつ、疑問から確信の持てる回答までの距離を縮め続けています。

Databricksがどのように世界規模で公共部門の組織によるデータの統合、AIのガバナンス、そして知識の行動への転換を支援しているかについて、定期的なアップデートを受け取るには、LinkedInでDatabricks for Public Sectorをフォローしてください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事