Cómo el Imperial College de Londres está acelerando la investigación sobre la demencia con una plataforma de datos moderna

Imagine no poder decirle a su médico si siente dolor o si tiene fiebre. Esta es la realidad de muchas personas que viven con demencia, lo que significa que a los médicos les puede resultar difícil hacer un diagnóstico correcto, lo que provoca retrasos en el tratamiento.

Para las personas que viven con demencia, los cambios sutiles como la alteración del sueño, la reducción del movimiento y las variaciones en la rutina diaria pueden indicar cambios significativos en la salud. Pero cuando las personas que viven con demencia no pueden comunicar estos detalles por sí mismas, capturar esos datos y hacerlos útiles para los proveedores de atención puede mejorar significativamente los resultados. En el Centro de Investigación y Tecnología del Cuidado del Instituto de Investigación de la Demencia del Reino Unido (CR&T), con sede en el Imperial College de Londres, los investigadores realizan un seguimiento continuo de estas señales. Utilizando datos de sensores en el hogar, monitores de sueño y registros de salud electrónicos (EHR), el equipo crea un panorama en tiempo real de la salud de la persona para mejorar la atención y avanzar en la investigación. Este panorama puede detectar infecciones a tiempo, ayudar a reducir las hospitalizaciones evitables y permitir que las personas vivan de forma segura en sus hogares durante más tiempo.

Sin embargo, a lo largo de los años, a medida que crecía el número de hogares, de dispositivos domésticos y el volumen de datos, la plataforma de datos que sustentaba esta misión tuvo dificultades para escalar al mismo ritmo, lo que planteó desafíos para ofrecer información oportuna y confiable que respaldara la atención y la investigación.

Cuando los datos críticos no pueden moverse lo suficientemente rápido

A lo largo de cinco años, el servicio insignia del CR&T, la plataforma Minder, evolucionó hasta convertirse en una infraestructura robusta, aunque el crecimiento de la plataforma trajo consigo crecientes desafíos de escalabilidad.

A medida que crecían los volúmenes de datos y se expandían los casos de uso, tres desafíos comenzaron a ralentizar el progreso:

1. Las cargas de trabajo en competencia ralentizaron la innovación: los sistemas que gestionaban la ingesta, la analítica y las consultas en tiempo real comenzaron a solaparse. Incluso los cambios más pequeños corrían el riesgo de interrumpir los flujos de trabajo de producción, lo que obligaba a los equipos a avanzar con cautela y ralentizaba la iteración.

2. El almacenamiento y el cómputo estaban estrechamente acoplados: para mantener los datos accesibles, se almacenaban grandes volúmenes en bases de datos operativas. A medida que los datos crecían, también lo hacían los costos de infraestructura, sin un camino claro para escalar de manera eficiente.

3. Los investigadores no podían acceder fácilmente a los datos: no existía un entorno de investigación dedicado. Las partes interesadas no técnicas, incluidos los médicos, tenían una visibilidad limitada de los datos, lo que dificultaba la validación de los modelos y la traducción de la información en atención médica.

Estos problemas retrasaron la transferencia de las investigaciones del Centro a la práctica clínica.

Construcción de una plataforma diseñada para la investigación y la atención

Para avanzar más rápido, el CR&T rediseñó la arquitectura de su plataforma con el objetivo de separar los sistemas que antes estaban estrechamente acoplados y crear un entorno dedicado para la analítica y la investigación.

Los datos de IoT ahora se ingieren y validan a través de una capa de Kubernetes antes de llegar a Delta Lake en Azure Data Lake Storage. Los datos avanzan desde el estado bruto (bronce) al refinado (plata) y, finalmente, a conjuntos de datos anonimizados y listos para la investigación (oro), que alimentan la analítica descendente.

Este cambio creó una base modular, confiable y escalable para trabajar con datos de sensores en constante crecimiento, todo ello sin afectar a los sistemas operativos.

Al mismo tiempo, el CR&T preservó lo que ya funcionaba para los flujos de trabajo clínicos mientras modernizaba todo lo demás. Los sistemas EHR siguieron optimizados para la interoperabilidad con el NHS y otros entornos clínicos, continuando con el uso del estándar FHIR para garantizar un intercambio de datos sin interrupciones. Esta base ahora permite una integración activa con la atención clínica del NHS a través del Imperial College Healthcare NHS Trust, acercando la información de Minder a la toma de decisiones en primera línea. Las primeras implementaciones se centran en integrar los datos de monitoreo remoto en los flujos de trabajo clínicos, apoyando a los médicos con información más oportuna y contextual sobre los pacientes que viven en sus hogares.

Sobre esa base, el equipo introdujo una gobernanza centralizada a través de Unity Catalog (UC), lo que permite un control de acceso detallado entre los equipos de investigación, los estudios y los colaboradores externos. Databricks se convirtió entonces en la capa de analítica dedicada, ofreciendo a los investigadores un entorno unificado para explorar datos, crear modelos y colaborar de forma independiente de los flujos de trabajo de producción.

Para la implementación de modelos, el CR&T continúa utilizando Kubeflow, mientras evalúa activamente MLflow para simplificar aún más la experimentación, la implementación, el reentrenamiento y el mantenimiento de los modelos.

Convertir el acceso a los datos en velocidad de investigación

Modernizar la arquitectura fue solo parte de la solución. El CR&T también replanteó la forma en que los investigadores interactúan con los datos, creando un flujo de trabajo de la investigación a la producción que acelera el desarrollo y el intercambio de información. Unity Catalog desempeña un papel central al realizar un seguimiento del uso de los conjuntos de datos y ayudar a identificar activos de datos de alto valor. Las canalizaciones (pipelines) de procesamiento y análisis desarrolladas por los equipos de investigación en conjuntos de datos de uso frecuente se consolidan a nivel de código y se hacen reutilizables entre los equipos. Esto reduce la duplicación de esfuerzos y acelera la entrega al proporcionar a los investigadores plantillas de canalizaciones de referencia para trabajar con conjuntos de datos nuevos o complejos.

La accesibilidad también mejoró significativamente para los médicos y otras partes interesadas no técnicas. Los paneles de Databricks ahora muestran el estado de los dispositivos de IoT, las tendencias de comportamiento y fisiológicas, y la información a nivel de cohorte de una manera más intuitiva. Además, se están probando integraciones de paneles integrados dentro de los sistemas de monitoreo para que los médicos puedan acceder a la información directamente desde las herramientas que ya utilizan.

La plataforma también aborda un requisito crítico en la investigación médica relacionado con la reproducibilidad. Los datos de IoT se actualizan continuamente, por lo que los resultados pueden cambiar con el tiempo. Para garantizar la coherencia, cada punto de datos se almacena con su marca de tiempo original, lo que permite a los investigadores reconstruir exactamente lo que vio un médico en cualquier momento del pasado.

De meses a semanas: un impacto real en la productividad

Al construir la nueva plataforma junto con los sistemas existentes, el CR&T evitó interrupciones al tiempo que aceleró el progreso. Los primeros resultados muestran avances significativos:

• Se mantuvo el 100% del tiempo de actividad durante toda la migración
• Nuevas fuentes de datos de IoT integradas en tan solo un mes, en comparación con los ~6 meses anteriores
• Desarrollo de modelos reducido a ~1 mes, lo que permite una iteración más rápida
• Rápido crecimiento de datos, incluidos millones de puntos de datos de IoT ingeridos en cuestión de meses
• Crecimiento de la plataforma del 50% mes a mes, con una creciente adopción entre usuarios no técnicos

Lo más importante es que estas mejoras se están traduciendo en un impacto en el mundo real:

“Hemos reestructurado nuestra forma de trabajar y hemos hecho que los datos sean más accesibles. La plataforma analítica de Databricks ya ha puesto información clínica a disposición de 581 personas que viven con demencia en los últimos 5 meses”.—Ethan de Villiers, Ingeniero de datos, CR&T

El equipo también estima que se han ahorrado cientos de horas de ingeniería en comparación con la construcción de una infraestructura equivalente desde cero.

Avanzar en la misión para una mejor atención de la demencia.

En el CR&T, el trabajo es continuo. Para una población que a menudo no puede abogar por sí misma, la capacidad de extraer datos objetivos y continuos sobre lo que sucede en el hogar es una parte fundamental de la prestación de cuidados. A medida que la plataforma crece, también lo hace el potencial de llegar a más personas, reducir el tiempo entre un hallazgo de investigación y una decisión clínica, y brindar a los equipos de atención la evidencia que necesitan para actuar.

La experiencia del CR&T también revela que la mayor barrera para la atención basada en datos rara vez son los datos en sí. Es si las personas adecuadas, independientemente de sus conocimientos técnicos, pueden acceder a ellos, confiar en ellos y utilizarlos. Ese es el problema que el CR&T se propuso resolver. Y los datos sugieren que está funcionando.

Lecciones para construir plataformas de datos de atención médica

La experiencia del CR&T refleja un cambio más amplio que está ocurriendo en todo el sector de la salud, donde el futuro de la atención médica depende de transformar datos fragmentados del mundo real en información accionable.

A medida que las organizaciones adoptan cada vez más dispositivos conectados, monitoreo remoto y analítica impulsada por AI, el desafío ya no es simplemente recopilar datos. Es construir sistemas que hagan que esos datos sean accesibles, confiables y utilizables por las personas que toman decisiones de atención médica todos los días.

Especialmente para la atención de la demencia, donde las personas no siempre pueden comunicar los cambios en su estado, los datos continuos pueden proporcionar un contexto crítico que de otro modo se perdería. El impacto se extiende mucho más allá de un único caso de uso. Los mismos principios arquitectónicos en torno a una infraestructura de datos escalable, acceso gobernado y analítica adaptada a los investigadores se están volviendo fundamentales para los sistemas de salud modernos que buscan acelerar la investigación, personalizar la atención y mejorar los resultados a escala.

El trabajo del CR&T demuestra cómo una plataforma de datos compartida y confiable puede ayudar a las organizaciones de atención médica a acelerar la investigación, mejorar la toma de decisiones clínicas y, en última instancia, ofrecer mejores resultados para los pacientes.

Agradecimientos

Reconocemos a los miembros del equipo principal del Care Research and Technology Centre, a nuestros financiadores y patrocinadores del estudio por apoyar este trabajo. Un agradecimiento especial a los equipos de Ciencia de Datos y Software (Nora Joby, Anna Joffe, Ethan de Villiers, Amer Marzuki, Ramsheed Abdul Rahim y Gaia Frigerio) por sus contribuciones técnicas en el desarrollo de esta plataforma.

Financiamiento y apoyo

Minder cuenta con el apoyo del UK Dementia Research Institute (UK DRI Ltd), financiado principalmente por el UK Medical Research Council, con el apoyo adicional de la Alzheimer's Society. Mindercare cuenta con un apoyo similar del UK Dementia Research Institute (UK DRI Ltd), financiado principalmente por el Medical Research Council, con financiamiento adicional de LifeArc.

Más información

Reciba actualizaciones periódicas sobre cómo Databricks ayuda a las organizaciones del sector público a unificar datos, gobernar la AI y transformar el conocimiento en acción a escala global siguiendo a Databricks for Public Sector en LinkedIn.

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original