Como o Imperial College London está acelerando a pesquisa sobre demência com uma plataforma de dados moderna

Imagine não ser capaz de dizer ao seu médico se você está sentindo dor ou com febre. Essa é a realidade de muitas pessoas que vivem com demência — e isso significa que os médicos podem ter dificuldades para fazer o diagnóstico correto, levando a atrasos no tratamento.

Para pessoas que vivem com demência, mudanças sutis, como distúrbios no sono, redução de movimentos e alterações na rotina diária, podem sinalizar mudanças significativas na saúde. Mas quando as pessoas que vivem com demência não conseguem preencher essas lacunas por si mesmas, capturar esses dados e torná-los úteis para os prestadores de cuidados pode melhorar significativamente os resultados. No Centro de Pesquisa e Tecnologia de Cuidados do UK Dementia Research Institute (CR&T), sediado no Imperial College London, os pesquisadores monitoram esses sinais continuamente. Usando dados de sensores domésticos, monitores de sono e prontuários eletrônicos de saúde, a equipe cria um panorama em tempo real da saúde da pessoa para melhorar o atendimento e avançar nas pesquisas. Esse panorama pode detectar infecções precocemente, ajudar a reduzir hospitalizações evitáveis e ajudar as pessoas a viverem com segurança em casa por mais tempo.

Mas, ao longo dos anos, à medida que o número de residências, dispositivos domésticos e volumes de dados cresceu, a plataforma de dados por trás dessa missão teve dificuldades para escalar no mesmo ritmo, criando desafios para fornecer insights oportunos e confiáveis para apoiar o atendimento e a pesquisa.

Quando dados críticos não conseguem se mover rápido o suficiente

Ao longo de cinco anos, o principal serviço do CR&T, a plataforma Minder, evoluiu para uma infraestrutura robusta, embora o crescimento da plataforma tenha trazido consigo desafios crescentes relacionados à escalabilidade.

À medida que os volumes de dados cresceram e os casos de uso se expandiram, três desafios começaram a desacelerar o progresso:

1. Cargas de trabalho concorrentes desaceleraram a inovação - Sistemas que lidam com ingestão, análise e consultas em tempo real começaram a se sobrepor. Mesmo pequenas alterações corriam o risco de interromper fluxos de trabalho de produção, forçando as equipes a agir com cautela e desacelerando a iteração.

2. O armazenamento e o processamento estavam fortemente acoplados - Para manter os dados acessíveis, grandes volumes eram armazenados em bancos de dados operacionais. À medida que os dados cresciam, os custos de infraestrutura também aumentavam, sem um caminho claro para escalar de forma eficiente.

3. Os pesquisadores não conseguiam acessar os dados facilmente - Não havia um ambiente de pesquisa dedicado. As partes interessadas não técnicas, incluindo médicos, tinham visibilidade limitada dos dados, tornando mais difícil validar modelos e traduzir insights em cuidados.

Esses problemas atrasaram a tradução das pesquisas do Centro para a prática clínica.

Construindo uma plataforma projetada para pesquisa e cuidados

Para avançar mais rápido, o CR&T rearquitetou sua plataforma com o objetivo de separar sistemas que antes estavam fortemente acoplados e criar um ambiente dedicado para análise e pesquisa.

Os dados de IoT agora são ingeridos e validados por meio de uma camada Kubernetes antes de chegarem ao Delta Lake no Azure Data Lake Storage. Os dados progridem de brutos (bronze) para refinados (prata) e, finalmente, para conjuntos de dados anonimizados e prontos para pesquisa (ouro), que alimentam as análises downstream.

Essa mudança criou uma base modularizada, confiável e escalável para trabalhar com dados de sensores em constante crescimento, tudo sem impactar os sistemas operacionais.

Ao mesmo tempo, o CR&T preservou o que já funcionava para os fluxos de trabalho clínicos, enquanto modernizava tudo ao redor. Os sistemas de EHR permaneceram otimizados para interoperabilidade com o NHS e outros ambientes clínicos, continuando a usar o padrão FHIR para garantir a troca contínua de dados. Essa base agora está permitindo a integração ativa com o atendimento clínico do NHS por meio do Imperial College Healthcare NHS Trust, aproximando os insights do Minder da tomada de decisões na linha de frente. As primeiras implantações estão focadas na incorporação de dados de monitoramento remoto em fluxos de trabalho clínicos, apoiando os médicos com informações mais oportunas e contextuais sobre pacientes que vivem em casa.

Sobre essa base, a equipe introduziu a governança centralizada por meio do Unity Catalog (UC), permitindo um controle de acesso refinado entre equipes de pesquisa, estudos e colaboradores externos. O Databricks tornou-se então a camada de análise dedicada, oferecendo aos pesquisadores um ambiente unificado para explorar dados, criar modelos e colaborar de forma independente dos fluxos de trabalho de produção.

Para a implantação de modelos, o CR&T continua a usar o Kubeflow, enquanto avalia ativamente o MLflow para simplificar ainda mais a experimentação, implantação, retreinamento e manutenção de modelos.

Transformando o acesso a dados em velocidade de pesquisa

Modernizar a arquitetura foi apenas parte da solução. O CR&T também repensou como os pesquisadores interagem com os dados, criando um fluxo de trabalho da pesquisa à produção que acelera o desenvolvimento e o compartilhamento de insights. O Unity Catalog desempenha um papel central ao rastrear o uso de conjuntos de dados e ajudar a identificar ativos de dados de alto valor. Os pipelines analíticos e de processamento desenvolvidos pelas equipes de pesquisa em conjuntos de dados frequentemente utilizados são consolidados em código e tornados reutilizáveis entre as equipes. Isso reduz a duplicação de esforços e acelera a entrega, fornecendo aos pesquisadores modelos de pipeline de padrão ouro para trabalhar com conjuntos de dados novos ou complexos.

A acessibilidade também melhorou significativamente para médicos e outras partes interessadas não técnicas. Os painéis do Databricks agora apresentam a integridade dos dispositivos de IoT, tendências comportamentais e fisiológicas, e insights no nível de coorte de uma forma mais intuitiva. Além disso, integrações de painéis incorporados estão sendo testadas em sistemas de monitoramento para que os médicos possam acessar insights diretamente nas ferramentas que já utilizam.

A plataforma também atende a um requisito crítico na pesquisa médica relacionado à reprodutibilidade. Os dados de IoT são atualizados continuamente, de modo que os resultados podem mudar ao longo do tempo. Para garantir a consistência, cada ponto de dado é armazenado com seu carimbo de data/hora (timestamp) original, permitindo que os pesquisadores reconstruam exatamente o que um médico viu em qualquer momento no passado.

De meses para semanas — um impacto real na produtividade

Ao construir a nova plataforma paralelamente aos sistemas existentes, o CR&T evitou interrupções enquanto acelerava o progresso. Os resultados iniciais mostram ganhos significativos:

• 100% de uptime mantido durante toda a migração
• Novas fontes de dados de IoT integradas em apenas um mês, em comparação com os ~6 meses anteriores
• Desenvolvimento de modelos reduzido para ~1 mês, permitindo uma iteração mais rápida
• Rápido crescimento de dados, incluindo milhões de pontos de dados de IoT ingeridos em poucos meses
• Crescimento de 50% da plataforma mês a mês, com adoção crescente entre usuários não técnicos

O mais importante é que essas melhorias estão se traduzindo em impacto no mundo real:

“Reestruturamos nossa forma de trabalhar e tornamos os dados mais acessíveis. A plataforma analítica do Databricks já disponibilizou insights clínicos para 581 pessoas que vivem com demência nos últimos 5 meses.”—Ethan de Villiers, Engenheiro de Dados, CR&T

A equipe também estima economizar centenas de horas de engenharia em comparação com a construção de uma infraestrutura equivalente do zero.

Avançando na missão de oferecer um melhor cuidado para a demência.

No CR&T, o trabalho é contínuo. Para uma população que muitas vezes não consegue se defender sozinha, a capacidade de extrair dados objetivos e contínuos sobre o que está acontecendo em casa é uma parte fundamental da prestação de cuidados. À medida que a plataforma cresce, também aumenta o potencial de alcançar mais pessoas, reduzir o tempo entre um insight de pesquisa e uma decisão clínica, e dar às equipes de atendimento as evidências de que precisam para agir.

A experiência do CR&T também revela que a maior barreira para o atendimento orientado por dados raramente são os dados em si. É saber se as pessoas certas, independentemente de seu conhecimento técnico, conseguem acessá-los, confiar neles e usá-los. Esse é o problema que o CR&T se propôs a resolver. E os dados sugerem que está funcionando.

Lições para a construção de plataformas de dados de saúde

A experiência do CR&T reflete uma mudança mais ampla que está ocorrendo em todo o setor de saúde, onde o futuro do atendimento depende da transformação de dados fragmentados e do mundo real em insights acionáveis.

À medida que as organizações adotam cada vez mais dispositivos conectados, monitoramento remoto e análises orientadas por AI, o desafio não é mais simplesmente coletar dados. É construir sistemas que tornem esses dados acessíveis, confiáveis e utilizáveis pelas pessoas que tomam decisões de atendimento todos os dias.

Especialmente para o cuidado da demência, em que as pessoas nem sempre conseguem comunicar mudanças em seu estado de saúde, os dados contínuos podem fornecer um contexto crítico que, de outra forma, seria perdido. O impacto vai muito além de um único caso de uso. Os mesmos princípios de arquitetura em torno de infraestrutura de dados escalável, acesso governado e análises fáceis de usar por pesquisadores estão se tornando fundamentais para os sistemas de saúde modernos que buscam acelerar pesquisas, personalizar o atendimento e melhorar os resultados em escala.

O trabalho do CR&T demonstra como uma plataforma de dados compartilhada e confiável pode ajudar as organizações de saúde a acelerar as pesquisas, melhorar a tomada de decisões clínicas e, por fim, oferecer melhores resultados para os pacientes.

Agradecimentos

Agradecemos aos membros da equipe principal do Care Research and Technology Centre, aos nossos financiadores e patrocinadores do estudo por apoiarem este trabalho. Um agradecimento especial às equipes de Data Science e Software (Nora Joby, Anna Joffe, Ethan de Villiers, Amer Marzuki, Ramsheed Abdul Rahim e Gaia Frigerio) por suas contribuições técnicas no desenvolvimento desta plataforma.

Financiamento e Apoio

O Minder é apoiado pelo UK Dementia Research Institute (UK DRI Ltd), que é financiado principalmente pelo UK Medical Research Council, com apoio adicional da Alzheimer's Society. O Mindercare é apoiado de forma semelhante pelo UK Dementia Research Institute (UK DRI Ltd), financiado principalmente pelo Medical Research Council, com financiamento adicional da LifeArc.

Saiba mais

Receba atualizações regulares sobre como a Databricks ajuda as organizações do setor público a unificar dados, governar AI e transformar conhecimento em ação em escala global seguindo a Databricks for Public Sector no LinkedIn.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original