De meses a minutos: Creación de pipelines de datos clínicos en tiempo real con lenguaje natural

Esta publicación fue coescrita por Assunta Carey-Saylor (Senior Product Marketing en Redox), Tim Kessler (Field Chief Technology Officer en Redox) y Matt Giglia (Forward Deployed Engineer para
Healthcare & Life Sciences en Databricks)

La mayoría de los equipos de datos de atención médica dedican meses a construir y mantener pipelines para mover datos de los sistemas EHR a su entorno de análisis. Incluso después de completar ese trabajo, los datos a menudo se enrutan a través de capas de almacenamiento intermedias antes de poder ser procesados, lo que introduce latencia que limita los casos de uso en tiempo real.

El resultado es un sistema complejo de mantener y demasiado lento para actuar.

Databricks y Redox se han unido para cambiar este modelo, eliminando dos barreras fundamentales:

• La complejidad de construir integraciones de datos de atención médica
• La latencia al introducir datos en el entorno de análisis

Ahora, los equipos pueden establecer pipelines de datos clínicos en tiempo real utilizando indicaciones de lenguaje natural directamente dentro de Databricks, simplificando cómo se accede y activa los datos.

En resumen: Databricks y Redox permiten a los equipos de atención médica construir pipelines de datos clínicos en tiempo real utilizando lenguaje natural, transmitir datos a entornos en la nube con latencia de subsegundos y escribir resultados de IA de vuelta en el EHR para impulsar acciones en el punto de atención.

El problema: la estrategia de IA está limitada por la integración + la latencia

Las organizaciones de atención médica están bajo presión para operacionalizar la IA, pero la ejecución se ve constantemente limitada por la integración de datos clínicos.

Antes de que se puedan implementar modelos o flujos de trabajo, los equipos deben integrarse con los sistemas EHR, normalizar formatos como HL7, CCD y X12, y construir pipelines ETL. Este trabajo consume mucho tiempo y requiere experiencia especializada.

Incluso después de que los pipelines están en su lugar, los datos a menudo fluyen a través de capas de almacenamiento intermedias antes de llegar a Databricks, lo que añade latencia y sobrecarga operativa. Lo que se etiqueta como “tiempo real” se retrasa, y los equipos de ingeniería siguen centrándose en la infraestructura en lugar de ofrecer insights.

Como resultado, las iniciativas de IA se estancan y el tiempo para obtener insights se extiende de semanas a meses.

Un nuevo enfoque

Zerobus Ingest de Databricks y el MCP Server de Redox introducen un enfoque diferente para construir y operar pipelines de datos clínicos en Databricks.

El MCP Server de Redox permite a los equipos construir y gestionar integraciones utilizando lenguaje natural, reduciendo el tiempo y la complejidad involucrados en la construcción de nuevos pipelines de datos. Zerobus transmite datos clínicos directamente a las tablas gestionadas de Databricks Unity Catalog con latencia de subsegundos, eliminando la necesidad de capas de almacenamiento intermedias o flujos de trabajo para cargar los archivos para su procesamiento.

Juntos, cambian tanto la forma en que se construyen los pipelines como la rapidez con la que los datos se vuelven utilizables. La integración se define a través de prompts en lugar de código, y los datos están disponibles para su procesamiento a medida que se generan. Esto significa que los equipos pueden conectarse a sistemas EHR, transmitir datos clínicos y activar flujos de trabajo directamente dentro de Databricks.

Cómo se ve esto en la práctica

Dentro de la plataforma Databricks, un usuario se conecta al Redox MCP Server y comienza con un prompt. En unas pocas interacciones:

• El sistema identifica entornos y conjuntos de datos disponibles
• Sugiere los siguientes pasos para completar el flujo de trabajo
• Ejecuta tareas de integración entre sistemas
• Muestra señales de validación como registros y resúmenes de rendimiento

Detrás de escena, Zerobus maneja la entrega directa de datos de streaming a Databricks, eliminando la necesidad de capas de staging o ingesta por lotes. Esto permite que cada paso del flujo de trabajo opere con datos en vivo a medida que llegan.

En un ejemplo, el sistema recuperó una admisión reciente de un paciente y devolvió tanto datos estructurados como un resumen en lenguaje sencillo. Los datos clínicos complejos se volvieron inmediatamente utilizables para análisis y toma de decisiones posteriores.

Figura 1. El sistema resumió una admisión reciente de un paciente en inglés sencillo.

De meses a minutos: acelerando el tiempo de obtención de insights

Lo que antes requería semanas o meses de trabajo de integración ahora se puede iniciar en minutos, todo utilizando lenguaje natural sin salir de Databricks.

Al eliminar los pasos intermedios de aterrizaje de datos con Zerobus y simplificar la creación de pipelines mediante prompts de lenguaje natural, las organizaciones pueden reducir drásticamente tanto la latencia como el tiempo de desarrollo. Esto permite a los equipos validar casos de uso de IA más rápido, acortar los ciclos de desarrollo y pasar de la experimentación a la producción más rápidamente.

La integración ya no es el factor limitante, y la latencia de los datos ya no es la restricción.

Reduciendo la dependencia de experiencia especializada

La integración en el sector de la salud ha requerido tradicionalmente una profunda experiencia en HL7, APIs y orquestación de datos.

Con el Redox MCP Server, gran parte de esa complejidad se abstrae. Las organizaciones pueden reducir su dependencia de expertos en HL7 y especialistas en integración, permitiendo que equipos más amplios trabajen con datos clínicos.

Los científicos de datos e ingenieros de ML pueden centrarse en construir modelos y generar insights en lugar de gestionar pipelines ETL. Los equipos de ingeniería pueden pasar de mantener integraciones a habilitar nuevas capacidades.

El enfoque pasa de “cómo obtenemos los datos” a “cómo usamos los datos”.

Habilitando la inteligencia clínica en tiempo real

Con Zerobus, los datos clínicos llegan a Databricks con latencia de subsegundos sin capas de almacenamiento intermedias o procesamiento por lotes. Esto permite que FHIR sea tratado como siempre se pretendió, como transaccional y enviado a endpoints de API REST. Por ejemplo, un plan de salud o una organización proveedora puede enviar paquetes específicos de autorización previa a través de Redox directamente a un endpoint de API REST dedicado donde debe estar en Databricks, en lugar de aterrizar primero en un FHIR Store o como un archivo JSON FHIR sustanciado.

Esto permite que los frameworks de ML y AI Agent procesen solicitudes y respuestas de autorización previa al instante. Al evitar la necesidad de extracciones de datos adicionales o el complejo ETL requerido para analizar archivos JSON FHIR sin procesar, estos sistemas pueden capturar y actuar sobre el recorrido del paciente a medida que se desarrolla, no después del hecho.

Junto con las capacidades de escritura de Redox EHR, estos insights pueden operacionalizarse directamente dentro de los flujos de trabajo clínicos. Los resultados generados por IA pueden escribirse de nuevo en el EHR en tiempo real, cerrando el ciclo entre datos, inteligencia y acción en el punto de atención. Esto traslada a Databricks más allá de un sistema de análisis a una capa de aplicación para operaciones de atención médica, donde los pipelines de datos y los modelos de IA no solo informan decisiones, sino que impulsan activamente intervenciones dentro de los sistemas clínicos centrales.

Esto desbloquea una nueva clase de casos de uso en tiempo real:

• Rastrear el estado del paciente en tiempo real
  Actualizar continuamente admisiones, traslados, altas y eventos clínicos a medida que ocurren

• Optimizar la capacidad a medida que cambian las condiciones
  Utilizar el movimiento de pacientes en vivo y las señales de censo para mejorar la gestión de camas, el personal y el rendimiento

• Activar intervenciones en el momento adecuado
  Involucrar a pacientes, equipos de atención o sistemas basándose en señales clínicas en vivo en lugar de informes retrasados

• Detectar riesgos a medida que surgen
  Identificar el deterioro, las brechas en la atención o los cuellos de botella operativos mientras aún hay tiempo para responder

Ahora, las organizaciones de atención médica pueden operar con mayor agilidad y capacidad de respuesta, alineando sus flujos de trabajo de datos con el ritmo de la prestación de atención al paciente.

Por qué funciona: Una base de confianza sobre la que la IA puede actuar

Esta capacidad depende de una base de datos clínicos fiable y estandarizada. Redox proporciona la capa estandarizada para el intercambio de datos de atención médica entre EHRs y otros sistemas posteriores a través de una única plataforma y API.

Zerobus asegura que estos datos lleguen a Databricks sin demora. El servidor Redox MCP hace que esos datos sean accesibles y procesables a través del lenguaje natural, traduciendo la intención en ejecución mientras aplica controles de seguridad, cumplimiento y operativos de nivel empresarial.

Juntos, crean una capa de ejecución en tiempo real para datos clínicos y flujos de trabajo de IA.

Más allá de las canalizaciones: Construyendo el "Agente Redox"

Y no nos detenemos en la ingesta de datos. Debido a que el servidor Redox MCP se encuentra junto a Databricks Genie Spaces sobre los datos clínicos, los equipos de IA ahora pueden construir Agentes Redox en Databricks.

Estos agentes especializados son capaces de:

• Revisar los registros de la plataforma Redox para solucionar problemas o auditar flujos de datos en tiempo real.
• Responder preguntas sobre los datos clínicos enviados por Redox utilizando lenguaje natural.
• Integrar inteligencia directamente en aplicaciones clínicas manteniendo la estricta gobernanza, seguridad y trazabilidad que requiere la atención médica empresarial.

Al combinar el poder de Redox MCP y Genie, los equipos pueden pasar de simplemente mover datos a crear interfaces conversacionales e inteligentes que se integran directamente en el flujo de trabajo existente del proveedor.

Véalo en acción

En un próximo seminario web de Redox y Databricks el 30 de abril, demostraremos cómo Zerobus y el servidor MCP trabajan juntos para ofrecer canalizaciones de datos en tiempo real dentro de Databricks.

Verá cómo los equipos pueden pasar de la intención a la ejecución utilizando lenguaje natural, mientras operan con datos en vivo con latencia de subsegundo.

Regístrese aquí para explorar cómo este enfoque se aplica a su organización.

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original