¿Qué es la observabilidad de datos?

Por qué es importante la observabilidad de datos

La observabilidad de datos te ayuda a crear canalizaciones de datos confiables. Es importante para las organizaciones actuales basadas en datos debido a la creciente complejidad de sus canalizaciones de datos, que dependen de fuentes de datos distribuidas internas y externas. Los entornos de datos actuales pueden usar múltiples herramientas de ingesta en varios equipos y almacenar datos en lagos de datos, almacenes y casas de lago. La observabilidad de datos tiene un gran impacto en la calidad de los datos, ya que ayuda a detectar problemas de forma temprana, como datos obsoletos, registros faltantes, cambios de esquema, aumentos inesperados de volumen y transformaciones incorrectas.

La detección temprana de problemas con los datos y la visibilidad del linaje de extremo a extremo pueden mejorar los análisis, las operaciones y la toma de decisiones posteriores, y evitar problemas de confianza en los datos antes de que lleguen a los usuarios o consumidores. La observabilidad no solo ayuda a garantizar que los datos sigan siendo confiables, sino que también puede generar ingresos, mejorar la experiencia del cliente y acelerar la innovación.

Los cinco pilares de la observabilidad de datos

La industria suele describir la observabilidad mediante cinco pilares:

• Actualización: ¿Están los datos actualizados? ¿Los pipelines se ejecutan cuando se espera? La observabilidad puede detectar si las tablas están desactualizadas, si hay trabajos fallidos o retrasos en la ingesta.
• Volumen: ¿Los datos se encuentran dentro de los límites de tamaño esperados? La observabilidad puede detectar anomalías como registros faltantes, datos duplicados y picos o caídas inesperados en el volumen.
• Distribución: ¿Se pueden identificar cambios en las propiedades estadísticas? ¿Los valores parecen normales? La observabilidad puede detectar valores atípicos, cambios en la tasa de nulos, drift y cualquier anomalía en las métricas de negocio.
• Esquema: ¿Hay cambios estructurales inesperados? La observabilidad puede detectar adiciones o eliminaciones de columnas, cambios de tipo y cambios que afectan a las tablas o los dashboards posteriores.
• Linaje: ¿Cómo fluyen los datos a través de los sistemas? La observabilidad puede ayudar a comprender las dependencias ascendentes y descendentes, qué dashboards o modelos de machine learning se romperán y las causas raíz de las fallas en los datos.

Cómo funciona la observabilidad de datos

La observabilidad de datos funciona mediante el monitoreo continuo de los sistemas de datos, usando comprobaciones estadísticas automatizadas, análisis de metadatos y mapeo de linaje para detectar y diagnosticar problemas de datos en tiempo real. Recopila señales y telemetría que se usan para monitorear las cinco dimensiones clave de la salud de los datos (actualización, volumen, esquema, distribución, linaje). Recopila y analiza señales como actualizaciones de tablas, registros de consultas, estado de los trabajos, alertas, metadatos de esquema, recuentos de filas e información del grafo de dependencias.

Realiza verificaciones automatizadas de calidad de los datos mediante patrones históricos, modelos estadísticos, machine learning y algoritmos de detección para una visibilidad de extremo a extremo en pipelines, almacenes de datos y aplicaciones. Cuando hay fallas en los datos, las herramientas de observabilidad pueden analizar las fallas de los pipelines, los cambios en el esquema, las caídas en el volumen, las implementaciones de código y las interrupciones en los sistemas de origen, y mostrar automáticamente la causa más probable y enviar alertas.

Los dashboards y el monitoreo continuo pueden habilitar y hacer cumplir los acuerdos de nivel de servicio para los datos y mantener la confianza en ellos en toda la organización.

Observabilidad de datos vs. monitoreo de datos vs. calidad de datos

La observabilidad y el monitoreo tradicional están relacionados, pero las herramientas de monitoreo tradicional se centran en fallas conocidas, mientras que la observabilidad proporciona visibilidad del comportamiento del sistema para ayudar a identificar y diagnosticar nuevos tipos de fallas y permitir el análisis de la causa raíz. En otras palabras, el monitoreo detecta los síntomas y la observabilidad proporciona una visión más profunda para dar contexto, no solo señales sin procesar para mostrar por qué las cosas están fallando.

El monitoreo tradicional es reactivo, rastrea métricas conocidas y proporciona verificaciones basadas en reglas. Como tal, funciona mejor cuando el sistema es predecible. La observabilidad de datos realiza consultas de elaboración de perfiles, detección de anomalías y alertas (PPA) en tres dimensiones principales:

• Alcance: el grado en que el sistema de observabilidad puede comprender los problemas de datos en todo el ecosistema de datos.
• Profundidad: el grado en que el sistema analiza los datos, los metadatos y el comportamiento del pipeline.
• Automatización: cuánto trabajo realiza el sistema automáticamente con la escritura de reglas manuales o intervención.

La observabilidad de los datos es proactiva y va más allá de las pruebas o las reglas de calidad de los datos, con la elaboración de perfiles estadísticos y la detección basada en ML para proporcionar automáticamente información y alertas detalladas en tiempo real antes de que los usuarios finales vean los problemas.

La observabilidad de datos, el monitoreo de datos y las herramientas de calidad de datos cumplen propósitos diferentes, pero trabajan en conjunto de forma integral para garantizar que los datos sean confiables y de alta calidad. El monitoreo es necesario para detectar problemas conocidos. Las herramientas de calidad de datos validan el contenido de los datos mediante reglas para garantizar que estos sean correctos, completos, precisos y válidos. La observabilidad de datos puede detectar problemas desconocidos y diagnosticar las causas raíz. Entonces, el monitoreo detecta los problemas, la observabilidad proporciona mayor visibilidad y la calidad de los datos garantiza que estos sean correctos de acuerdo con las reglas de negocio.

Componentes principales de un sistema de observabilidad de datos

Un sistema de observabilidad de datos combina el monitoreo de metadatos, el análisis estadístico, la detección de anomalías, el linaje, las alertas, el análisis de causa raíz y la integración de flujos de trabajo para garantizar una visibilidad continua de la salud y la fiabilidad de los datos en todo el ecosistema. Los componentes principales del sistema incluyen:

• Recopilación de metadatos para reunir señales de todos los sistemas de datos.
• Perfilado y líneas de base para comprender el comportamiento normal de los datos.
• Detección de anomalías para identificar problemas inesperados de forma automática.
• Monitoreo de cambios en el esquema para detectar desviaciones antes de que rompa las canalizaciones.
• Seguimiento del linaje para comprender las dependencias y diagnosticar problemas.
• Alertas y notificaciones para comunicar los problemas a las personas adecuadas.
• Análisis de la causa raíz para determinar por qué ocurrieron los problemas.
• Análisis de impacto para identificar los activos posteriores afectados.
• Gestión de incidentes para respaldar la respuesta, los SLA y los flujos de trabajo.
• Calidad de datos para combinar reglas con verificaciones estadísticas.
• Paneles y visualización para monitorear el estado general de los datos.
• Integración de la gobernanza para mejorar la propiedad, la documentación y el cumplimiento.
• Remediación automatizada para reducir el tiempo de inactividad con autorreparación.

Problemas comunes en los datos que la observabilidad de datos ayuda a identificar

La observabilidad de datos ayuda a identificar una amplia gama de problemas de datos que pueden pasar desapercibidos en el monitoreo tradicional. Puede detectar problemas tanto esperados como inesperados en las canalizaciones, los sistemas de almacenamiento, las transformaciones y los análisis posteriores.

Puede revelar problemas con la actualización de los datos cuando estos no llegan en el momento esperado debido a errores en los pipelines, trabajos interrumpidos y flujos de trabajo retrasados.

La observabilidad detecta problemas de volumen como datos faltantes o incompletos, una caída repentina en el recuento de filas, particiones o archivos faltantes y filas duplicadas.

La desviación del esquema y los cambios inesperados en los campos son una causa principal de las fallas del pipeline, lo que afecta los trabajos posteriores.

Los valores atípicos, los cambios en la distribución y los registros inexactos que crean anomalías estadísticas pueden ocurrir cuando el contenido de los datos se desvía de los patrones históricos.

La observabilidad puede detectar fuentes ascendentes poco confiables o inconsistentes y fallas operativas de la canalización que degradan la confiabilidad de toda la canalización de datos.

Casos de uso del mundo real para la observabilidad de datos

Las organizaciones utilizan la observabilidad de datos para evitar el tiempo de inactividad de los datos, mejorar la confianza en la analítica, proteger las canalizaciones críticas y reducir el costo y el esfuerzo de la solución de problemas. Los siguientes son algunos ejemplos del mundo real:

• Garantizar análisis e informes confiables: cuando los equipos crean sus propios dashboards, los nuevos dashboards pueden romper las dependencias, las consultas repetidas pueden ralentizar los pipelines y los usuarios pueden extraer datos obsoletos o incorrectos. La observabilidad proporciona visibilidad en las etapas posteriores, monitorea el estado de los conjuntos de datos compartidos y puede garantizar la confiabilidad de las fuentes de datos de terceros. Puede detectar de inmediato problemas con la actualidad de los datos y trabajos ascendentes fallidos, y enviar alertas antes de que los usuarios se den cuenta.
• Detección y prevención de incidentes de calidad de los datos: cuando los dashboards y los informes muestran anomalías de repente, la observabilidad de los datos puede ayudar a identificar desviaciones, picos nulos, problemas de integridad e identificar fallas ascendentes. En algunos casos, las canalizaciones pueden ejecutarse correctamente, pero producir un resultado incorrecto. La observabilidad puede monitorear el volumen de filas, hacer un seguimiento de las uniones y relaciones, y enviar alertas sobre anomalías en la distribución.
• Mejorar la confianza en los modelos de ML y los sistemas de IA: los modelos de ML e IA son extremadamente sensibles a la deriva de datos y a las características faltantes, lo que lleva a tomar malas decisiones. La observabilidad puede hacer un seguimiento del estado de las características, detectar el drift, identificar fallas ascendentes causadas por datos faltantes o retrasados y categorías inesperadas.
• Apoyo a los esfuerzos de gobernanza de datos: la confianza en los datos es esencial para los sectores regulados, como la atención médica y las finanzas. La observabilidad mejora la confianza al realizar un seguimiento de los SLA de datos, proporcionar linaje, mostrar el historial de salud de los datos, documentar la propiedad y sacar a la luz las anomalías antes de que los usuarios finales puedan verlas.
• Reducción del tiempo de inactividad y los costos operativos: la observabilidad de los datos puede desempeñar un papel clave en la detección temprana de problemas, la reducción del tiempo de resolución y la prevención de la propagación de datos incorrectos, todo lo cual puede contribuir al tiempo de inactividad en toda la organización y al aumento de los costos.

Herramientas y plataformas de observabilidad de datos

Las herramientas y plataformas de observabilidad de datos se pueden agrupar en varias categorías según su enfoque, sus capacidades y su lugar en la pila de datos. Además, existen opciones comerciales, de código abierto y nativas de la nube que difieren en capacidades, costo, implementación, escalabilidad, facilidad de uso y casos de uso ideales.

• Las plataformas de observabilidad de datos de extremo a extremo proporcionan una observabilidad completa del sistema. Las capacidades comunes entre las plataformas líderes incluyen el monitoreo de la actualidad de los datos, el linaje automatizado, las métricas, los dashboards, el monitoreo de metadatos, el linaje automatizado ascendente y descendente, las alertas de incidentes, la información sobre la confiabilidad de la pila y el análisis de la causa raíz en todo el ciclo de vida de los datos. Estas son creadas por proveedores con funciones completas, soporte y automatización; son las plataformas de observabilidad más completas que cubren los cinco pilares de la observabilidad. Al ser un software como servicio (SaaS) totalmente gestionado, no se requiere infraestructura, lo que permite una implementación e incorporación más rápidas.
• Las herramientas de calidad de datos y observabilidad combinan la calidad de datos tradicional basada en reglas con capacidades modernas de observabilidad, lo que proporciona pruebas de datos personalizadas y detección automatizada de anomalías, elaboración de perfiles y validación, monitoreo basado en metadatos y orquestación de pruebas. Estas plataformas se utilizan cuando las organizaciones desean una combinación de reglas de calidad manuales junto con observabilidad automatizada.
• Las herramientas de observabilidad de la orquestación de canalizaciones se centran en el monitoreo de la capa de cómputo, el rendimiento de la canalización y la confiabilidad del trabajo. Las capacidades clave incluyen detección de fallas a nivel de tarea, monitoreo de latencia, análisis de reintentos, seguimiento de dependencias e integración con herramientas de orquestación. Estas herramientas son potentes para el estado de los pipelines, pero pueden carecer de información detallada a nivel de datos.
• Las herramientas centradas en el linaje mapean el flujo de datos de extremo a extremo, lo que permite el análisis de la causa raíz y del impacto. Pueden ser excelentes en el linaje y, a menudo, incorporan señales de observabilidad en el flujo.
• Los marcos de observabilidad de código abierto brindan flexibilidad para el autoalojamiento y la personalización, y permiten la extensibilidad y la integración en pilas de datos personalizadas. Estos marcos impulsados por la comunidad son gratuitos, pero deben ser mantenidos por uno mismo y, a menudo, requieren integración, configuración manual y creación de reglas, lo que requiere recursos de ingeniería y una mayor sobrecarga operativa.
• Las herramientas de monitoreo nativas de la nube con extensiones de observabilidad de datos se utilizan a veces cuando los equipos quieren tener observabilidad tanto en la infraestructura como en los datos. No se requiere implementación y tienen la huella operativa más simple porque las capacidades están incluidas dentro de la plataforma de datos, generalmente enfocadas en la observabilidad específica del almacén y el lago de datos. Por lo general, el costo se basa en el uso, cuenta con el respaldo del proveedor de la nube y es ideal para los equipos con presupuestos más pequeños y aquellos que ya compraron un almacén de datos.

Implementación de la observabilidad de datos

Implementar los procesos, las herramientas, la arquitectura y la cultura que se necesitan para la observabilidad de datos implica estrategia, mejores prácticas y selección de herramientas. A continuación, se presentan algunos pasos fundamentales para las organizaciones que adoptan prácticas de observabilidad:

• Alinea tus objetivos para implementar la observabilidad y qué priorizar primero.
• Identificar los activos de datos críticos, comenzando con las tablas y canalizaciones de alto impacto o alto riesgo.
• Elige tu modelo (de código abierto, comercial o nativo de la nube).
• Integra las fuentes de metadatos (todas las señales, incluidas las canalizaciones, los almacenes y lagos de datos, la orquestación, los marcos de transformación, las herramientas de BI y los sistemas de transmisión).
• Implemente el monitoreo continuo en los cinco pilares de la observabilidad (actualidad, volumen, esquema, distribución, linaje).
• Implementar la detección automatizada de anomalías utilizando ML y modelos estadísticos.
• Cree una cultura de DataOps en torno a la observabilidad para lograr prácticas sostenibles.
• Las métricas clave y los indicadores de estado que se suelen rastrear incluyen métricas para los cinco pilares, además de métricas de integridad de los datos, métricas operativas del pipeline, métricas de calidad de los datos, métricas de costos y uso de recursos, y el estado de las características y los modelos de ML.

Desafíos y consideraciones

Los principales desafíos y consideraciones técnicas, culturales y operativas que los equipos deben comprender antes y durante la adopción de la observabilidad de los datos incluyen:

• La complejidad y la proliferación de los ecosistemas de datos a gran escala dificultan el logro de una observabilidad completa. Las diferentes pilas de datos a menudo requieren diferentes enfoques de integración. Enfóquese primero en los pipelines de alto impacto. Invierta en el linaje de datos para comprender las dependencias y establecer la propiedad entre dominios.
• La gestión de las dependencias y los impactos ascendentes y descendentes puede ser un desafío. Incluso los pequeños cambios en una parte de la canalización pueden crear fallas en cascada en los paneles, los modelos de ML y los sistemas operativos. Cuando las organizaciones carecen de un mapa completo del linaje y la propiedad de los datos, las dependencias suelen ser conocimiento tribal.
• El costo de monitorear grandes volúmenes de datos puede aumentar al monitorear grandes data warehouses y data lakes. Los metadatos pueden crecer, lo que aumenta los costos de almacenamiento para los metadatos y los logs. Y cada tabla adicional agrega un costo de monitoreo incremental. Clasifique los activos por criticidad y aplique un monitoreo más profundo a los activos críticos para el negocio.
• Equilibrar la granularidad con la sobrecarga operativa es esencial para reducir los costos. No todos los datos necesitan observabilidad profunda. El monitoreo de alta frecuencia de activos de bajo valor puede generar altos costos de computación. Una única plataforma con múltiples funciones suele costar menos que 3 o 4 herramientas más pequeñas con funciones redundantes.

Resumen

Los datos se han convertido en un activo de misión crítica y los sistemas de datos son cada vez más complejos, distribuidos y de rápido cambio. Las organizaciones ya no pueden permitirse pipelines poco confiables, dashboards con fallas, métricas imprecisas o modelos de ML con deriva. La observabilidad de datos ––la práctica y los procesos implicados en el monitoreo continuo de la salud, la calidad, la confiabilidad y el rendimiento de los datos en todos los sistemas de datos, desde los pipelines de ingesta y las capas de almacenamiento hasta los análisis posteriores (downstream analytics)–– es esencial para que las organizaciones puedan detectar, diagnosticar y prevenir problemas con los datos en todo el ecosistema de datos antes de que causen un impacto en el negocio.

La observabilidad de datos puede ayudar a detectar problemas de forma temprana para mejorar el análisis posterior, las operaciones y la toma de decisiones, y evitar problemas de confianza en los datos antes de que lleguen a los usuarios o consumidores. La observabilidad no solo ayuda a garantizar que los datos sigan siendo confiables, sino que también puede generar ingresos, mejorar la experiencia del cliente y acelerar la innovación.