Automatizar el monitoreo de datos y KPI con alertas SQL

En muchas organizaciones, la supervisión de datos sigue siendo una rutina manual y repetitiva: abrir el mismo panel cada mañana, volver a ejecutar las mismas consultas, buscar anomalías. Para cuando alguien pregunta "¿Por qué ha bajado esta métrica?", a menudo ha estado incorrecta durante horas o incluso días, normalmente señalada por un interesado, o un informe posterior que ya ha enviado números erróneos. La solución es otro ritual manual. Esto funciona hasta que deja de hacerlo: no puede escalar entre equipos, entornos o cargas de trabajo de producción, y el coste de la supervisión sigue aumentando.

Hoy anunciamos que Databricks SQL Alerts está Generalmente Disponible (GA), con más de 4.000 clientes que ya utilizan Alertas en producción. SQL Alerts convierte esa rutina manual en una supervisión fiable y automatizada: defina una métrica o condición una vez en SQL, evalúela según un programa (o en línea con el pipeline de Jobs que produce los datos) y notifique a los responsables adecuados cuando supere sus límites. Ya sea que esté rastreando KPIs de negocio como los ingresos, o la salud operativa como la frescura del pipeline, o problemas de calidad de datos, SQL Alerts le ayuda a detectar problemas a tiempo, reducir las comprobaciones manuales y mantener la supervisión constante a medida que crece el uso.

“La implementación de SQL Alerts para nuestros servicios de detección de anomalías ha simplificado mucho la observabilidad. En lugar de mantener la infraestructura de supervisión, ahora podemos confiar en Alertas para buscar problemas y notificar a los usuarios. Su interfaz simplificada y experiencia personalizable ha reducido el esfuerzo manual de nuestro equipo y nos ha ayudado a identificar problemas más rápido.” —Enrique Olivares, Ingeniero de Desarrollo de Software Big Data, Zillow

Descripción general de SQL Alerts

¿Qué son las Alertas SQL?

Una Alerta SQL agrupa una consulta SQL, una condición de evaluación, un programa y un conjunto de destinos de notificación. Cuando el resultado de la consulta supera la condición en su ejecución programada, Databricks notifica a los responsables adecuados a través de los canales que usted configure.

Qué pueden hacer los equipos con SQL Alerts:

• Detectar a tiempo la deriva de métricas de negocio. Alerte cuando los ingresos caigan más del 5% semana a semana, cuando la tasa de conversión diaria caiga por debajo de un objetivo, o cuando los usuarios activos diarios disminuyan en una región clave.
• Mantener la confianza en los pipelines. Alerte cuando una tabla no se haya actualizado en la última hora, cuando el recuento de filas caiga por debajo de la línea base esperada, o cuando un trabajo cargue datos parciales.

• Detectar problemas personalizados de calidad de datos antes de que los paneles se rompan. Alerte cuando las tasas de nulos superen un umbral, cuando aparezcan claves duplicadas, o cuando una distribución cambie fuera de los límites esperados.

  

¿Qué está disponible en GA?

SQL Alerts GA incluye todo lo que necesita para crear, operar y escalar alertas en producción:

• Crear alertas en el editor SQL. Defina la consulta, la condición de evaluación, el programa y las notificaciones en un solo flujo. Obtiene toda la potencia de Databricks SQL con Genie Code para ayudarle a escribir consultas.
• Ejecutar alertas donde las necesite. Utilice Alertas SQL independientes para ejecutarlas según su propio programa, o añada una tarea de Alerta SQL a un Job de Lakeflow para evaluar condiciones en línea con el pipeline que produce los datos.
• Llegar a las personas adecuadas de la manera correcta. Envíe notificaciones a correo electrónico, Slack, PagerDuty, Microsoft Teams o webhooks, con plantillas enriquecidas que incluyen el historial de evaluación de Alertas para que los destinatarios puedan priorizar más rápido.
• Gestionar alertas como código de producción. Defina versiones de las definiciones de alertas en Git, despliegue a través de Declarative Automation Bundles, y automatice la creación y actualizaciones a través de APIs, Terraform, y SDKs.
• Observar alertas a escala. Nuevas Tablas de Sistema de Alertas (en Vista Previa Privada) – `system.alert.alerts` y `system.alert.alert_evaluation_history` – exponen datos de configuración y evaluación en todo su espacio de trabajo, para que los equipos puedan auditar alertas, analizar tendencias y gestionar cargas de trabajo a escala.

“La integración nativa de Databricks hace que las Alertas sean sencillas de definir y fiables de operar. Tener la lógica de Alertas, la programación y las notificaciones gestionadas en un solo lugar - y versionadas a través de Git - nos ayudó a estandarizar la supervisión y a detectar problemas más rápido, con mucho menos esfuerzo manual.” —Tom Potash, Gerente de Ingeniería de Software en DoubleVerify

Ejemplo de uso de SQL Alerts

Ahora repasemos un ejemplo para demostrar el valor de SQL Alerts. Una necesidad común de supervisión de negocio es detectar caídas inesperadas en los ingresos frente a las líneas de base recientes. Este ejemplo muestra cómo crear una alerta que compara los ingresos de ayer con el promedio de siete días y notifica a las personas adecuadas cuando la caída supera el 5%.

Paso 1: Escribir la consulta en el editor SQL

Esta consulta calcula los ingresos de ayer y los compara con el promedio de siete días.

Salida: Una sola columna, `revenue_pct_change`, que la alerta evalúa. Esta alerta se activaría porque la caída de ingresos supera el 5%.

Paso 2: Configurar la condición y las notificaciones

En el editor, establezca la condición en revenue_pct_change -5 y añada los destinatarios de la notificación. También puede personalizar la plantilla de notificación utilizando el editor de markdown enriquecido para añadir más contexto o próximos pasos en su notificación.

Paso 3: Programarlo

Elija una cadencia para la evaluación. Por ejemplo, para un KPI crítico para el negocio, la evaluación diaria garantiza que los cambios se detecten en 24 horas.

Cuando la alerta se active, los destinatarios recibirán una notificación con el estado de la evaluación de la alerta, el resultado, un enlace a la alerta y el historial de ejecuciones recientes. Puede empezar a investigar de inmediato.

SQL Alerts también incluye una página detallada de alertas con el historial completo de ejecuciones, que muestra cuándo se ejecutó cada evaluación, si se activó la alerta y los destinos notificados. Esto ayuda a los equipos a confirmar que la supervisión funciona como se espera y a priorizar más rápido mostrando cuándo la alerta comenzó a activarse.

Crear Alertas con Genie Code (Próximamente)

Con Genie Code, el proceso anterior se convierte en una experiencia de un solo prompt. Describe la alerta que deseas en lenguaje natural ("avísame cuando los ingresos diarios caigan más del 5% semana a semana"), y Genie Code crea una Alerta de principio a fin. Siempre puedes pedirle a Genie que haga cambios, o abrir la UI de Alertas para editar directamente.

Ejecutar Alertas dentro de Trabajos de Lakeflow

Las Alertas SQL independientes se ejecutan en su propio horario, independientemente de cualquier pipeline. Eso se adapta a muchos casos de uso de monitoreo: cualquier cosa que no importe cuándo llegan los datos upstream.

Pero algunas verificaciones pertenecen al pipeline que produce los datos: ¿Este lote completó todos los datos? ¿Es esta métrica válida antes de publicarla? ¿Debería ejecutarse el siguiente paso? Ejecutar esas como alertas programadas independientes significa que la alerta se ejecuta en su propio horario, separada del pipeline que produce los datos, y su resultado no puede influir en lo que sucede a continuación en el pipeline.

Con la nueva tarea de Alerta SQL en Trabajos de Lakeflow (en Vista Previa Pública), puedes hacer exactamente eso. El mismo objeto de alerta ahora puede ejecutarse dentro de tus pipelines como una tarea. También expone el estado de evaluación (OK, TRIGGERED, o ERROR) como un valor de salida de la tarea al que puedes hacer referencia downstream.

Ejemplo: Detectar picos de fraude en el momento en que llegan los datos de transacciones

Un pipeline carga transacciones de tarjetas de crédito cada hora. Si la tasa de fraude aumenta después de una carga, el equipo de operaciones de fraude necesita saberlo de inmediato para investigar el pico.

Agrega una tarea de Alerta SQL justo después del paso de carga para verificar si la tasa de indicadores de fraude excede tu umbral. Luego, agrega una tarea Si/Entonces con la condición {{tasks.Alert-FraudRateCheck.output.alert_state}} == "TRIGGERED". Si la alerta devuelve OK, el pipeline continúa con la generación de informes de BI habitual. Si es TRIGGERED, se dirige a un notebook de diagnóstico que genera un desglose por categoría de comerciante y región, y envía un correo electrónico al equipo de operaciones de fraude. ¡El mismo objeto de alerta puede impulsar el flujo de tu pipeline!

Operar Alertas de forma confiable en producción

A medida que las alertas escalan entre equipos y entornos, el desafío pasa de crear alertas a administrarlas de forma confiable con el tiempo. Las Alertas SQL están diseñadas para manejar flujos de trabajo de producción a través de:

• Integración con Git: Las definiciones de alertas viven en Git, versionadas y revisadas junto con el resto de tu código de producción.
• Automation Bundles declarativos: Proporcionan una forma estructurada de definir e implementar alertas junto con otros recursos del espacio de trabajo, lo que permite una promoción repetible desde el desarrollo a la producción.
• APIs, Terraform y SDKs: Crea y administra alertas mediante programación a través de APIs y el SDK de Databricks.

Únete a los más de 4.000 clientes que ya utilizan Alertas SQL. Tu primera alerta solo tarda cinco minutos en configurarse. Lee la documentación de Alertas SQL ¡y comienza con una consulta de monitoreo que ya revisas periódicamente manualmente!

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original