Automatize o Monitoramento de Dados e KPIs com Alertas SQL

Em muitas organizações, o monitoramento de dados ainda é uma rotina manual e repetitiva: abrir o mesmo painel todas as manhãs, executar as mesmas consultas, procurar anomalias. Quando alguém pergunta "Por que essa métrica caiu?", ela já está incorreta há horas ou até dias, geralmente sinalizada por um stakeholder ou um relatório downstream que já apresentou números errados. A correção é outro ritual manual. Isso funciona até que pare: não escala entre equipes, ambientes ou cargas de trabalho de produção, e o custo do monitoramento continua subindo.

Hoje anunciamos que o Databricks SQL Alerts está Geralmente Disponível (GA), com mais de 4.000 clientes já usando Alertas em produção. O SQL Alerts transforma essa rotina manual em monitoramento confiável e automatizado: defina uma métrica ou condição uma vez em SQL, avalie-a em uma programação (ou inline com o pipeline de Jobs que produz os dados) e notifique os proprietários corretos quando ela ultrapassar seus limites. Se você está rastreando KPIs de negócios como receita, ou saúde operacional como atualização de pipeline, ou problemas de qualidade de dados, o SQL Alerts ajuda você a detectar problemas cedo, reduzir verificações manuais e manter o monitoramento consistente à medida que o uso cresce.

“A implementação do SQL Alerts para nossos serviços de detecção de anomalias tornou a observabilidade muito mais simples. Em vez de manter a infraestrutura de monitoramento, agora podemos contar com o Alerts para procurar problemas e notificar os usuários. Sua interface simplificada e experiência personalizável reduziram o esforço manual de nossa equipe e nos ajudaram a identificar problemas mais rapidamente.” —Enrique Olivares, Big Data Software Development Engineer, Zillow

Visão Geral do SQL Alerts

O que são SQL Alerts?

Um SQL Alert agrupa uma consulta SQL, uma condição de avaliação, uma programação e um conjunto de destinos de notificação. Quando o resultado da consulta ultrapassa a condição em sua execução programada, o Databricks notifica os proprietários corretos através dos canais que você configura.

O que as equipes podem fazer com SQL Alerts:

• Detecte desvios em métricas de negócios cedo. Alerte quando a receita cair mais de 5% semana a semana, quando a taxa de conversão diária cair abaixo de uma meta, ou quando usuários ativos diários caírem em uma região chave.
• Mantenha pipelines confiáveis. Alerte quando uma tabela não foi atualizada na última hora, quando o número de linhas cair abaixo da linha de base esperada, ou quando um job carregar dados parciais.

• Detecte problemas personalizados de qualidade de dados antes que os painéis quebrem. Alerte quando as taxas de nulos excederem um limite, quando chaves duplicadas aparecerem, ou quando uma distribuição mudar fora dos limites esperados.

  

O que está disponível no GA?

O SQL Alerts GA inclui tudo o que você precisa para criar, operar e escalar alertas em produção:

• Crie alertas no editor SQL. Defina a consulta, a condição de avaliação, a programação e as notificações em um único fluxo. Você obtém todo o poder do Databricks SQL com o Genie Code para ajudar a escrever consultas.
• Execute alertas onde você precisar. Use SQL Alerts independentes para executar em sua própria programação, ou adicione uma tarefa SQL Alert a um Job do Lakeflow para avaliar condições inline com o pipeline que produz os dados.
• Alcance as pessoas certas da maneira certa. Envie notificações para e-mail, Slack, PagerDuty, Microsoft Teams ou webhooks, com modelos ricos que incluem o histórico de avaliação do Alerta para que os destinatários possam triar mais rapidamente.
• Gerencie alertas como código de produção. Defina versões de definições de alerta no Git, implante-as através de Declarative Automation Bundles, e automatize a criação e atualizações através de APIs, Terraform, e SDKs.
• Observe alertas em escala. Novas Tabelas de Sistema de Alertas (em Pré-visualização Privada) – `system.alert.alerts` e `system.alert.alert_evaluation_history` – expõem dados de configuração e avaliação em todo o seu workspace, para que as equipes possam auditar alertas, analisar tendências e gerenciar cargas de trabalho em escala.

“A integração nativa do Databricks torna os Alertas simples de definir e confiáveis de operar. Ter a lógica do Alerta, agendamento e notificações gerenciados em um só lugar - e com controle de versão via Git - nos ajudou a padronizar o monitoramento e capturar problemas mais rapidamente, com muito menos esforço manual.” —Tom Potash, Software Engineering Manager na DoubleVerify

Exemplo de uso do SQL Alerts

Agora vamos percorrer um exemplo para demonstrar o valor do SQL Alerts. Uma necessidade comum de monitoramento de negócios é detectar quedas inesperadas na receita em relação às linhas de base recentes. Este exemplo mostra como criar um alerta que compara a receita de ontem com a média de sete dias e notifica as pessoas certas quando a queda excede 5%.

Passo 1: Escreva a consulta no editor SQL

Esta consulta calcula a receita de ontem e a compara com a média de sete dias.

Saída: Uma única coluna, `revenue_pct_change`, que o alerta avalia. Este alerta seria acionado porque a queda na receita excede 5%.

Passo 2: Configure a condição e as notificações

No editor, defina a condição como revenue_pct_change -5 e adicione os destinatários da notificação. Você também pode personalizar o modelo de notificação usando o editor markdown rico para adicionar mais contexto ou próximos passos em sua notificação.

Passo 3: Agende

Escolha uma cadência para avaliação. Por exemplo, para um KPI crítico para os negócios, a avaliação diária garante que as mudanças sejam detectadas em 24 horas.

Quando o alerta for acionado, os destinatários receberão uma notificação com o status da avaliação do alerta, o resultado, um link para o alerta e o histórico de execuções recentes. Você pode começar a investigar imediatamente.

O SQL Alerts também inclui uma página detalhada de alertas abrangente com histórico completo de execuções, mostrando quando cada avaliação foi executada, se o alerta foi acionado e os destinos notificados. Isso ajuda as equipes a confirmar que o monitoramento está funcionando como esperado e a triar mais rapidamente, mostrando quando o alerta começou a ser acionado.

Crie Alertas com Genie Code (Em Breve)

Com o Genie Code, o fluxo acima se torna uma experiência de um único prompt. Descreva o alerta que você deseja em linguagem natural ("avise-me quando a receita diária cair mais de 5% em relação à semana anterior"), e o Genie Code cria um Alerta para você de ponta a ponta. Você sempre pode pedir ao Genie para fazer edições ou abrir a UI de Alertas para editar diretamente.

Execute Alertas dentro de Jobs do Lakeflow

Alertas SQL independentes são executados em sua própria agenda, independentes de qualquer pipeline. Isso se encaixa em muitos casos de uso de monitoramento: qualquer coisa que não se importe quando os dados upstream chegam.

Mas algumas verificações pertencem ao pipeline que produz os dados: _Este carregamento completou todos os dados? Esta métrica está correta antes de publicarmos? O próximo passo deve realmente ser executado?_ Executar esses como alertas agendados independentes significa que o alerta é executado em sua própria agenda, separado do pipeline que produz os dados, e seu resultado não pode influenciar o que acontece a seguir no pipeline.

Com a nova tarefa SQL Alert no Lakeflow Jobs (em Preview Público), você pode fazer exatamente isso. O mesmo objeto de alerta agora pode ser executado dentro de seus pipelines como uma tarefa. Ele também expõe o estado de avaliação (OK, TRIGGERED ou ERROR) como um valor de saída da tarefa ao qual você pode se referir downstream.

Exemplo: Detecte picos de fraude no momento em que os dados de transação chegam

Um pipeline carrega transações de cartão de crédito a cada hora. Se a taxa de fraude disparar após um carregamento, a equipe de operações de fraude precisa saber imediatamente para investigar o pico.

Adicione uma tarefa SQL Alert logo após a etapa de carregamento para verificar se a taxa de sinalização de fraude excede seu limite. Em seguida, adicione uma tarefa If/Else com a condição {{tasks.Alert-FraudRateCheck.output.alert_state}} == "TRIGGERED". Se o alerta retornar OK, o pipeline continua para o relatório de BI regular. Se TRIGGERED, ele é roteado para um notebook de diagnóstico que gera um detalhamento por categoria de comerciante e região, e envia um e-mail para a equipe de operações de fraude. O mesmo objeto de alerta pode direcionar o fluxo do seu pipeline!

Opere Alertas de forma confiável em produção

À medida que o alerta escala entre equipes e ambientes, o desafio muda da criação de alertas para o gerenciamento confiável deles ao longo do tempo. SQL Alerts é construído para lidar com fluxos de trabalho de produção através de:

• Integração com Git: As definições de alerta vivem no Git, versionadas e revisadas junto com o restante do seu código de produção.
• Automation Bundles declarativos: Fornecem uma maneira estruturada de definir e implantar alertas junto com outros recursos do workspace, suportando a promoção repetível do desenvolvimento para a produção.
• APIs, Terraform e SDKs: Crie e gerencie alertas programaticamente através de APIs e do SDK Databricks.

Junte-se aos mais de 4.000 clientes que já usam SQL Alerts. Seu primeiro alerta leva apenas cinco minutos para ser configurado. Leia a documentação do SQL Alerts e comece com uma consulta de monitoramento que você já verifica periodicamente manualmente!

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original