Automatizza il monitoraggio di dati e KPI con avvisi SQL

In molte organizzazioni, il monitoraggio dei dati è ancora un'attività manuale e ripetitiva: aprire lo stesso dashboard ogni mattina, rieseguire le stesse query, cercare anomalie. Quando qualcuno chiede "Perché questa metrica è diminuita?", è spesso già da ore o giorni che è errata, solitamente segnalata da uno stakeholder o da un report downstream che ha già fornito numeri sbagliati. La soluzione è un altro rituale manuale. Questo funziona finché non smette di funzionare: non è scalabile tra team, ambienti o carichi di lavoro di produzione e il costo del monitoraggio continua ad aumentare.

Oggi annunciamo che Databricks SQL Alerts è Generalmente Disponibile (GA), con oltre 4.000 clienti che utilizzano già Alerts in produzione. SQL Alerts trasforma quella routine manuale in un monitoraggio affidabile e automatizzato: definisci una metrica o una condizione una volta in SQL, valutala secondo una pianificazione (o inline con la pipeline di processi che produce i dati) e notifica i proprietari corretti quando supera i tuoi limiti. Che tu stia monitorando KPI aziendali come i ricavi, la salute operativa come la freschezza della pipeline o problemi di qualità dei dati, SQL Alerts ti aiuta a individuare i problemi in anticipo, ridurre i controlli manuali e mantenere il monitoraggio coerente all'aumentare dell'utilizzo.

“L'implementazione di SQL Alerts per i nostri servizi di rilevamento anomalie ha reso l'osservabilità molto più semplice. Invece di mantenere un'infrastruttura di monitoraggio, ora possiamo fare affidamento su Alerts per cercare problemi e notificare gli utenti. La sua interfaccia semplificata e l'esperienza personalizzabile hanno ridotto lo sforzo manuale per il nostro team e ci hanno aiutato a identificare i problemi più velocemente.” —Enrique Olivares, Big Data Software Development Engineer, Zillow

Panoramica di SQL Alerts

Cosa sono SQL Alerts?

Un SQL Alert raggruppa una query SQL, una condizione di valutazione, una pianificazione e una serie di destinazioni di notifica. Quando il risultato della query supera la condizione alla sua esecuzione pianificata, Databricks notifica i proprietari corretti attraverso i canali configurati.

Cosa possono fare i team con SQL Alerts:

• Individua tempestivamente le fluttuazioni delle metriche aziendali. Ricevi un avviso quando i ricavi diminuiscono più del 5% rispetto alla settimana precedente, quando il tasso di conversione giornaliero scende al di sotto di un obiettivo o quando gli utenti attivi giornalieri diminuiscono in una regione chiave.
• Mantieni affidabili le pipeline. Ricevi un avviso quando una tabella non viene aggiornata nell'ultima ora, quando il numero di righe scende al di sotto della base di riferimento prevista o quando un processo carica dati parziali.

• Rileva problemi personalizzati di qualità dei dati prima che i dashboard si interrompano. Ricevi un avviso quando i tassi di null superano una soglia, quando appaiono chiavi duplicate o quando una distribuzione si sposta al di fuori dei limiti previsti.

  

Cosa è disponibile in GA?

SQL Alerts GA include tutto il necessario per creare, operare e scalare gli avvisi in produzione:

• Crea avvisi nell'editor SQL. Definisci la query, la condizione di valutazione, la pianificazione e le notifiche in un unico flusso. Ottieni la piena potenza di Databricks SQL con Genie Code per aiutarti a scrivere query.
• Esegui gli avvisi dove ti servono. Utilizza SQL Alerts standalone per eseguirli secondo la loro pianificazione, oppure aggiungi un task SQL Alert a un processo Lakeflow per valutare le condizioni inline con la pipeline che produce i dati.
• Raggiungi le persone giuste nel modo giusto. Invia notifiche via email, Slack, PagerDuty, Microsoft Teams o webhook, con modelli ricchi che includono la cronologia delle valutazioni degli avvisi in modo che i destinatari possano intervenire più velocemente.
• Gestisci gli avvisi come codice di produzione. Versiona le definizioni degli avvisi in Git, distribuiscili tramite Declarative Automation Bundles e automatizza la creazione e gli aggiornamenti tramite API, Terraform e SDK.
• Osserva gli avvisi su larga scala. Nuove tabelle di sistema per gli avvisi (in anteprima privata) – `system.alert.alerts` e `system.alert.alert_evaluation_history` – espongono la configurazione e i dati di valutazione in tutto il tuo workspace, in modo che i team possano controllare gli avvisi, analizzare le tendenze e gestire i carichi di lavoro su larga scala.

“L'integrazione nativa di Databricks rende gli Alerts semplici da definire e affidabili da operare. Avere la logica degli Alert, la pianificazione e le notifiche gestite in un unico posto - e versionate tramite Git - ci ha aiutato a standardizzare il monitoraggio e a individuare i problemi più velocemente, con molto meno sforzo manuale.” —Tom Potash, Software Engineering Manager presso DoubleVerify

Esempio di utilizzo di SQL Alerts

Ora esaminiamo un esempio per dimostrare il valore di SQL Alerts. Una comune esigenza di monitoraggio aziendale è rilevare cali inaspettati dei ricavi rispetto alle baseline recenti. Questo esempio mostra come creare un avviso che confronta i ricavi di ieri con la media dei sette giorni e notifica le persone giuste quando il calo supera il 5%.

Passaggio 1: Scrivi la query nell'editor SQL

Questa query calcola i ricavi di ieri e li confronta con la media dei sette giorni.

Output: Una singola colonna, `revenue_pct_change`, che l'avviso valuta. Questo avviso verrebbe attivato perché il calo dei ricavi supera il 5%.

Passaggio 2: Configura la condizione e le notifiche

Nell'editor, imposta la condizione su revenue_pct_change -5 e aggiungi i destinatari delle notifiche. Puoi anche personalizzare il modello di notifica utilizzando l'editor markdown avanzato per aggiungere più contesto o passaggi successivi nella tua notifica.

Passaggio 3: Pianificalo

Scegli una cadenza per la valutazione. Ad esempio, per un KPI critico per il business, la valutazione giornaliera garantisce che le modifiche vengano rilevate entro 24 ore.

Quando l'avviso si attiva, i destinatari ricevono una notifica con lo stato della valutazione dell'avviso, il risultato, un link all'avviso e la cronologia delle esecuzioni recenti. Puoi iniziare subito a indagare.

SQL Alerts include anche una pagina di dettagli completa dell'avviso con la cronologia completa delle esecuzioni, mostrando quando ogni valutazione è stata eseguita, se l'avviso è stato attivato e le destinazioni notificate. Questo aiuta i team a confermare che il monitoraggio funzioni come previsto e a intervenire più velocemente mostrando quando l'avviso ha iniziato ad attivarsi.

Crea avvisi con Genie Code (Prossimamente)

Con Genie Code, il processo descritto sopra diventa un'esperienza a prompt singolo. Descrivi l'avviso che desideri in linguaggio naturale ("avvisami quando le entrate giornaliere scendono di oltre il 5% rispetto alla settimana precedente"), e Genie Code crea un Avviso end-to-end. Puoi sempre chiedere a Genie di apportare modifiche, o aprire l'interfaccia utente degli Avvisi per modificare direttamente.

Esegui Avvisi all'interno dei Job Lakeflow

Gli Avvisi SQL standalone vengono eseguiti secondo una pianificazione propria, indipendentemente da qualsiasi pipeline. Questo è adatto a molti casi d'uso di monitoraggio: tutto ciò che non dipende da quando i dati upstream vengono caricati.

Ma alcuni controlli appartengono alla pipeline che produce i dati: Questo caricamento ha completato tutti i dati? Questa metrica è sensata prima della pubblicazione? Il passaggio successivo dovrebbe essere eseguito? Eseguirli come avvisi pianificati standalone significa che l'avviso viene eseguito secondo la propria pianificazione, separatamente dalla pipeline che produce i dati, e il suo risultato non può influenzare ciò che accade successivamente nella pipeline.

Con il nuovo task SQL Alert in Lakeflow Jobs (in anteprima pubblica), puoi fare esattamente questo. Lo stesso oggetto di avviso può ora essere eseguito all'interno delle tue pipeline come task. Espone anche lo stato di valutazione (OK, TRIGGERED o ERROR) come valore di output del task a cui puoi fare riferimento downstream.

Esempio: Rileva picchi di frode nel momento in cui i dati delle transazioni vengono caricati

Una pipeline carica le transazioni con carta di credito ogni ora. Se il tasso di frode aumenta dopo un caricamento, il team operativo frodi deve saperlo immediatamente per indagare sul picco.

Aggiungi un task SQL Alert subito dopo il passaggio di caricamento per verificare se il tasso di flag di frode supera la tua soglia. Quindi aggiungi un task If/Else con la condizione {{tasks.Alert-FraudRateCheck.output.alert_state}} == "TRIGGERED". Se l'avviso restituisce OK, la pipeline continua con la normale reportistica BI. Se TRIGGERED, viene reindirizzato a un notebook diagnostico che genera un'analisi per categoria di commerciante e regione, e invia un'e-mail al team operativo frodi. Lo stesso oggetto di avviso può guidare il flusso della tua pipeline!

Gestisci gli Avvisi in modo affidabile in produzione

Man mano che l'allerta si espande tra team e ambienti, la sfida si sposta dalla creazione degli avvisi alla loro gestione affidabile nel tempo. SQL Alerts è progettato per gestire i flussi di lavoro di produzione tramite:

• Integrazione Git: Le definizioni degli avvisi risiedono in Git, versionate e revisionate insieme al resto del codice di produzione.
• Automation Bundles dichiarativi: Forniscono un modo strutturato per definire e distribuire avvisi insieme ad altre risorse dell'area di lavoro, supportando la promozione ripetibile dallo sviluppo alla produzione.
• API, Terraform e SDK: Crea e gestisci avvisi programmaticamente tramite API e SDK Databricks.

Unisciti agli oltre 4.000 clienti che già utilizzano SQL Alerts. Il tuo primo avviso richiede solo cinque minuti per essere configurato. Leggi la documentazione di SQL Alerts e inizia con una query di monitoraggio che controlli già periodicamente manualmente!

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale