Perché i limiti di concorrenza adattivi funzionano meglio dei limiti fissi per le operazioni a lunga esecuzione.
Come parte del team Compute Platform di Databricks, trasformiamo l'infrastruttura cloud in cluster pronti per eseguire i carichi di lavoro dei clienti. Il nostro lavoro quotidiano include il provisioning di macchine virtuali e il coordinamento della creazione dei cluster su AWS, Azure e Google Cloud. Il nostro obiettivo è mantenere questi sistemi disponibili consentendo ai clienti di utilizzare la maggiore capacità possibile che possiamo fornire in sicurezza.
In questo articolo analizzeremo perché i limiti di frequenza delle richieste fissi possono non essere sufficienti per queste operazioni di lunga durata, in che modo i limiti di concorrenza adattivi aiutano e cosa abbiamo imparato applicandoli alla creazione di cluster per il compute classico di Databricks. Non è necessario conoscere questi dettagli per usare Databricks, ma se sei curioso di scoprire cosa succede dietro le quinte dell'avvio di un cluster Databricks Runtime, unisciti a noi per uno sguardo dietro le quinte.
In passato, proteggevamo il sistema con limiti di frequenza delle richieste fissi, testati rispetto a diversi pattern di carico e scenari di errore. Abbiamo scalato i nostri servizi principalmente aggiungendo risorse e regolando i limiti per cliente.
La combinazione di carichi di lavoro e guasti delle dipendenze ha reso questi limiti sempre più difficili da testare e ottimizzare. I limiti conservativi rifiutavano le richieste dei clienti nonostante la capacità disponibile, continuando però ad accettare richieste quando i nostri servizi o le nostre dipendenze, come i provider cloud, rallentavano. Gli ingegneri abbassavano manualmente i limiti per ridurre il carico durante gli incidenti e li rialzavano dopo il ripristino.
I limiti di concorrenza adattivi tengono conto sia del lavoro non completato sia della salute mutevole del sistema. Permettono l'avvio di una maggiore quantità di lavoro quando la capacità è disponibile e rallentano il ritmo quando il sistema è in difficoltà, aiutando il servizio a fare progressi con una minore ottimizzazione manuale. Un limite massimo fisso per le richieste API rimane come guardia di sicurezza finale contro un traffico in arrivo eccezionalmente elevato.
Pensa alla nostra piattaforma di calcolo come a una cucina, che mira a servire quanti più ordini possibile tra quelli che i suoi cuochi e le sue attrezzature possono gestire. Il responsabile stabilisce una regola fissa: accettare al massimo dieci nuovi ordini al minuto, indipendentemente da ciò che accade ai fornelli.
Anche con capacità di cottura disponibile, la regola respinge gli ordini. Quando un forno si rompe, continua ad accettare ordini più velocemente di quanto i cuochi e le attrezzature rimasti possano completarli. Il responsabile deve continuare a riscrivere il cartello ogni volta.
Una cucina migliore mantiene una coda breve e limita il numero di pasti preparati contemporaneamente. Se un forno si rompe, si iniziano meno pasti; man mano che la capacità ritorna, se ne possono iniziare di più. Gli ordini possono attendere brevemente, ma solo finché c'è ancora tempo per servirli.
Per le operazioni di lunga durata, una frequenza di richiesta fissa è un modello di capacità inadeguato. L'obiettivo è consentire ai clienti di operare a pieno regime quando la capacità lo consente, per poi rallentare quel tanto che basta a mantenere in movimento il lavoro utile durante il degrado.
Una chiamata API può avviare molto più lavoro di quanto il gestore esegua autonomamente. Per la creazione dei cluster, il gestore convalida la richiesta, registra un elemento di lavoro e restituisce il controllo. Un flusso di lavoro in background coordina i servizi, aggiorna lo stato e effettua il provisioning di risorse come le macchine virtuali cloud. Queste operazioni si completano in modo asincrono e la loro durata dipende dalla salute e dalla capacità delle relative dipendenze. La chiamata API può richiedere millisecondi; il flusso di lavoro stesso può richiedere minuti.
Un limitatore di frequenza delle richieste nel punto di ingresso dell'API pone un tetto alle richieste per finestra temporale. Ciò è utile per applicare quote, prevenire abusi e proteggere le risorse utilizzate per gestire le chiamate API.
Un limite fisso della frequenza delle richieste è più facile da ottimizzare quando la capacità disponibile e il lavoro dietro ogni richiesta rimangono ragionevolmente prevedibili. La creazione di cluster rende entrambi gli aspetti difficili: una richiesta può effettuare il provisioning di poche VM e un'altra di molte di più, mentre la salute del cloud provider cambia il tempo necessario per il provisioning. Durante un rallentamento condiviso, molti flussi di lavoro richiedono più tempo contemporaneamente. La stessa frequenza di richieste in arrivo può quindi lasciare molto più lavoro in volo, anche se la capacità del sistema di completarlo diminuisce.
Sulla sinistra, gli arrivi rimangono fissi a un'operazione per unità di tempo. Aumentare la durata da due a sei unità di tempo triplica il lavoro in volo. Sulla destra, i processori diventano lenti o non disponibili, riducendo la capacità disponibile per gestire quel lavoro.
Quando una dipendenza si degrada, più chiamate falliscono o vanno in timeout. I flussi di lavoro di lunga durata ripetono queste chiamate per riprendersi da guasti temporanei. Tra molti flussi di lavoro attivi, questi tentativi aggiungono pressione alla dipendenza in difficoltà, causando ulteriori errori e ancora più tentativi: una tempesta di retry.
Questi tentativi interni provengono da lavoro già accettato, quindi il limitatore di frequenza delle richieste API non li vede. Possono mantenere il sovraccarico anche dopo che il traffico in arrivo è tornato alla normalità. Limitare i flussi di lavoro attivi aiuta a contenere tale pressione e offre al lavoro non completato la possibilità di smaltirsi.
Impostare una frequenza inferiore non risolve il disallineamento. Garantisce margine di manovra rifiutando più lavoro durante i periodi sani, e un rallentamento sufficientemente grande può comunque esaurire quel margine. Aumentare la frequenza sfrutta meglio la capacità sana ma accetta più lavoro durante il degrado. Un unico numero deve coprire entrambe le situazioni.
Il termine "limitazione della frequenza" viene talvolta usato in senso lato per includere i limiti sul lavoro concorrente. Qui distinguiamo i due meccanismi in base a ciò che contano.
| Termine | Significato in questo articolo |
|---|---|
| Operazione | Il flusso di lavoro completo, incluso il lavoro in background dopo che l'API ha risposto. |
| Limite di frequenza delle richieste | Un tetto alle richieste accettate per unità di tempo, ad esempio 10 richieste al secondo, con un'eventuale tolleranza per i picchi. |
| Concorrenza | Quante operazioni sono attive contemporaneamente, incluse quelle in attesa delle dipendenze. |
| Limite di concorrenza | Un tetto alle operazioni attive, ad esempio 100 contemporaneamente. Ciascuna operazione detiene uno slot fino al completamento. |
| Coda | Lavoro accettato in attesa di iniziare; non ha ancora acquisito uno slot attivo. |
Entrambi i tipi di limite possono essere fissi o adattivi. Il nostro confronto è tra limiti di frequenza delle richieste fissi e limiti di concorrenza adattivi per la protezione di lavori di lunga durata.
La cucina deve tenere traccia dei pasti ancora in preparazione e della capacità disponibile per completarli. Nel compute classico di Databricks, l'equivalente è l'insieme dei flussi di lavoro di creazione di cluster che stanno ancora effettuando il provisioning dell'infrastruttura. Assegniamo a ciascun flusso di lavoro attivo uno slot e regoliamo il numero di slot al variare delle condizioni.
Considera una richiesta CreateCluster per un cluster con un driver e diverse VM worker. Una volta accettata la richiesta, il suo flusso di lavoro di provisioning attende uno slot prima di iniziare. Monitoriamo se quel lavoro è in coda, in elaborazione attiva o completato.
Se tutti gli slot sono occupati, la richiesta rimane in coda. Un flusso di lavoro attivo mantiene il proprio slot mentre effettua il provisioning delle VM e attende le dipendenze. Una volta terminato il flusso di lavoro, il suo slot diventa disponibile per l'avvio di un altro cluster. Un cluster avviato con successo può continuare a eseguire carichi di lavoro dei clienti per ore senza occupare quello slot di provisioning.
Lo slot deve coprire l'intera operazione di provisioning, incluso il lavoro in background dopo che l'API ha risposto. Il tracciamento di uno slot non richiede il mantenimento di un thread.
Questo controller conta i flussi di lavoro di provisioning attivi. I cluster in esecuzione, le VM allocate e le vCPU sono misure separate. Un flusso di lavoro può effettuare il provisioning di molte VM, quindi un solo slot non implica un costo fisso in termini di risorse.
Supponiamo ora che un cloud provider impieghi più tempo per effettuare il provisioning delle VM. I flussi di lavoro attivi trattengono i loro slot più a lungo, quindi i nuovi avvii di cluster partono meno frequentemente anche se il limite di slot rimane fisso. I clienti notano tempi di attesa all'avvio più lunghi man mano che le richieste accettate si mettono in coda.
Il controllo adattivo modifica anche il limite di slot. Per la creazione dei cluster, i segnali utili includono il tempo necessario per il provisioning e la saturazione o meno dei thread pool critici. Quando questi segnali indicano congestione, il controller riduce il numero di flussi di lavoro di provisioning concorrenti. Man mano che le condizioni migliorano, consente prudentemente di aumentare i flussi. La pressione sulla capacità cambia quando il lavoro accettato inizia; i rifiuti del limite di frequenza RPC sono riservati a tassi di traffico in arrivo eccezionalmente elevati.
La riduzione del limite impedisce l'avvio di nuove operazioni fino a quando il lavoro attivo non scende al di sotto di esso; le operazioni esistenti hanno comunque bisogno di tempo per terminare. Questo tempo di risposta è importante quando i flussi di lavoro durano minuti. I tentativi richiedono anche un backoff e un limite sui tentativi, in modo che i flussi di lavoro attivi non continuino a sovraccaricare una dipendenza in fase di recupero. La limitazione della concorrenza non può riparare una dipendenza non disponibile, ma può limitare la pressione extra mentre tale dipendenza si riprende.
Il ciclo di controllo stabilisce quanto lavoro avviare. Creare un servizio utile significa anche decidere chi deve aspettare, per quanto tempo e cosa comunicare.
“Troppe richieste” può nascondere due situazioni molto diverse.
Nella prima, un cliente invia il suo traffico abituale, ma una dipendenza condivisa rallenta. La capacità è diminuita. Chiedere al cliente di correggere il proprio pattern di traffico attribuisce erroneamente la colpa a un problema del servizio.
Nella seconda, un cliente invia un picco insolitamente grande mentre il servizio rimane integro. Altri clienti competono per le stesse risorse. Limitare quel picco protegge la loro quota equa.
Per distinguere questi casi, monitora separatamente la salute del sistema, la domanda in arrivo di ciascun tenant e la decisione di scheduling. Un numero elevato di operazioni in corso non dimostra di per sé che un cliente ha inviato troppo: tali operazioni potrebbero essere bloccate da una dipendenza lenta. Allo stesso modo, un picco non deve essere limitato per equità se è disponibile capacità libera e la policy lo consente.
Questa distinzione appartiene alle metriche e alle spiegazioni rivolte ai clienti. Indica agli operatori se investigare su una capacità persa o su un carico di lavoro insolito, e dice ai clienti se la modifica del loro comportamento sarà utile. Conta i fallimenti causati dal degrado del servizio nelle metriche di affidabilità del servizio, anche quando si manifestano come limitazioni. Per le richieste accettate che attendono nella coda, misura l'impatto sulla latenza di avvio del cluster.
Per un'operazione che richiede minuti, una breve attesa è spesso preferibile a un errore immediato seguito da un nuovo tentativo. Una coda può assorbire un picco e permettere al sistema di recuperare.
Questo funziona solo se l'attesa rientra nella scadenza della richiesta. Limita la dimensione della coda e il tempo di attesa di ciascuna richiesta, rendi visibile l'avanzamento e rifiuta o fai scadere il lavoro quando non può più concludersi in modo utile. Una coda non può trasformare un sovraccarico prolungato in capacità; una coda illimitata può trasformare una breve interruzione in ore di ritardo.
Una richiesta in coda dovrebbe essere un record di piccole dimensioni, non un worker in esecuzione che trattiene risorse scarse. Un backlog più grande non dovrebbe rendere ogni operazione attiva più costosa tramite scansioni ripetute o competizione per thread e connessioni.
La pulizia richiede la stessa attenzione. Se un grande backlog scade contemporaneamente, il servizio deve essere in grado di eliminarlo entro un tempo prevedibile. Pianifica per il peggior backlog possibile, mantieni economici scadenza ed rifiuto, ed evita di eseguire configurazioni costose per lavori la cui scadenza è già passata. In caso contrario, la coda può mantenere il servizio occupato molto tempo dopo che la congestione originale è terminata.
Supponiamo che un servizio debba ritardare cento richieste. È meglio che cento clienti vedano ciascuno una richiesta lenta, o che un cliente veda cento richieste lente?
La metrica aggregata potrebbe sembrare la stessa. L'esperienza del cliente no.
Uno scheduler compie questa scelta, che noi la specifichiamo o meno. Definisci quale lavoro debba avere la priorità, quale quota ciascun tenant debba ricevere in condizioni di contesa e in che modo il lavoro a priorità più bassa eviti di aspettare per sempre. Consenti ai tenant di utilizzare la capacità altrimenti inattiva dove la policy lo consente, preservando al contempo un accesso equo quando gli altri tenant hanno bisogno della loro quota.
Abbiamo applicato queste idee a un sistema integrato di gestione del carico per la creazione di cluster su Databricks classic compute. Una breve richiesta API avvia un flusso di lavoro molto più lungo che coordina diverse dipendenze, incluse le cloud pubbliche, per eseguire il provisioning delle risorse di calcolo.
Il sistema combina richieste in coda, limiti di concorrenza adattivi e scheduling equo. Utilizza il lavoro già in corso e la salute del sistema per decidere quando le operazioni in coda possono iniziare.
Abbiamo mantenuto il limite del tasso di richieste API come ultima linea di difesa contro un traffico in arrivo eccezionalmente elevato. Fornisce un confine per il tasso di richieste che possiamo comunicare ai clienti. I limiti di concorrenza adattivi rimangono all'interno del servizio e regolano l'avvio del lavoro accettato. Una risposta API riuscita non garantisce l'avvio immediato di un cluster o il completamento entro un tempo fisso.
L'analisi del roll-out iniziale ha riportato tre risultati:
Il controllo della concorrenza adattivo ha reso possibile l'aumento di 7,5 volte proteggendo i flussi di lavoro a lungo termine al variare delle condizioni. Da quell'aumento, pochi clienti hanno raggiunto i limiti più elevati del tasso di richieste di creazione cluster e non abbiamo aggiunto nuovi override manuali per tali limiti. I clienti hanno più spazio per scalare, con minor bisogno di eccezioni configurate individualmente.
L'applicazione di questo approccio ad altri tipi di lavori a lungo termine solleva ulteriori domande di progettazione. Quando le operazioni hanno costi di risorse molto diversi, contare ciascuna come uno slot potrebbe essere troppo grossolano; slot ponderati o limiti separati sono possibili estensioni. Per i flussi di lavoro con diversi colli di bottiglia, un'altra domanda di progettazione riguarda dove applicare il controllo affinché una dipendenza lenta non blocchi il lavoro non correlato.
Durante un rallentamento del provider cloud, i flussi di lavoro che stanno già eseguendo il provisioning delle macchine virtuali possono continuare a effettuare tentativi anche dopo che i nuovi avvii rallentano. Associa i limiti di concorrenza al backoff dei tentativi e a un limite sui tentativi stessi per ridurre tale pressione durante il recupero.
Un limite del tasso di richieste stabilisce un tetto al numero di richieste accettate per unità di tempo; un limite di concorrenza stabilisce un tetto al numero di operazioni attive contemporaneamente. Ogni operazione attiva trattiene uno slot fino al suo completamento, incluso il tempo trascorso in attesa delle dipendenze.
Un flusso di lavoro CreateCluster mantiene il suo slot durante il provisioning delle VM, incluso il tempo trascorso in attesa delle dipendenze dopo la risposta dell'API. Al termine del provisioning, lo slot viene rilasciato anche se il cluster potrebbe continuare a eseguire carichi di lavoro dei clienti. Il controller conta i flussi di lavoro di provisioning attivi; non conta tutti i cluster in esecuzione o le VM e le vCPU allocate. Il tracciamento di uno slot non richiede di trattenere un thread.
Quando un provider cloud rallenta, i flussi di lavoro di provisioning trattengono i loro slot più a lungo e le richieste accettate attendono più tempo per l'avvio. Il controller riduce anche il limite degli slot quando segnali di congestione, come la latenza di provisioning o la saturazione del pool di thread, indicano pressione. Man mano che le condizioni migliorano, consente prudentemente più lavoro concorrente.
Il limite fisso del tasso di richieste API protegge da un traffico in arrivo eccezionalmente elevato e fornisce un confine del tasso di richieste che possiamo comunicare ai clienti. I limiti di concorrenza adattivi lavorano all'interno del servizio: la pressione sulla capacità mette in coda le richieste accettate e ritarda il provisioning. Una risposta API riuscita non garantisce l'avvio immediato di un cluster o il completamento entro un tempo fisso.
L'analisi del roll-out iniziale ha riportato limiti del tasso di richieste di creazione cluster predefiniti 7,5 volte superiori, oltre il 99,99% di errori di limite del tasso di creazione cluster in meno nell'ambito segnalato e la rimozione di oltre cento override del limite del tasso specifici per i clienti nell'ambito. Dall'aumento, pochi clienti hanno raggiunto i limiti più elevati e non sono stati aggiunti nuovi override manuali per tali limiti.
Per il problema complementare dell'applicazione delle quote API su scala, leggi High Performance Ratelimiting at Databricks.
(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale
Iscriviti al nostro blog e ricevi gli ultimi articoli direttamente nella tua casella di posta.