Pourquoi les limites de concurrence adaptatives fonctionnent mieux que les limites de taux de requêtes fixes pour les opérations de longue durée.
par Heqing Ya, Tan Zhang, Ankit Batra et Abhishek Rai
Au sein de l'équipe Compute Platform chez Databricks, nous transformons l'infrastructure cloud en clusters prêts à exécuter les charges de travail des clients. Notre travail quotidien comprend le provisionnement de machines virtuelles et la coordination de la création de clusters sur AWS, Azure et Google Cloud. Notre objectif est de maintenir ces systèmes disponibles tout en permettant aux clients d'utiliser un maximum de capacité que nous pouvons fournir en toute sécurité.
Dans cet article, nous allons voir pourquoi les limites de taux de requêtes fixes peuvent s'avérer insuffisantes pour ces opérations de longue durée, comment les limites de concurrence adaptatives aident, et ce que nous avons appris en les appliquant à la création de clusters pour le calcul classique de Databricks. Vous n'avez pas besoin de savoir tout cela pour utiliser Databricks, mais si vous êtes curieux de savoir ce qui se passe derrière le lancement d'un cluster Databricks Runtime, venez jeter un coup d'œil dans les coulisses.
Par le passé, nous protégions le système à l'aide de limites de taux de requêtes fixes, testées face à différents modèles de charge et scénarios de panne. Nous avons principalement mis à l'échelle nos services en ajoutant des ressources et en ajustant les limites par client.
La combinaison des charges de travail et des pannes de dépendances a rendu ces limites de plus en plus difficiles à tester et à ajuster. Des limites prudentes ont rejeté des requêtes de clients malgré la capacité disponible, tout en continuant à accepter des requêtes lorsque nos services ou dépendances, tels que les fournisseurs cloud, ralentissaient. Les ingénieurs ont abaissé manuellement les limites pour réduire la charge lors d'incidents et les ont relevées après le rétablissement.
Les limites de concurrence adaptatives tiennent compte à la fois du travail inachevé et de l'évolution de l'état de santé du système. Elles permettent à davantage de travail de démarrer lorsque la capacité est disponible et ralentissent le rythme lorsque le système peine, aidant ainsi le service à progresser avec moins de réglages manuels. Un plafond fixe du taux de requêtes API reste une barrière de sécurité finale contre un trafic entrant exceptionnellement élevé.
Considérez notre plateforme de calcul comme une cuisine, qui vise à servir autant de commandes que ses cuisiniers et ses équipements peuvent en traiter. Le responsable affiche une règle fixe : accepter au maximum dix nouvelles commandes par minute, quoi qu'il arrive aux fourneaux.
Même avec une capacité de cuisine disponible, la règle refuse des commandes. Lorsqu'un four tombe en panne, il continue d'accepter des commandes plus vite que les cuisiniers et équipements restants ne peuvent les terminer. Le responsable doit réécrire le panneau à chaque fois.
Une meilleure cuisine conserve une file d'attente courte et limite le nombre de repas préparés en même temps. Si un four tombe en panne, moins de repas commencent ; à mesure que la capacité revient, d'autres peuvent débuter. Les commandes peuvent patienter brièvement, mais seulement tant qu'il est encore temps de les servir.
Pour les opérations de longue durée, un taux de requêtes fixe est un mauvais modèle de capacité. L'objectif est de permettre aux clients de tourner à plein régime lorsque la capacité le permet, puis de lever le pied juste assez pour maintenir un travail utile en cas de dégradation.
Un appel API peut lancer bien plus de travail que le gestionnaire n'en effectue lui-même. Pour la création de clusters, le gestionnaire valide la requête, enregistre un élément de travail et renvoie une réponse. Un flux de travail en arrière-plan coordonne les services, met à l'état et provisionne des ressources telles que des machines virtuelles cloud. Ces opérations s'achèvent de manière asynchrone, et leur durée dépend de l'état de santé et de la capacité de leurs dépendances. L'appel API peut prendre des millisecondes ; le flux de travail en lui-même peut prendre des minutes.
Un limiteur de taux de requêtes au point d'entrée de l'API plafonne les requêtes par fenêtre temporelle. C'est utile pour appliquer des quotas, prévenir les abus et protéger les ressources utilisées pour traiter les appels API.
Une limite de taux de requêtes fixe est plus facile à ajuster lorsque la capacité disponible et le travail associé à chaque requête restent raisonnablement prévisibles. La création de clusters rend les deux difficiles : une requête peut provisionner quelques VM et une autre beaucoup plus, tandis que la santé du fournisseur cloud modifie le temps de provisionnement. Lors d'un ralentissement partagé, de nombreux flux de travail prennent plus de temps en même temps. Un même taux de requêtes entrantes peut donc laisser beaucoup plus de travail en cours, alors même que la capacité du système à l'achever diminue.
À gauche, les arrivées restent fixes à une opération par unité de temps. L'augmentation de la durée de deux à six unités de temps triple le travail en cours. À droite, les processeurs deviennent lents ou indisponibles, réduisant la capacité disponible pour traiter ce travail.
Lorsqu'une dépendance se dégrade, davantage d'appels échouent ou expirent. Les flux de travail de longue durée réessaient ces appels pour se remettre de pannes temporaires. À travers de nombreux flux de travail actifs, ces nouvelles tentatives ajoutent de la pression sur la dépendance en difficulté, provoquant d'autres pannes et encore plus de nouvelles tentatives—une tempête de nouvelles tentatives.
Ces nouvelles tentatives internes proviennent de travail déjà accepté, de sorte que le limiteur de taux de requêtes de l'API ne les voit pas. Elles peuvent maintenir une surcharge même après le retour à la normale du trafic entrant. Limiter les flux de travail actifs aide à contenir cette pression et donne une chance au travail inachevé de se résorber.
Définir un taux plus bas ne résout pas le décalage. Cela achète de la marge en rejetant plus de travail pendant les périodes saines, et un ralentissement suffisamment important peut tout de même épuiser cette marge. Augmenter le taux permet de mieux exploiter la capacité saine mais accepte plus de travail lors d'une dégradation. Un seul chiffre doit couvrir les deux situations.
La « limitation du taux » est parfois employée au sens large pour inclure les limites sur le travail concurrent. Ici, nous distinguons les deux mécanismes par ce qu'ils comptent.
| Terme | Signification dans cet article |
|---|---|
| Opération | Le flux de travail complet, y compris le travail en arrière-plan après le retour de l'API. |
| Limite de taux de requêtes | Un plafond sur les requêtes acceptées par unité de temps, comme 10 requêtes par seconde, avec une tolérance de rafale possible. |
| Concurrence | Le nombre d'opérations actives en même temps, y compris celles en attente de dépendances. |
| Limite de concurrence | Un plafond sur les opérations actives, comme 100 à la fois. Chaque opération détient un emplacement jusqu'à ce qu'elle se termine. |
| Arriéré | Le travail accepté en attente de démarrage ; il n'a pas encore acquis d'emplacement actif. |
N'importe quel type de limite peut être fixe ou adaptatif. Notre comparaison s'établit entre les limites de taux de requêtes fixes et les limites de concurrence adaptatives pour protéger le travail de longue durée.
La cuisine doit suivre les repas encore en cours de préparation et la capacité disponible pour les terminer. Dans le calcul classique de Databricks, l'équivalent est l'ensemble des flux de travail de création de clusters qui provisionnent encore l'infrastructure. Nous attribuons un emplacement à chaque flux de travail actif et ajustons le nombre d'emplacements à mesure que les conditions changent.
Considérez une requête CreateCluster pour un cluster doté d'un pilote et de plusieurs VM de travail. Une fois la requête acceptée, son flux de travail de provisionnement attend un emplacement avant de démarrer. Nous suivons si ce travail est mis en file d'attente, en cours de traitement actif ou terminé.
Si tous les emplacements sont occupés, la requête reste en file d'attente. Un flux de travail actif conserve son emplacement pendant qu'il provisionne les VM et attend les dépendances. Une fois le flux de travail terminé, son emplacement devient disponible pour le lancement d'un autre cluster. Un cluster lancé avec succès peut continuer à exécuter des charges de travail de clients pendant des heures sans occuper cet emplacement de provisionnement.
L'emplacement doit couvrir toute l'opération de provisionnement, y compris le travail en arrière-plan après le retour de l'API. Le suivi d'un emplacement ne nécessite pas de maintenir un thread.
Ce contrôleur compte les flux de travail de provisionnement actifs. Les clusters en cours d'exécution, les VM allouées et les vCPU sont des mesures distinctes. Un flux de travail peut provisionner de nombreuses VM, un emplacement ne correspond donc pas à un coût de ressource fixe.
Supposons maintenant qu'un fournisseur cloud prenne plus de temps pour provisionner des VM. Les flux de travail actifs retiennent leurs emplacements plus longtemps, de sorte que les lancements de nouveaux clusters démarrent moins souvent, même si la limite d'emplacements reste fixe. Les clients constatent des attentes de lancement plus longues à mesure que les requêtes acceptées s'accumulent dans la file d'attente.
Le contrôle adaptatif modifie également la limite d'emplacements. Pour la création de clusters, les signaux utiles incluent le temps de provisionnement et la saturation ou non des pools de threads critiques. Lorsque ces signaux indiquent une congestion, le contrôleur réduit le nombre de flux de travail de provisionnement concurrents. À mesure que les conditions s'améliorent, il en autorise prudemment davantage. La pression sur la capacité modifie le moment où le travail accepté démarre ; les rejets de limitation de taux RPC sont réservés aux taux de requêtes entrantes exceptionnellement élevés.
Réduire la limite empêche le démarrage de nouvelles opérations tant que le travail actif ne descend pas en dessous ; les opérations existantes ont toujours besoin de temps pour se terminer. Ce temps de réponse importe lorsque les flux de travail durent des minutes. Les nouvelles tentatives nécessitent également un recul (backoff) et une limite de tentatives afin que les flux de travail actifs ne continuent pas de submerger une dépendance en cours de rétablissement. La limitation de concurrence ne peut pas réparer une dépendance indisponible, mais elle peut limiter la pression supplémentaire pendant que cette dépendance se rétablit.
La boucle de contrôle détermine la quantité de travail à lancer. Créer un service utile implique également de décider qui attend, combien de temps cette attente dure et quelles informations nous leur transmettons.
« Trop de requêtes » peut masquer deux situations très différentes.
Dans la première, un client envoie son trafic habituel, mais une dépendance partagée ralentit. La capacité a diminué. Demander au client de modifier son profil de trafic attribue à tort un problème de service.
Dans la seconde, un client soumet un pic inhabituellement important alors que le service reste performant. D'autres clients se disputent les mêmes ressources. Limiter ce pic protège leur part équitable.
Pour différencier ces cas, suivez séparément la santé du système, la demande entrante de chaque locataire et la décision de planification. Un grand nombre d'opérations en cours ne prouve pas à lui seul qu'un client a envoyé trop de données : ces opérations peuvent être bloquées derrière une dépendance lente. De même, un pic ne doit pas nécessairement être limité pour des raisons d'équité si de la capacité de réserve est disponible et que la politique le permet.
Cette distinction doit figurer dans les métriques et les explications destinées aux clients. Elle indique aux opérateurs s'ils doivent enquêter sur une perte de capacité ou sur une charge de travail inhabituelle, et indique aux clients si un changement de comportement leur sera utile. Comptabilisez les échecs causés par la dégradation du service dans les métriques de fiabilité du service, même s'ils se manifestent sous forme de limitation. Pour les requêtes acceptées qui attendent dans la file d'attente, mesurez l'impact sur la latence de lancement du cluster.
Pour une opération qui prend quelques minutes, une attente courte est souvent préférable à une erreur immédiate suivie d'une nouvelle tentative. Une file d'attente peut absorber un pic et permettre au système de rattraper son retard.
Cela ne fonctionne que si l'attente respecte l'échéance de la requête. Limitez la taille de la file d'attente et le temps d'attente de chaque requête, rendez la progression visible et rejetez ou faites expirer le travail lorsqu'il ne peut plus aboutir utilement. Une file d'attente ne peut pas transformer une surcharge soutenue en capacité ; une file d'attente illimitée peut transformer une brève perturbation en heures de retard.
Une requête en file d'attente doit être un petit enregistrement, et non un processus en cours d'exécution qui mobilise de précieuses ressources. Un arriéré plus important ne doit pas rendre chaque opération active plus coûteuse par des analyses répétées ou par la concurrence pour les threads et les connexions.
Le nettoyage requiert la même attention. Si un arriéré important expire en même temps, le service doit être capable de le supprimer dans un délai prévisible. Planifiez le pire des scénarios pour l'arriéré, facilitez l' expiration et le rejet, et évitez d'effectuer des configurations coûteuses pour des travaux dont l'échéance est déjà dépassée. Sinon, la file d'attente peut maintenir le service occupé bien après la fin de la congestion initiale.
Supposons qu'un service doive retarder cent requêtes. Est-il préférable que cent clients voient chacun une requête lente, ou qu'un client voie cent requêtes lentes ?
La métrique globale peut sembler identique. L'expérience client, elle, ne le sera pas.
Un planificateur fait ce choix, que nous le spécifiions ou non. Définissez quel travail doit être exécuté en premier, quelle part chaque locataire doit recevoir en cas de contention, et comment le travail de priorité inférieure évite d'attendre indéfiniment. Permettez aux locataires d'utiliser la capacité par ailleurs inactive lorsque la politique le permet, tout en préservant un accès équitable lorsque d'autres locataires ont besoin de leur part.
Nous avons appliqué ces idées à un système intégré de gestion de la charge pour la création de clusters sur le calcul classique Databricks. Une courte requête API lance un flux de travail beaucoup plus long qui coordonne plusieurs dépendances, notamment les clouds publics, pour provisionner des ressources de calcul.
Le système combine des requêtes mises en file d'attente, des limites de concurrence adaptatives et une planification équitable. Il utilise le travail déjà en cours et l'état de santé du système pour décider du moment où les opérations en file d'attente peuvent démarrer.
Nous avons conservé la limite de taux de requêtes de l'API comme dernière ligne de défense contre un trafic entrant exceptionnellement élevé. Elle fournit une limite de taux de requêtes que nous pouvons communiquer aux clients. Les limites de concurrence adaptatives restent au sein du service et régissent le démarrage du travail accepté. Une réponse API réussie ne garantit pas un lancement immédiat du cluster ni une exécution dans un délai fixe.
L'analyse du déploiement initial a révélé trois résultats :
Le contrôle de la concurrence adaptatif a rendu possible cette multiplication par 7,5 en protégeant les flux de travail de longue durée à mesure que les conditions changeaient. Depuis cette augmentation, peu de clients ont atteint les limites de taux de requêtes de création de cluster les plus élevées, et nous n'avons ajouté aucune nouvelle dérogation manuelle pour ces limites. Les clients disposent d'une plus grande marge de manœuvre pour évoluer, avec moins de besoin d'exceptions ajustées individuellement.
L'application de cette approche à d'autres types de travaux de longue durée soulève de nouvelles questions de conception. Lorsque les opérations ont des coûts en ressources très différents, compter chacune d'elles comme un emplacement unique peut s'avérer trop grossier ; des emplacements pondérés ou des limites distinctes sont des extensions possibles. Pour les flux de travail comportant plusieurs goulets d'étranglement, une autre question de conception consiste à déterminer où appliquer le contrôle afin qu'une dépendance lente ne bloque pas les travaux sans rapport.
Lors d'un ralentissement du fournisseur de cloud, les flux de travail qui provisionnent déjà des machines virtuelles peuvent continuer à effectuer de nouvelles tentatives même après le ralentissement des nouveaux lancements. Associez les limites de concurrence à un backoff de nouvelle tentative et à une limite sur les tentatives pour réduire cette pression pendant la récupération.
Une limite de taux de requêtes plafonne le nombre de requêtes acceptées par unité de temps ; une limite de concurrence plafonne le nombre d'opérations actives simultanément. Chaque opération active détient un emplacement jusqu'à son achèvement, y compris le temps passé à attendre les dépendances.
Un flux de travail CreateCluster conserve son emplacement lors du provisionnement des machines virtuelles, y compris le temps passé à attendre les dépendances après le retour de l'API. Une fois le provisionnement terminé, l'emplacement est libéré, même si le cluster peut continuer à exécuter les charges de travail des clients. Le contrôleur compte les flux de travail de provisionnement actifs ; il ne compte pas tous les clusters en cours d'exécution ni les machines virtuelles et processeurs virtuels alloués. Le suivi d'un emplacement ne nécessite pas de conserver un thread.
Lorsqu'un fournisseur de cloud ralentit, les flux de travail de provisionnement conservent leurs emplacements plus longtemps et les requêtes acceptées mettent plus de temps à se lancer. Le contrôleur réduit également la limite d'emplacements lorsque des signaux de congestion, tels que la latence de provisionnement ou la saturation du pool de threads, indiquent une pression. À mesure que les conditions s'améliorent, il autorise prudemment davantage de travail simultané.
Pourquoi Databricks conserve-t-il toujours une limite fixe de taux de requêtes API ?
La limite fixe de taux de requêtes API protège contre un trafic entrant exceptionnellement élevé et fournit une limite de taux de requêtes que nous pouvons communiquer aux clients. Les limites de concurrence adaptatives fonctionnent au sein du service : la pression sur la capacité met en file d'attente les requêtes acceptées et retarde le provisionnement. Une réponse API réussie ne garantit pas un lancement immédiat du cluster ni une exécution dans un délai fixe.
L'analyse du déploiement initial a fait état de limites de taux de requêtes de création de cluster par défaut 7,5 fois plus élevées, d'une réduction de plus de 99,99 % des erreurs de limite de taux de création de cluster dans la portée signalée, et de la suppression de plus d'une centaine de dérogations aux limites de taux spécifiques aux clients dans la portée. Depuis cette augmentation, peu de clients ont atteint les limites supérieures et aucune nouvelle dérogation manuelle n'a été ajoutée pour ces limites.
Pour le problème complémentaire de l'application des quotas d'API à grande échelle, lisez Limitation du taux de haute performance chez Databricks.
(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original
Abonnez-vous à notre blog et recevez les derniers articles directement dans votre boîte mail.