Direkt zum Hauptinhalt
Engineering

Wie wir die Databricks Cluster-Ratenlimits um das 7,5-Fache erhöht haben

Warum adaptive concurrency limits bei lang laufenden Vorgängen besser funktionieren als feste Anfragelimits.

von Heqing Ya, Tan Zhang, Ankit Batra und Abhishek Rai

  • Adaptive concurrency limits verfolgen lang laufende Cluster-Erstellungs-Workflows und passen die Arbeitslast an, während sich der Systemzustand ändert.
  • Begrenzte Warteschlangen und Fair Scheduling helfen dabei, Lastspitzen abzufangen und Kapazitäten zu teilen. Ein festes Limit für API-Anfragen bleibt dabei eine Schutzmaßnahme für Kunden.
  • Databricks hat die Standardlimits für Cluster-Erstellungs-Anfragen um das 7,5-Fache erhöht und über hundert kundenspezifische Ausnahmen im genannten Bereich entfernt.

Als Teil des Compute Platform-Teams bei Databricks verwandeln wir Cloud-Infrastruktur in Cluster, die bereit sind, Workloads für Kunden auszuführen. Unsere tägliche Arbeit umfasst die Bereitstellung von virtuellen Maschinen und die Koordinierung der Cluster-Erstellung über AWS, Azure und Google Cloud. Unser Ziel ist es, diese Systeme verfügbar zu halten und gleichzeitig Kunden so viel Kapazität wie möglich sicher bereitzustellen.

In diesem Beitrag gehen wir der Frage nach, warum feste Anfrageraten-Grenzen bei solchen langlebigen Vorgängen oft nicht ausreichen, wie adaptive Concurrency-Limits helfen und was wir gelernt haben, als wir sie auf die Cluster-Erstellung für klassische Compute-Ressourcen bei Databricks angewendet haben. Sie müssen all das nicht im Detail wissen, um Databricks zu nutzen – aber wenn Sie neugierig sind, was hinter den Kulissen eines Databricks Runtime-Cluster-Starts passiert, werfen Sie gerne einen Blick mit uns in die Küche.

Früher haben wir das System durch feste Anfrageraten-Grenzen geschützt, die anhand verschiedener Lastmuster und Fehlerszenarien getestet wurden. Wir haben unsere Services hauptsächlich skaliert, indem wir Ressourcen hinzugefügt und die Limits pro Kunde angepasst haben.

Die Kombination aus Workloads und dem Ausfall von Abhängigkeiten machte es zunehmend schwierig, diese Limits zu testen und abzustimmen. Konservative Limits wiesen Kundenanfragen ab, obwohl freie Kapazität vorhanden war, akzeptierten aber weiterhin Anfragen, wenn unsere Services oder Abhängigkeiten (wie Cloud-Anbieter) langsamer wurden. Ingenieure mussten Limits während Vorfällen manuell herabsetzen, um Last abzubauen, und sie nach der Erholung wieder anheben.

Adaptive Concurrency-Limits berücksichtigen sowohl noch nicht abgeschlossene Arbeiten als auch den sich ändernden Systemzustand. Sie erlauben den Start weiterer Arbeiten, wenn Kapazität verfügbar ist, und drosseln das Tempo, wenn das System überlastet ist. Das hilft dem Service, mit weniger manuellem Feinabtuning Fortschritte zu erzielen. Eine feste Obergrenze für API-Anfragen bleibt dabei als letztes Sicherheitsnetz gegen extrem hohen eingehenden Traffic erhalten.

Betrachten Sie unsere Compute-Plattform als eine Küche, die so viele Bestellungen wie möglich bedienen möchte, wie ihre Köche und Geräte es erlauben. Der Manager stellt eine feste Regel auf: Maximal zehn neue Bestellungen pro Minute annehmen, egal, was am Herd gerade passiert.

Selbst wenn noch Kapazität zum Kochen frei ist, weist die Regel Bestellungen ab. Wenn ein Ofen kaputtgeht, nimmt sie weiterhin schneller Bestellungen an, als die verbleibenden Köche und Geräte sie abarbeiten können. Der Manager muss das Schild daher ständig neu schreiben.

image2.png
Abbildung 1. Dieselbe Regel weist nützliche Arbeit ab, wenn Kapazität verfügbar ist, und akzeptiert zu viel, wenn die Kapazität sinkt. Jemand muss sie ständig anpassen. Die Küche und ihr Rate-Limit dienen zur Veranschaulichung.

Eine bessere Küche führt eine kurze Warteschlange und begrenzt, wie viele Gerichte gleichzeitig zubereitet werden. Wenn ein Ofen ausfällt, werden weniger Gerichte gestartet; sobald die Kapazität zurückkehrt, können mehr beginnen. Bestellungen können kurz warten, aber nur, solange noch genügend Zeit ist, sie zu servieren.

Bei langlebigen Vorgängen ist eine feste Anfragerate ein ungeeignetes Modell für die Kapazität. Das Ziel besteht darin, Kunden bei ausreichender Kapazität mit voller Leistung arbeiten zu lassen und dann so weit nachzugeben, dass bei Leistungseinbußen nützliche Arbeiten weiterlaufen können.

Hintergrund

Ein API-Aufruf kann weit mehr Arbeit auslösen, als der Handler selbst ausführt. Bei der Cluster-Erstellung validiert der Handler die Anfrage, zeichnet ein Arbeitselement auf und kehrt zurück. Ein Hintergrund-Workflow koordiniert Services, aktualisiert den Status und stellt Ressourcen wie virtuelle Cloud-Maschinen bereit. Diese Vorgänge werden asynchron abgeschlossen, und ihre Dauer hängt von der Gesundheit und Kapazität ihrer Abhängigkeiten ab. Der API-Aufruf dauert vielleicht Millisekunden, der Workflow selbst jedoch Minuten.

Ein Rate-Limiter für Anfragen am API-Eingang deckt die Anfragen pro Zeitfenster ab. Das ist nützlich, um Kontingente durchzusetzen, Missbrauch zu verhindern und die für die Verarbeitung von API-Anfragen verwendeten Ressourcen zu schützen.

Das Problem

Ein festes Anfrageraten-Limit lässt sich leichter anpassen, wenn die verfügbare Kapazität und die Arbeit hinter jeder Anfrage einigermaßen vorhersehbar bleiben. Die Cluster-Erstellung macht beides schwierig: Eine Anfrage stellt vielleicht ein paar VMs bereit und eine andere sehr viel mehr, während sich die Leistung des Cloud-Anbieters darauf auswirkt, wie lange die Bereitstellung dauert. Während einer gemeinsamen Verlangsamung dauern viele Workflows gleichzeitig länger. Dieselbe eingehende Anfragerate kann daher zu viel mehr aktiver Arbeit führen, selbst wenn die Fähigkeit des Systems zur Fertigstellung sinkt.

image4.png
Abbildung 2. Längere Operationen erhöhen die ausstehende Arbeit, während weniger gesunde Prozessoren die Kapazität verringern. Ein festes Anfrageraten-Limit passt sich an keine dieser Änderungen an. Die Zeitachsen dienen der Veranschaulichung.

Links bleibt das Eintreffen bei einer Operation pro Zeiteinheit konstant. Eine Verlängerung der Dauer von zwei auf sechs Zeiteinheiten verdreifacht die ausstehende Arbeit. Rechts werden Prozessoren langsam oder fallen aus, wodurch sich die zur Bewältigung dieser Arbeit verfügbare Kapazität verringert.

Wenn eine Abhängigkeit nachlässt, schlagen mehr Aufrufe fehl oder überschreiten das Zeitlimit. Langlebige Workflows wiederholen diese Aufrufe, um sich von temporären Fehlern zu erholen. Über viele aktive Workflows hinweg erhöhen diese Wiederholungen den Druck auf die kämpfende Abhängigkeit, was zu weiteren Fehlern und noch mehr Wiederholungen führt – einem Retry-Sturm.

Diese internen Wiederholungen stammen von bereits akzeptierten Arbeiten, weshalb der API-Rate-Limiter sie nicht sieht. Sie können eine Überlastung aufrechterhalten, selbst wenn der eingehende Traffic wieder normal ist. Die Begrenzung aktiver Workflows hilft, diesen Druck einzudämmen, und gibt nicht abgeschlossener Arbeit die Chance, abgearbeitet zu werden.

Das Einstellen einer niedrigeren Rate löst das Missverhältnis nicht. Es schafft Spielraum, indem in gesunden Phasen mehr Arbeit abgelehnt wird, und eine ausreichend starke Verlangsamung kann diesen Spielraum dennoch erschöpfen. Eine Erhöhung der Rate nutzt gesunde Kapazitäten besser aus, akzeptiert jedoch bei Leistungseinbußen mehr Arbeit. Ein einziger Wert muss beide Tage abdecken.

Terminologie

„Rate Limiting“ wird manchmal allgemein verwendet, um auch Beschränkungen gleichzeitiger Arbeit einzuschließen. Hier unterscheiden wir die beiden Mechanismen danach, was sie zählen.

BegriffBedeutung in diesem Artikel
OperationDer gesamte Workflow, einschließlich der Hintergrundarbeit nach der API-Rückgabe.
Anfrageraten-LimitEine Obergrenze für akzeptierte Anfragen pro Zeiteinheit, z. B. 10 Anfragen pro Sekunde, mit einer möglichen Burst-Toleranz.
ConcurrencyWie viele Operationen gleichzeitig aktiv sind, einschließlich der auf Abhängigkeiten wartenden.
Concurrency-LimitEine Obergrenze für aktive Operationen, z. B. 100 gleichzeitig. Jede Operation belegt einen Steckplatz (Slot), bis sie abgeschlossen ist.
BacklogAkzeptierte Arbeit, die auf den Start wartet; sie hat noch keinen aktiven Slot belegt.

Beide Arten von Limits können fest oder adaptiv sein. Unser Vergleich betrifft feste Anfrageraten-Limits und adaptive Concurrency-Limits zum Schutz langlebiger Arbeit.

Lösung

Die Küche muss nachhalten, welche Mahlzeiten noch zubereitet werden und welche Kapazität zur Fertigstellung zur Verfügung steht. Bei klassischen Compute-Ressourcen von Databricks entspricht dem die Menge der Cluster-Erstellungs-Workflows, die noch Infrastruktur bereitstellen. Wir weisen jedem aktiven Workflow einen Slot zu und passen die Anzahl der Slots an, wenn sich die Bedingungen ändern.

Aktive Operationen mit Slots nachverfolgen

Betrachten Sie eine CreateCluster-Anfrage für einen Cluster mit einem Treiber und mehreren Worker-VMs. Sobald die Anfrage akzeptiert wird, wartet ihr Bereitstellungs-Workflow vor dem Start auf einen Slot. Wir verfolgen nach, ob diese Arbeit in der Warteschlange steht, aktiv verarbeitet wird oder abgeschlossen ist.

Sind alle Slots belegt, bleibt die Anfrage in der Warteschlange. Ein aktiver Workflow behält seinen Slot, während er VMs bereitstellt und auf Abhängigkeiten wartet. Sobald der Workflow abgeschlossen ist, wird sein Slot für einen anderen Cluster-Start frei. Ein erfolgreich gestarteter Cluster kann stundenlang Kunden-Workloads ausführen, ohne diesen Bereitstellungs-Slot zu belegen.

Der Slot muss den gesamten Bereitstellungsvorgang abdecken, einschließlich der Hintergrundarbeit nach der Rückgabe der API. Das Verfolgen eines Slots erfordert kein Halten eines Threads.

Dieser Controller zählt aktive Bereitstellungs-Workflows. Laufende Cluster, zugewiesene VMs und vCPUs sind separate Messwerte. Ein Workflow kann viele VMs bereitstellen, sodass ein Slot keine feste Ressourcengroße impliziert.

An verfügbare Kapazität anpassen

Nehmen wir nun an, ein Cloud-Anbieter benötigt länger für die Bereitstellung von VMs. Aktive Workflows halten ihre Slots länger, sodass neue Cluster-Starts seltener beginnen, selbst wenn das Slot-Limit unverändert bleibt. Kunden bemerken längere Startzeiten, während akzeptierte Anfragen in der Warteschlange stehen.

Die adaptive Steuerung ändert auch das Slot-Limit. Bei der Cluster-Erstellung gehören dazu Signale wie die Dauer der Bereitstellung und die Frage, ob kritische Thread-Pools ausgelastet sind. Zeigen diese Signale eine Überlastung an, reduziert der Controller die Anzahl der gleichzeitigen Bereitstellungs-Workflows. Wenn sich die Bedingungen erholen, lässt er vorsichtig wieder mehr zu. Der Kapazitätsdruck ändert sich, wenn die akzeptierte Arbeit beginnt; RPC-Ablehnungen wegen Rate-Limits sind extrem hohen eingehenden Anfrageraten vorbehalten.

image1.png
Abbildung 3. Ein abgeschlossener Bereitstellungs-Workflow gibt einen Slot für einen weiteren Cluster-Start frei. Das Feedback zum Gesundheitszustand passt an, wie viele Workflows gleichzeitig laufen können.

Das Verringern des Limits verhindert, dass neue Operationen starten, bis die aktive Arbeit darunter fällt; bestehende Operationen benötigen weiterhin Zeit zum Abschluss. Diese Antwortzeit ist wichtig, wenn Workflows Minuten dauern. Wiederholungen benötigen zudem ein Backoff und ein Limit für Versuche, damit aktive Workflows eine sich erholende Abhängigkeit nicht weiter überlasten. Eine Begrenzung der Concurrency kann eine nicht verfügbare Abhängigkeit nicht reparieren, aber sie kann den zusätzlichen Druck begrenzen, während sich diese Abhängigkeit erholt.

Der Teufel steckt im Detail

Die Regelschleife beantwortet die Frage, wie viel Arbeit gestartet werden soll. Ein nützlicher Dienst bedeutet auch zu entscheiden, wer wartet, wie lange gewartet wird und was wir den Nutzern mitteilen.

Erkläre, warum eine Anfrage gedrosselt wird

„Zu viele Anfragen“ kann zwei sehr unterschiedliche Situationen verdeutlichen.

Im ersten Fall sendet ein Kunde seinen gewohnten Traffic, aber eine gemeinsam genutzte Abhängigkeit verlangsamt sich. Die Kapazität ist gesunken. Den Kunden aufzufordern, sein Traffic-Muster anzupassen, schreibt fälschlicherweise ein Dienstproblem zu.

Im zweiten Fall sendet ein Kunde einen ungewöhnlich großen Burst, während der Dienst stabil bleibt. Andere Kunden konkurrieren um dieselben Ressourcen. Das Drosseln dieses Bursts schützt ihren fairen Anteil.

image3.png
Abbildung 4. Dasselbe Symptom kann unterschiedliche Ursachen haben. Systemverschlechterung und überschüssige Nachfrage eines Mandanten sollten separat sichtbar sein; beides kann gleichzeitig auftreten.

Um diese Fälle zu unterscheiden, sollten der Systemzustand, die eingehende Last jedes Mandanten und die Planungsentscheidung separat erfasst werden. Eine große Anzahl laufender Operationen allein beweist nicht, dass ein Kunde zu viel gesendet hat: Diese Operationen hängen möglicherweise hinter einer langsamen Abhängigkeit fest. Ebenso muss ein Burst nicht aus Fairness-Gründen gedrosselt werden, wenn freie Kapazität verfügbar ist und die Richtlinie dies erlaubt.

Diese Unterscheidung gehört in Metriken und kundenorientierte Erklärungen. Sie zeigt den Betreibern, ob sie nach verlorener Kapazität oder einer ungewöhnlichen Workload suchen müssen, und teilt den Kunden mit, ob eine Verhaltensänderung hilft. Zähle Ausfälle, die durch eine Verschlechterung des Dienstes verursacht wurden, in den Metriken zur Dienstzuverlässigkeit mit, selbst wenn sie als Drosselung auftreten. Messe bei akzeptierten Anfragen, die in der Warteschlange stehen, die Auswirkungen auf die Startlatenz des Clusters.

Puffere, solange die Anfrage noch Zeit hat, erfolgreich zu sein

Für eine Operation, die Minuten dauert, ist eine kurze Wartezeit oft besser als ein sofortiger Fehler gefolgt von einem erneuten Versuch. Eine Warteschlange kann einen Burst abfangen und das System aufholen lassen.

Das funktioniert nur, wenn das Warten zum Zeitrahmen der Anfrage passt. Begrenze die Größe der Warteschlange und die Wartezeit jeder Anfrage, mache den Fortschritt sichtbar und lehne Arbeit ab oder lasse sie ablaufen, wenn sie nicht mehr sinnvoll beendet werden kann. Eine Warteschlange kann eine anhaltende Überlastung nicht in Kapazität umwandeln; eine unbegrenzte Warteschlange kann eine kurze Störung in stundenlange Verzögerungen verwandeln.

Halte Warteschlangen und Bereinigung günstig

Eine in der Warteschlange befindliche Anfrage sollte ein kleiner Datensatz sein, kein laufender Worker, der knappe Ressourcen beansprucht. Ein größerer Rückstand sollte nicht jede aktive Operation durch wiederholte Scans oder Konkurrenz um Threads und Verbindungen teurer machen.

Die Bereinigung erfordert dieselbe Aufmerksamkeit. Wenn ein großer Rückstand gleichzeitig abläuft, muss der Dienst ihn innerhalb einer vorhersehbaren Zeit verwerfen können. Plane für den schlimmsten Rückstand, halte das Ablaufen und Ablehnen günstig und vermeide teure Vorbereitungen für Arbeit, deren Frist bereits abgelaufen ist. Andernfalls kann die Warteschlange den Dienst noch lange nach dem Ende der ursprünglichen Überlastung beschäftigen.

Lege fest, was „fair“ für das Produkt bedeutet

Angenommen, ein Dienst muss hundert Anfragen verzögern. Ist es besser, wenn hundert Kunden jeweils eine langsame Anfrage sehen oder wenn ein Kunde hundert langsame Anfragen sieht?

Die aggregierte Metrik sieht vielleicht gleich aus. Die Customer Experience wird es nicht.

Ein Scheduler trifft diese Entscheidung, egal ob wir sie vorgeben oder nicht. Definiere, welche Arbeit zuerst erledigt werden soll, welchen Anteil jeder Mandant bei Engpässen erhalten soll und wie Arbeit mit niedrigerer Priorität vermeidet, ewig zu warten. Erlaube Mandanten, ansonsten ungenutzte Kapazität zu verwenden, wo die Richtlinie dies zulässt, während ein fairer Zugriff gewahrt bleibt, wenn andere Mandanten ihren Anteil benötigen.

Aktueller Stand und zukünftige Arbeit

Wir haben diese Ideen auf ein integriertes Lastmanagement-System für die Clustererstellung auf Databricks classic compute angewendet. Eine kurze API-Anfrage startet einen viel längeren Workflow, der mehrere Abhängigkeiten koordiniert, einschließlich Public Clouds, um Compute-Ressourcen bereitzustellen.

Das System kombiniert Anfragen in Warteschlangen, adaptive Concurrency Limits und Fair Scheduling. Es nutzt die bereits laufenden Arbeiten und den Systemzustand, um zu entscheiden, wann in der Warteschlange befindliche Operationen starten können.

Wir haben das API-Anfragelistenlimit als letzte Verteidigungslinie gegen außergewöhnlich hohen eingehenden Traffic beibehalten. Es bietet eine Begrenzung der Anfragerate, die wir den Kunden kommunizieren können. Adaptive Concurrency Limits bleiben innerhalb des Dienstes und steuern, wann akzeptierte Arbeit beginnt. Eine erfolgreiche API-Antwort garantiert keinen sofortigen Cluster-Start oder eine Fertigstellung innerhalb einer festen Zeit.

Die Analyse der ersten Einführung zeigte drei Ergebnisse:

  • 7,5× höhere Standardlimits für Clustererstellungsanfragen.
  • Über 99,99 % weniger Fehler bei der Rate-Limit-Überschreitung für die Clustererstellung im gemeldeten Bereich.
  • Über hundert kundenspezifische Ausnahmen für Ratenbegrenzungen im Bereich entfernt.

Die adaptive Nebenläufigkeitssteuerung machte die 7,5-fache Steigerung möglich, indem sie die langlaufenden Workflows bei sich ändernden Bedingungen schützte. Seit dieser Erhöhung haben nur wenige Kunden die höheren Limits für Clustererstellungsanfragen erreicht, und wir mussten keine neuen manuellen Ausnahmen für diese Limits hinzufügen. Kunden haben mehr Spielraum zur Skalierung, mit weniger Bedarf an individuell abgestimmten Ausnahmen.

Die Anwendung dieses Ansatzes auf andere Arten von langlaufenden Arbeiten wirft weitere Designfragen auf. Wenn Operationen sehr unterschiedliche Ressourcenkosten verursachen, ist es möglicherweise zu grob, jede als einen Slot zu zählen; gewichtete Slots oder separate Limits sind mögliche Erweiterungen. Bei Workflows mit mehreren Engpässen besteht eine weitere Designfrage darin, wo die Steuerung ansetzen soll, damit eine langsame Abhängigkeit keine unzusammenhängende Arbeit aufhält.

Während einer Verlangsamung durch den Cloud-Anbieter können Workflows, die bereits VMs bereitstellen, weiterhin versuchen, diese zu starten, selbst wenn neue Starts langsamer werden. Kombiniere Concurrency Limits mit einem Retry Backoff und einer Begrenzung der Versuche, um diesen Druck während der Wiederherstellung zu verringern.

FAQs

Was ist der Unterschied zwischen Anfrageraten- und Concurrency Limits?

Ein Anfrageratenlimit begrenzt, wie viele Anfragen pro Zeiteinheit akzeptiert werden; ein Concurrency Limit begrenzt, wie viele Operationen gleichzeitig aktiv sind. Jede aktive Operation belegt einen Slot, bis sie abgeschlossen ist, einschließlich der Zeit, die mit dem Warten auf Abhängigkeiten verbracht wird.

Warum muss ein Concurrency-Slot den gesamten Clustererstellungs-Workflow abdecken?

Ein CreateCluster-Workflow hält seinen Slot während der Bereitstellung von VMs, einschließlich der Zeit, die nach der Rückgabe der API auf das Warten auf Abhängigkeiten verwendet wird. Wenn die Bereitstellung abgeschlossen ist, wird der Slot freigegeben, obwohl der Cluster möglicherweise weiterhin Kunden-Workloads ausführt. Der Controller zählt aktive Bereitstellungs-Workflows; er zählt nicht alle laufenden Cluster oder zugewiesenen VMs und vCPUs. Das Verfolgen eines Slots erfordert nicht das Halten eines Threads.

Wie reagieren adaptive Concurrency Limits auf eine Systemverschlechterung?

Wenn ein Cloud-Anbieter langsamer wird, halten Bereitstellungs-Workflows ihre Slots länger und akzeptierte Anfragen warten länger auf den Start. Der Controller reduziert auch das Slot-Limit, wenn Überlastungssignale wie Bereitstellungslatenz oder Thread-Pool-Sättigung Druck anzeigen. Wenn sich die Bedingungen erholen, lässt er vorsichtig mehr gleichzeitige Arbeit zu.

Warum behält Databricks weiterhin ein festes API-Anfrageratenlimit bei?

Das feste API-Anfrageratenlimit schützt vor außergewöhnlich hohem eingehenden Traffic und bietet eine Begrenzung der Anfragerate, die wir den Kunden kommunizieren können. Adaptive Concurrency Limits arbeiten innerhalb des Dienstes: Kapazitätsdruck stellt akzeptierte Anfragen in die Warteschlange und verzögert die Bereitstellung. Eine erfolgreiche API-Antwort garantiert keinen sofortigen Cluster-Start oder eine Fertigstellung innerhalb einer festen Zeit.

Welche Ergebnisse hat Databricks nach der Einführung adaptiver Concurrency Limits gemeldet?

Die Analyse der ersten Einführung ergab 7,5× höhere Standardlimits für Clustererstellungsanfragen, über 99,99 % weniger Fehler bei Ratenlimit-Überschreitungen bei der Clustererstellung im gemeldeten Bereich und die Entfernung von über hundert kundenspezifischen Ausnahmen für Ratenlimits im Bereich. Seit der Erhöhung haben nur wenige Kunden die höheren Limits erreicht, und es wurden keine neuen manuellen Ausnahmen für diese Limits hinzugefügt.

Für das ergänzende Problem der Durchsetzung von API-Quotas im großen Stil lies High Performance Ratelimiting at Databricks.

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag

Erhalten Sie die neuesten Beiträge in Ihrem Posteingang

Abonnieren Sie unseren Blog und erhalten Sie die neuesten Beiträge direkt in Ihren Posteingang.