Por qué los límites de concurrencia adaptativos funcionan mejor que los límites fijos en la tasa de solicitudes para operaciones de larga duración.
por Heqing Ya, Tan Zhang, Ankit Batra y Abhishek Rai
Como parte del equipo de plataforma de computación en Databricks, convertimos la infraestructura en la nube en clústeres listos para ejecutar las cargas de trabajo de los clientes. Nuestro trabajo diario incluye el aprovisionamiento de máquinas virtuales y la coordinación de la creación de clústeres en AWS, Azure y Google Cloud. Nuestro objetivo es mantener estos sistemas disponibles al tiempo que permitimos que los clientes utilicen la mayor capacidad que podamos ofrecer de forma segura.
En esta publicación, exploraremos por qué los límites de tasa de solicitudes fija pueden quedarse cortos para estas operaciones de larga duración, cómo ayudan los límites de concurrencia adaptativos y qué aprendimos al aplicarlos a la creación de clústeres para la computación clásica de Databricks. No necesitas saber nada de esto para usar Databricks, pero si tienes curiosidad por saber qué sucede detrás del lanzamiento de un clúster de Databricks Runtime,compra con nosotros un vistazo al interior.
Históricamente, protegiamos el sistema con límites de tasa de solicitudes fija, probados contra diferentes patrones de carga y escenarios de fallas. Escalábamos nuestros servicios principalmente agregando recursos y ajustando los límites por cliente.
La combinación de cargas de trabajo y fallas en las dependencias hizo que estos límites fueran cada vez más difíciles de probar y ajustar. Los límites conservadores rechazaban las solicitudes de los clientes a pesar de tener capacidad libre, pero seguían aceptando solicitudes cuando nuestros servicios o dependencias, como los proveedores en la nube, se ralentizaban. Los ingenieros bajaban manualmente los límites para reducir la carga durante los incidentes y los volvían a subir tras la recuperación.
Los límites de concurrencia adaptativos tienen en cuenta tanto el trabajo pendiente como los cambios en el estado del sistema. Permiten que comience más trabajo cuando hay capacidad disponible y reducen el ritmo cuando el sistema tiene dificultades, lo que ayuda a que el servicio avance con menos ajustes manuales. Un límite máximo fijo de solicitudes de API sigue funcionando como última barrera de seguridad contra un tráfico entrante excepcionalmente alto.
Piensa en nuestra plataforma de computación como una cocina que busca atender tantos pedidos como sus cocineros y equipos puedan manejar. El gerente publica una regla fija: aceptar como máximo diez pedidos nuevos por minuto, sin importar lo que esté pasando en la estufa.
Incluso con capacidad de cocina libre, la regla rechaza pedidos. Cuando un horno se rompe, sigue aceptando pedidos más rápido de lo que los cocineros y equipos restantes pueden terminarlos. El gerente tiene que seguir reescribiendo el cartel cada vez.
Una mejor cocina mantiene una fila corta y limita cuántas comidas se preparan al mismo tiempo. Si un horno se rompe, se empiezan fewer comidas; a medida que regresa la capacidad, pueden empezar más. Los pedidos pueden esperar brevemente, pero solo mientras haya tiempo para servirlos.
Para las operaciones de larga duración, una tasa de solicitudes fija es un mal modelo de capacidad. El objetivo es permitir que los clientes operen a toda velocidad cuando la capacidad lo permita, y luego reducir la marcha lo suficiente para mantener el trabajo útil en movimiento durante la degradación.
Una llamada a la API puede lanzar mucho más trabajo del que el controlador realiza por sí mismo. Para la creación de clústeres, el controlador valida la solicitud, registra un elemento de trabajo y regresa. Un flujo de trabajo en segundo plano coordina los servicios, actualiza el estado y aprovisiona recursos como máquinas virtuales en la nube. Estas operaciones se completan de forma asíncrona y su duración depende de la salud y la capacidad de sus dependencias. La llamada a la API puede tardar milisegundos; el flujo de trabajo en sí puede tardar minutos.
Un limitador de tasa de solicitudes en el punto de entrada de la API limita las solicitudes por ventana de tiempo. Eso es útil para hacer cumplir cuotas, prevenir abusos y proteger los recursos utilizados para manejar llamadas a la API.
Un límite de tasa de solicitudes fija es más fácil de ajustar cuando la capacidad disponible y el trabajo detrás de cada solicitud se mantien razonablemente predecibles. La creación de clústeres hace que ambos sean difíciles: una solicitud puede aprovisionar algunas máquinas virtuales y otra muchas más, mientras que la salud del proveedor en la nube cambia el tiempo que toma el aprovisionamiento. Durante una desaceleración compartida, muchos flujos de trabajo tardan más al mismo tiempo. Por lo tanto, la misma tasa de solicitudes entrantes puede dejar mucho más trabajo en curso, incluso cuando la capacidad del sistema para terminarlo disminuye.
A la izquierda, las llegadas se mantienen fijas en una operación por unidad de tiempo. Aumentar la duración de dos a seis unidades de tiempo triplica el trabajo en curso. A la derecha, los procesadores se vuelven lentos o no están disponibles, lo que reduce la capacidad disponible para manejar ese trabajo.
Cuando una dependencia se degrada, más llamadas fallan o se agota el tiempo de espera. Los flujos de trabajo de larga duración reintentan esas llamadas para recuperarse de fallas temporales. En muchos flujos de trabajo activos, esos reintentos agregan presión a la dependencia con dificultades, lo que causa más fallas y aún más reintentos: una tormenta de reintentos.
Estos reintentos internos provienen de trabajo ya aceptado, por lo que el limitador de tasa de solicitudes de la API no los ve. Pueden sostener la sobrecarga incluso después de que el tráfico entrante regrese a la normalidad. Limitar los flujos de trabajo activos ayuda a contener esa presión y le da al trabajo sin terminar la oportunidad de drenarse.
Establecer una tasa más baja no resuelve la discrepancia. Consigue margen al rechazar más trabajo durante los períodos saludables, y una desaceleración lo suficientemente grande aún puede agotar ese margen. Elevar la tasa hace un mejor uso de la capacidad saludable, pero acepta más trabajo durante la degradación. Un solo número tiene que cubrir ambos días.
La "limitación de tasa" a veces se usa ampliamente para incluir límites al trabajo simultáneo. Aquí distinguimos ambos mecanismos por lo que cuentan.
| Término | Significado en este artículo |
|---|---|
| Operación | El flujo de trabajo completo, incluido el trabajo en segundo plano después de que la API responde. |
| Límite de tasa de solicitudes | Un límite en las solicitudes aceptadas por unidad de tiempo, como 10 solicitudes por segundo, con una posible asignación de ráfagas. |
| Concurrencia | Cuántas operaciones están activas a la vez, incluidas las que esperan por dependencias. |
| Límite de concurrencia | Un límite en las operaciones activas, como 100 a la vez. Cada operación mantiene un espacio hasta que termina. |
| Trabajo acumulado | Trabajo aceptado que espera para comenzar; aún no ha adquirido un espacio activo. |
Cualquier tipo de límite puede ser fijo o adaptativo. Nuestra comparación es entre límites de tasa de solicitudes fija y límites de concurrencia adaptativos para proteger el trabajo de larga duración.
La cocina necesita realizar un seguimiento de las comidas que aún se están preparando y de la capacidad disponible para terminarlas. En la computación clásica de Databricks, el equivalente es el conjunto de flujos de trabajo de creación de clústeres que todavía están aprovisionando infraestructura. Le damos a cada flujo de trabajo activo un espacio y ajustamos el número de espacios a medida que cambian las condiciones.
Considera una solicitud CreateCluster para un clúster con un controlador y varias máquinas virtuales de trabajador. Una vez que se acepta la solicitud, su flujo de trabajo de aprovisionamiento espera un espacio antes de comenzar. Realizamos un seguimiento de si ese trabajo está en cola, procesándose activamente o completo.
Si todos los espacios están ocupados, la solicitud permanece en cola. Un flujo de trabajo activo mantiene su espacio mientras aprovisiona máquinas virtuales y espera las dependencias. Una vez que el flujo de trabajo termina, su espacio queda disponible para el lanzamiento de otro clúster. Un clúster lanzado con éxito puede seguir ejecutando las cargas de trabajo de los clientes durante horas sin ocupar ese espacio de aprovisionamiento.
El espacio debe cubrir la operación de aprovisionamiento completa, incluido el trabajo en segundo plano después de que la API responde. El seguimiento de un espacio no requiere mantener un hilo.
Este controlador cuenta los flujos de trabajo de aprovisionamiento activos. Los clústeres en ejecución, las máquinas virtuales asignadas y las vCPUs son medidas independientes. Un flujo de trabajo puede aprovisionar muchas máquinas virtuales, por lo que un espacio no implica un costo de recursos fijo.
Ahora supongamos que un proveedor en la nube tarda más en aprovisionar máquinas virtuales. Los flujos de trabajo activos retienen sus espacios por más tiempo, por lo que los nuevos lanzamientos de clústeres comienzan con menos frecuencia incluso si el límite de espacios permanece fijo. Los clientes ven esperas de lanzamiento más largas a medida que las solicitudes aceptadas hacen fila.
El control adaptativo también cambia el límite de espacios. Para la creación de clústeres, las señales útiles incluyen cuánto tiempo toma el aprovisionamiento y si los grupos de hilos críticos están saturados. Cuando estas señales indican congestión, el controlador reduce el número de flujos de trabajo de aprovisionamiento simultáneos. A medida que las condiciones se recuperan, permite cautelosamente más. La presión de capacidad cambia cuando comienza el trabajo aceptado; los rechazos por límite de tasa de RPC se reservan para tasas de solicitudes entrantes excepcionalmente altas.
Reducir el límite evita que comiencen nuevas operaciones hasta que el trabajo activo caiga por debajo de él; las operaciones existentes aún necesitan tiempo para terminar. Este tiempo de respuesta importa cuando los flujos de trabajo duran minutos. Los reintentos también necesitan retroceso y un límite de intentos para que los flujos de trabajo activos no sigan abrumando a una dependencia que se está recuperando. La limitación de concurrencia no puede reparar una dependencia no disponible, pero puede limitar la presión adicional mientras esa dependencia se recupera.
El bucle de control responde a la pregunta de cuánto trabajo iniciar. Crear un servicio útil también implica decidir quién espera, cuánto tiempo espera y qué les comunicamos.
"Demasiadas solicitudes" puede ocultar dos situaciones muy diferentes.
En la primera, un cliente envía su tráfico habitual, pero una dependencia compartida se vuelve más lenta. La capacidad ha disminuido. Pedirle al cliente que corrija su patrón de tráfico atribuye erróneamente un problema del servicio.
En la segunda, un cliente env ía un volumen inusualmente grande mientras el servicio sigue funcionando correctamente. Otros clientes compiten por los mismos recursos. Limitar ese volumen protege la parte que les corresponde de forma justa.
Para diferenciar estos casos, haz un seguimiento por separado de la salud del sistema, la demanda entrante de cada inquilino y la decisión de programación. Un gran número de operaciones en curso por sí solo no demuestra que un cliente haya enviado demasiado: es posible que esas operaciones estén bloqueadas detrás de una dependencia lenta. Del mismo modo, no es necesario limitar un pico de tráfico por motivos de equidad si hay capacidad libre disponible y la política lo permite.
Esta distinción debe reflejarse en las métricas y en las explicaciones dirigidas al cliente. Indica a los operadores si deben investigar una pérdida de capacidad o una carga de trabajo inusual, y ayuda a los clientes a saber si cambiar su comportamiento será de utilidad. Cuenta los fallos causados por la degradación del servicio en las métricas de fiabilidad del servicio, incluso cuando aparezcan como limitaciones de tráfico. Para las solicitudes aceptadas que esperan en la cola, mide el impacto en la latencia de inicio del clúster.
Para una operación que toma minutos, una espera corta suele ser preferible a un error inmediato seguido de un reintento. Una cola puede absorber un pico de tráfico y permitir que el sistema se ponga al día.
Eso solo funciona si la espera se ajusta al plazo límite de la solicitud. Limita el tamaño de la cola y el tiempo de espera de cada solicitud, haz que el progreso sea visible y rechaza o invalida el trabajo cuando ya no pueda completarse de manera útil. Una cola no puede convertir una sobrecarga sostenida en capacidad; una cola sin límites puede transformar una breve interrupción en horas de retraso.
Una solicitud en cola debe ser un registro pequeño, no un trabajador en ejecución que retiene recursos escasos. Un backlog más grande no debería encarecer cada operación activa mediante análisis repetidos o competencia por hilos y conexiones.
La limpieza requiere la misma atención. Si un backlog grande caduca al mismo tiempo, el servicio debe poder descartarlo en un plazo predecible. Planifica para el peor escenario de backlog, haz que la expiración y el rechazo sean económicos y evita realizar configuraciones costosas para trabajos cuyo plazo ya haya vencido. De lo mucho contrario, la cola puede mantener ocupado el servicio mucho después de que haya terminado la congestión original.
Supongamos que un servicio debe retrasar cien solicitudes. ¿Es mejor que cien clientes vean una solicitud lenta cada uno, o que un cliente vea cien solicitudes lentas?
La métrica agregada puede parecer la misma. La experiencia del cliente no lo será.
Un planificador toma esta decisión lo especifiquemos o no. Define qué trabajo debe ir primero, qué proporción debe recibir cada inquilino en situaciones de contención y cómo el trabajo de menor prioridad evita esperar indefinidamente. Permite que los inquilinos utilicen capacidad que de otro modo estaría inactiva cuando la política lo permita, preservando al mismo tiempo el acceso justo cuando otros inquilinos necesiten su parte.
Aplicamos estas ideas a un sistema de gestión de carga integrado para la creación de clústeres en la infraestructura de computación clásica de Databricks. Una solicitud de API corta inicia un flujo de trabajo mucho más largo que coordina varias dependencias, incluidas nubes públicas, para aprovisionar recursos de computación.
El sistema combina solicitudes en cola, límites de concurrencia adaptativos y programación justa. Utiliza el trabajo que ya está en curso y la salud del sistema para decidir cuándo pueden comenzar las operaciones en cola.
Mantuvimos el límite de velocidad de solicitudes de la API como última línea de defensa contra un tráfico entrante excepcionalmente alto. Proporciona un límite de velocidad de solicitudes que podemos comunicar a los clientes. Los límites de concurrencia adaptativos permanecen dentro del servicio y regulan cuándo comienza el trabajo aceptado. Una respuesta de API exitosa no garantiza el lanzamiento inmediato de un clúster ni su finalización en un tiempo fijo.
El análisis de la implementación inicial informó tres resultados:
El control de concurrencia adaptativo hizo posible el aumento de 7.5× al proteger los flujos de trabajo de larga ejecución a medida que cambiaban las condiciones. Desde ese incremento, pocos clientes han alcanzado los límites de velocidad de solicitudes de creación de clústeres más altos y no hemos añadido nuevas excepciones manuales para dichos límites. Los clientes tienen más margen para escalar, con menor necesidad de excepciones ajustadas individualmente.
Aplicar este enfoque a otros tipos de trabajos de larga ejecución plantea nuevas preguntas de diseño. Cuando las operaciones tienen costes de recursos muy diferentes, contar cada una como un único espacio puede ser demasiado impreciso; los espacios ponderados o los límites separados son posibles extensiones. Para flujos de trabajo con varios cuellos de botella, otra cuestión de diseño es dónde aplicar el control para que una dependencia lenta no detenga trabajos no relacionados.
Durante una ralentización del proveedor de la nube, los flujos de trabajo que ya están aprovisionando VMs pueden seguir reintentando incluso después de que los nuevos lanzamientos se ralenticen. Combina los límites de concurrencia con el tiempo de espera exponencial en los reintentos y un límite en el número de intentos para reducir esa presión durante la recuperación.
Un límite de velocidad de solicitudes restringe cuántas solicitudes se aceptan por unidad de tiempo; un límite de concurrencia restringe cuántas operaciones están activas a la vez. Cada operación activa ocupa un espacio hasta que finaliza, incluido el tiempo dedicado a esperar por las dependencias.
Un flujo de trabajo CreateCluster retiene su espacio mientras aprovisiona VMs, incluido el tiempo de espera en dependencias después de que la API responde. Cuando finaliza el aprovisionamiento, el espacio se libera aunque el clúster pueda seguir ejecutando las cargas de trabajo del cliente. El controlador cuenta los flujos de trabajo de aprovisionamiento activos; no cuenta todos los clústeres en ejecución ni las VMs y vCPUs asignadas. El seguimiento de un espacio no requiere mantener un hilo.
Cuando un proveedor de la nube se ralentiza, los flujos de trabajo de aprovisionamiento retienen sus espacios durante más tiempo y las solicitudes aceptadas tardan más en lanzarse. El controlador también reduce el límite de espacios cuando las señales de congestión, como la latencia de aprovisionamiento o la saturación del grupo de hilos, indican presión. A medida que las condiciones se recuperan, permite cautelosamente más trabajo concurrente.
El límite fijo de velocidad de solicitudes de API protege contra un tráfico entrante excepcionalmente alto y proporciona un límite de velocidad de solicitudes que podemos comunicar a los clientes. Los límites de concurrencia adaptativos funcionan dentro del servicio: la presión de capacidad encola las solicitudes aceptadas y retrasa el aprovisionamiento. Una respuesta de API exitosa no garantiza el lanzamiento inmediato de un clúster ni su finalización en un tiempo fijo.
El análisis de la implementación inicial informó que los límites de velocidad de solicitudes predeterminados para la creación de clústeres aumentaron 7.5×, se redujeron en más de un 99.99 % los errores de límite de velocidad en la creación de clústeres dentro del ámbito reportado y se eliminaron más de cien excepciones de límites de velocidad específicas para clientes. Desde el aumento, pocos clientes han alcanzado los límites más altos y no se han añadido nuevas excepciones manuales para dichos límites.
Para el problema complementario de aplicar cuotas de API a gran escala, lee High Performance Ratelimiting at Databricks.
(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original
Suscríbete a nuestro blog y recibe las últimas publicaciones directamente en tu bandeja de entrada.