Lleva controles de costos conocidos a la computación sin servidor
por Piyush Singh y Vijay Raja
En Databricks, el uso de computación serverless ha crecido más de 3 veces en el último año, y miles de clientes ahora ejecutan notebooks, trabajos y pipelines críticos en ella. A medida que aumenta la adopción, la pregunta que todos los equipos de plataforma hacen primero cobra aún más fuerza: ¿cómo obtenemos una mejor visibilidad de los costos de serverless y mantenemos el gasto dentro de nuestro presupuesto?
Los clientes de Databricks que ejecutan SQL serverless y Model Serving ya pueden atribuir gastos, gobernar el acceso y supervisar el consumo sin tocar un solo parámetro de clúster. Ahora estamos incorporando esa misma funcionalidad a la computación serverless para notebooks, trabajos y pipelines. Estamos haciendo que los controles de costos de serverless funcionen de la manera que los equipos de plataforma ya esperan.
En la computación clásica, el control de costos residía en la infraestructura. Limitabas el gasto limitando las máquinas: recuentos de nodos, tipos de instancia, rangos de escala automática y políticas de clúster que delimitaban lo que los usuarios podían aprovisionar. Estos controles eran necesarios porque tenías que administrar la infraestructura por tu cuenta.
Serverless elimina esos controles a propósito. El aprovisionamiento, el escalado y el dimensionamiento adecuado de la infraestructura ahora son responsabilidad de la plataforma, gestionados por Databricks, lo cual representa gran parte de su valor. Pero el control de costos debe residir en alguna parte, por lo que se desplaza a una capa superior. En lugar de asociarse a las máquinas, se asocia a las personas y a las cargas de trabajo. Quién tiene permiso para ejecutar serverless, a qué velocidad se le permite gastar a una carga de trabajo y dónde recae el costo son las preguntas que importan ahora.
Los equipos de plataforma describen sus necesidades de tres maneras:
La computación clásica respondía a esto con tres herramientas: etiquetas para atribuir costos, derechos para controlar el acceso y límites de tamaño de clúster para acotar el gasto. Serverless necesita las mismas tres. Dos de ellas ya existen y la tercera está en camino.

Analizaremos cada uno de ellos en orden.
La atribución comienza con las etiquetas. En la computación clásica etiquetabas el clúster; en serverless etiquetas la computación, y cada DBU que esa computación ejecuta traslada esa etiqueta hasta la facturación.
system.billing.usage, desglosado por usuario, por producto y por etiqueta. Una vista de "costo por equipo" lista para el liderazgo se obtiene con una sola consulta, y los paneles de control de costos de la consola de cuenta la muestran sin necesidad de escribir código SQL.
Esa misma tabla responde a la pregunta de auditoría que querrás hacer antes de cambiar el acceso de cualquier usuario: ¿quién está ejecutando realmente serverless hoy y cuánto está gastando? Esa es una consulta más, ordenada por consumo, y los ejemplos completos se encuentran en la documentación de las tablas del sistema.
Disponibilidad: Las etiquetas de Serverless Compute para la atribución están disponibles actualmente en Beta.
La observabilidad ya está disponible y los clientes ya pueden supervisar los costos de serverless con las tablas del sistema en AWS, Azure y Google Cloud.
Las mismas tablas del sistema que atribuyen los costos también te permiten rastrearlos. Los presupuestos de la consola de cuenta generan alertas por correo electrónico cuando el gasto de serverless supera un umbral, y los paneles de control de gestión de costos te permiten seguir el consumo por producto, área de trabajo y etiqueta. Una alerta de SQL sobre el gasto de serverless de ayer cierra el ciclo en cuestión de horas.
Sin embargo, la supervisión es reactiva: informa sobre el día costoso a la mañana siguiente en lugar de prevenirlo. Esa brecha es la razón por la cual existen los dos siguientes objetivos.
Disponibilidad: La supervisión está disponible con carácter general hoy en día. Configura presupuestos y alertas de gasto en AWS, Azure y Google Cloud.
El primer control proactivo es decidir quién puede ejecutar serverless. Dicha autorización es un derecho: define qué usuarios o grupos pueden acceder a serverless, al igual que los derechos existentes controlan quién puede crear clústeres o conectarse a un almacén SQL. Serverless Compute Access Controls ya está disponible con carácter general y te permite gobernar serverless con ese modelo: permisos en un objeto de computación, no políticas añadidas a cada carga de trabajo.

Un objeto de computación serverless es el límite de permisos para serverless. Cada área de trabajo obtiene dos de manera predeterminada:
Los permisos en estos objetos son los dos que ya conoces de los almacenes: Can Use y Can Manage. Si sabes determinar quién puede conectarse a un almacén SQL, sabes determinar quién puede ejecutar serverless.
El modelo es seguro por defecto. Todos los usuarios comienzan con Can Use, por lo que activar la función no cambia nada hasta que un administrador toma medidas. Cuando un administrador actúa, el flujo es el esperado: abre la página Compute, va a la pestaña Serverless, abre un objeto de computación predeterminado, elimina a "All Users" y añade un grupo específico. Un usuario fuera de ese grupo ahora ve la opción Serverless deshabilitada en el selector de computación del notebook, y nada de lo que ya se estaba ejecutando se interrumpe.

Disponibilidad: Disponible con carácter general hoy. Consulta la documentación para AWS, Azure y Google Cloud.
El control de acceso decide si una carga de trabajo se ejecuta, no cuánto puede gastar una vez que lo hace. Cerrar esa brecha es la tercera tarea —Rate Limits— y recae en los mismos objetos de computación que acabas de ver.
La atribución mejora al mismo tiempo. Un nuevo serverless_compute_id en system.billing.usage atribuye el gasto por objeto de cómputo, por lo que "costo por objeto de cómputo" se vuelve tan fácil como "costo por equipo".
Una aclaración para cualquiera que conozca los tamaños de camiseta de DBSQL: para los notebooks y los trabajos, el tamaño es un límite máximo de autoscaling, no un tamaño de clúster fijo. Si eliges XL para un trabajo que solo necesita Medium, se asignará Medium.
Disponibilidad: Los límites de frecuencia ya están disponibles en versión Beta. Habilita los límites de frecuencia a través de tu configuración de vista previa de Databricks; consulta la documentación para AWS, Azure y Google Cloud.
Junta los tres trabajos nuevamente:
serverless_compute_id en las tablas del sistema, utilizables en presupuestos y paneles.Puedes comenzar a implementar controles de costos serverless hoy mismo. Así es como puedes empezar:
system.billing.usage más una alerta de presupuesto sobre el gasto serverless.Los controles de acceso al cómputo serverless ya están disponibles de forma general. Para profundizar hoy en la atribución y el monitoreo, la documentación de las tablas del sistema (AWS | Azure| GCP) y el etiquetado serverless (AWS | Azure | GCP) es el lugar ideal para comenzar.
(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original
Suscríbete a nuestro blog y recibe las últimas publicaciones directamente en tu bandeja de entrada.