Ir al contenido principal
Plataforma

Controles de costos más inteligentes para serverless

Lleva controles de costos conocidos a la computación sin servidor

por Piyush Singh y Vijay Raja

  • Los controles de costos sin servidor ahora van más allá de la configuración de infraestructura para incluir quién puede ejecutar cargas de trabajo, cómo se atribuyen los costos y cuánto pueden gastar.
  • Los equipos ya pueden tomar medidas hoy mismo con etiquetas de políticas de uso, tablas de sistemas de facturación, controles de acceso y alertas de presupuesto.
  • Los límites de velocidad, ya disponibles, junto con los presupuestos compartidos (próximamente) ayudan a prevenir cargas de trabajo descontroladas y a mantener el gasto del equipo dentro de los límites.

En Databricks, el uso de computación serverless ha crecido más de 3 veces en el último año, y miles de clientes ahora ejecutan notebooks, trabajos y pipelines críticos en ella. A medida que aumenta la adopción, la pregunta que todos los equipos de plataforma hacen primero cobra aún más fuerza: ¿cómo obtenemos una mejor visibilidad de los costos de serverless y mantenemos el gasto dentro de nuestro presupuesto?

Los clientes de Databricks que ejecutan SQL serverless y Model Serving ya pueden atribuir gastos, gobernar el acceso y supervisar el consumo sin tocar un solo parámetro de clúster. Ahora estamos incorporando esa misma funcionalidad a la computación serverless para notebooks, trabajos y pipelines. Estamos haciendo que los controles de costos de serverless funcionen de la manera que los equipos de plataforma ya esperan.

Serverless elevó el control de costos a otra capa

En la computación clásica, el control de costos residía en la infraestructura. Limitabas el gasto limitando las máquinas: recuentos de nodos, tipos de instancia, rangos de escala automática y políticas de clúster que delimitaban lo que los usuarios podían aprovisionar. Estos controles eran necesarios porque tenías que administrar la infraestructura por tu cuenta.

Serverless elimina esos controles a propósito. El aprovisionamiento, el escalado y el dimensionamiento adecuado de la infraestructura ahora son responsabilidad de la plataforma, gestionados por Databricks, lo cual representa gran parte de su valor. Pero el control de costos debe residir en alguna parte, por lo que se desplaza a una capa superior. En lugar de asociarse a las máquinas, se asocia a las personas y a las cargas de trabajo. Quién tiene permiso para ejecutar serverless, a qué velocidad se le permite gastar a una carga de trabajo y dónde recae el costo son las preguntas que importan ahora.

Los equipos de plataforma describen sus necesidades de tres maneras:

  • Gasto descontrolado: la ejecución de un solo notebook sin límites puede costar miles en un día, ya que no hay un tamaño de clúster ni un límite de escala automática que lo controle.
  • En las manos equivocadas: serverless está disponible para todos de forma predeterminada, incluidos los usuarios que no deberían aprovisionarlo, sin ningún derecho que regule quién puede ejecutarlo.
  • Sin rendición de cuentas: los equipos no adoptarán serverless sin la aplicación de etiquetas que tenían en la computación clásica.

La computación clásica respondía a esto con tres herramientas: etiquetas para atribuir costos, derechos para controlar el acceso y límites de tamaño de clúster para acotar el gasto. Serverless necesita las mismas tres. Dos de ellas ya existen y la tercera está en camino.

Los tres objetivos del control de costos de serverless

  1. Atribuir costos: saber a qué equipo, proyecto o usuario pertenece un DBU de serverless.
  2. Controlar el acceso: decidir quién puede ejecutar serverless en primer lugar y sobre qué.
  3. Limitar el gasto: acotar cuánto o qué tan rápido puede gastar una carga de trabajo o un equipo, de antemano y no a posteriori.

image1.png

Analizaremos cada uno de ellos en orden.

Atribuir costos

La atribución comienza con las etiquetas. En la computación clásica etiquetabas el clúster; en serverless etiquetas la computación, y cada DBU que esa computación ejecuta traslada esa etiqueta hasta la facturación.

  • Serverless Compute Tags: etiqueta un objeto de computación serverless una vez, y las cargas de trabajo que se ejecutan en él se atribuyen al equipo, proyecto o centro de costos correcto, sin necesidad de mantener un objeto de política separado.
  • Tablas del sistema: cada DBU de serverless se registra en system.billing.usage, desglosado por usuario, por producto y por etiqueta. Una vista de "costo por equipo" lista para el liderazgo se obtiene con una sola consulta, y los paneles de control de costos de la consola de cuenta la muestran sin necesidad de escribir código SQL.

image2.png

Esa misma tabla responde a la pregunta de auditoría que querrás hacer antes de cambiar el acceso de cualquier usuario: ¿quién está ejecutando realmente serverless hoy y cuánto está gastando? Esa es una consulta más, ordenada por consumo, y los ejemplos completos se encuentran en la documentación de las tablas del sistema.

Disponibilidad: Las etiquetas de Serverless Compute para la atribución están disponibles actualmente en Beta.

La observabilidad ya está disponible y los clientes ya pueden supervisar los costos de serverless con las tablas del sistema en AWS, Azure y Google Cloud.

Supervisa el gasto a medida que evoluciona: presupuestos, alertas y paneles de control

Las mismas tablas del sistema que atribuyen los costos también te permiten rastrearlos. Los presupuestos de la consola de cuenta generan alertas por correo electrónico cuando el gasto de serverless supera un umbral, y los paneles de control de gestión de costos te permiten seguir el consumo por producto, área de trabajo y etiqueta. Una alerta de SQL sobre el gasto de serverless de ayer cierra el ciclo en cuestión de horas.

Sin embargo, la supervisión es reactiva: informa sobre el día costoso a la mañana siguiente en lugar de prevenirlo. Esa brecha es la razón por la cual existen los dos siguientes objetivos.

Disponibilidad: La supervisión está disponible con carácter general hoy en día. Configura presupuestos y alertas de gasto en AWS, Azure y Google Cloud.

Controlar el acceso

El primer control proactivo es decidir quién puede ejecutar serverless. Dicha autorización es un derecho: define qué usuarios o grupos pueden acceder a serverless, al igual que los derechos existentes controlan quién puede crear clústeres o conectarse a un almacén SQL. Serverless Compute Access Controls ya está disponible con carácter general y te permite gobernar serverless con ese modelo: permisos en un objeto de computación, no políticas añadidas a cada carga de trabajo.

image4.png

Un objeto de computación serverless es el límite de permisos para serverless. Cada área de trabajo obtiene dos de manera predeterminada:

  • Default Serverless Interactive Compute: notebooks y Databricks Connect.
  • Default Serverless Automated Compute: trabajos y Spark Declarative Pipelines.

Los permisos en estos objetos son los dos que ya conoces de los almacenes: Can Use y Can Manage. Si sabes determinar quién puede conectarse a un almacén SQL, sabes determinar quién puede ejecutar serverless.

El modelo es seguro por defecto. Todos los usuarios comienzan con Can Use, por lo que activar la función no cambia nada hasta que un administrador toma medidas. Cuando un administrador actúa, el flujo es el esperado: abre la página Compute, va a la pestaña Serverless, abre un objeto de computación predeterminado, elimina a "All Users" y añade un grupo específico. Un usuario fuera de ese grupo ahora ve la opción Serverless deshabilitada en el selector de computación del notebook, y nada de lo que ya se estaba ejecutando se interrumpe.

image5.png

Disponibilidad: Disponible con carácter general hoy. Consulta la documentación para AWS, Azure y Google Cloud.

Establecer límites de gasto

El control de acceso decide si una carga de trabajo se ejecuta, no cuánto puede gastar una vez que lo hace. Cerrar esa brecha es la tercera tarea —Rate Limits— y recae en los mismos objetos de computación que acabas de ver.

  • Límites de tasa en cargas de trabajo automatizadas: límites por computación, expresados en tallas de camisetas (S, M, L, XL) que acotan cuánto o qué tan rápido puede gastar un trabajo o pipeline en lugar de solo si puede ejecutarse. Los administradores crearían objetos de computación personalizados y los compartirían por equipo, dando a cada equipo su propio límite. Este es el clásico patrón de políticas de clúster, adaptado a serverless.
  • Presupuestos compartidos para interactivos (próximamente): un límite por sesión por sí solo no puede proteger el presupuesto de un equipo, ya que muchas sesiones "Medium" siguen sumando. Nuestra dirección es un límite compartido para el grupo, con un máximo por sesión como medida de protección subyacente.

La atribución mejora al mismo tiempo. Un nuevo serverless_compute_id en system.billing.usage atribuye el gasto por objeto de cómputo, por lo que "costo por objeto de cómputo" se vuelve tan fácil como "costo por equipo".

Una aclaración para cualquiera que conozca los tamaños de camiseta de DBSQL: para los notebooks y los trabajos, el tamaño es un límite máximo de autoscaling, no un tamaño de clúster fijo. Si eliges XL para un trabajo que solo necesita Medium, se asignará Medium.

Disponibilidad: Los límites de frecuencia ya están disponibles en versión Beta. Habilita los límites de frecuencia a través de tu configuración de vista previa de Databricks; consulta la documentación para AWS, Azure y Google Cloud.

El panorama completo

Junta los tres trabajos nuevamente:

  • Atribuir costo: etiquetas nativas en el cómputo serverless más serverless_compute_id en las tablas del sistema, utilizables en presupuestos y paneles.
  • Controlar el acceso: derechos en los objetos de cómputo serverless.
  • Limitar el gasto: límites de frecuencia, compartidos entre un grupo y limitados por carga de trabajo.

Empieza hoy

Puedes comenzar a implementar controles de costos serverless hoy mismo. Así es como puedes empezar:

  1. Activar la aplicación de etiquetas: etiqueta tu cómputo serverless para que la atribución esté lista antes que nada.
  2. Configurar el monitoreo: agrega paneles de costos en system.billing.usage más una alerta de presupuesto sobre el gasto serverless.
  3. Auditar quién ejecuta cómputo serverless hoy: para que conozcas el impacto antes de cambiar el acceso.
  4. Decidir tu postura de acceso: ¿quién debería poder ejecutar consultas interactivas serverless y quién ejecuciones automatizadas?
  5. Activar los controles de acceso al cómputo serverless: habilita cómputo rápido y totalmente administrado para los grupos que elijas.

Los controles de acceso al cómputo serverless ya están disponibles de forma general. Para profundizar hoy en la atribución y el monitoreo, la documentación de las tablas del sistema (AWS | Azure| GCP) y el etiquetado serverless (AWS | Azure | GCP) es el lugar ideal para comenzar.

Más información:

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original

Etiquetas relacionadas:

Serverless y Data Visualization

Recibe las últimas publicaciones en tu bandeja de entrada

Suscríbete a nuestro blog y recibe las últimas publicaciones directamente en tu bandeja de entrada.