Ir para o conteúdo principal
Plataforma

Controles de custos mais inteligentes para serverless

Trazendo controles de custo conhecidos para a computação sem servidor

por Piyush Singh e Vijay Raja

  • Os controles de custo sem servidor agora vão além das configurações de infraestrutura, abrangendo quem pode executar cargas de trabalho, como os custos são atribuídos e quanto podem gastar.
  • As equipes já podem agir hoje mesmo com tags de política de uso, tabelas de sistema de faturamento, controles de acesso e alertas de orçamento.
  • Os limites de taxa, agora disponíveis, juntamente com os orçamentos Compartilhados (em breve), ajudam a evitar cargas de trabalho descontroladas e a manter os gastos da equipe dentro dos limites.

No Databricks, o uso da nossa computação serverless cresceu mais de 3x no último ano, e milhares de clientes agora executam notebooks, jobs e pipelines de missão crítica nela. Conforme a adoção aumenta, a pergunta que todas as equipes de plataforma fazem primeiro fica ainda mais evidente: como obter melhor visibilidade dos custos serverless e manter os gastos dentro do orçamento?

Os clientes do Databricks que executam SQL serverless e Model Serving já atribuem gastos, governam o acesso e monitoram o consumo sem precisar mexer em nenhuma configuração de cluster. Agora, estamos trazendo essa mesma funcionalidade para a computação serverless voltada a notebooks, jobs e pipelines. Estamos fazendo com que os controles de custo serverless funcionem da forma que as equipes de plataforma já esperam.

O serverless elevou o controle de custos para outra camada

Na computação clássica, o controle de custos ficava na infraestrutura. Você limitava os gastos limitando as máquinas: contagem de nós, tipos de instâncias, intervalos de autoscaling e políticas de cluster que restringiam o que os usuários podiam provisionar. Esses controles eram necessários porque você precisava gerenciar a infraestrutura por conta própria.

O serverless remove essas configurações, de propósito. O provisionamento, o dimensionamento e o ajuste do tamanho da infraestrutura agora são responsabilidade da plataforma, gerenciados pelo Databricks, o que representa grande parte do valor. Mas o controle de custos precisa ficar em algum lugar, então ele sobe de camada. Em vez de se vincular a máquinas, ele se vincula a pessoas e workloads. Quem tem permissão para executar o serverless, a que velocidade um workload pode gastar e onde o custo é aplicado são as perguntas que importam agora.

As equipes de plataforma descrevem suas necessidades de três maneiras:

  • Gastos descontrolados: uma única execução de notebook sem limites pode gastar milhares em um dia, porque não há tamanho de cluster ou teto de autoscaling para limitá-la.
  • Nas mãos erradas: o serverless está disponível para todos por padrão, incluindo usuários que não deveriam estar provisionando-o, sem nenhum direito para controlar quem pode executá-lo.
  • Falta de prestação de contas: as equipes não adotarão o serverless sem a aplicação de tags que tinham na computação clássica.

A computação clássica respondia a isso com três ferramentas: tags para atribuir custos, direitos para controlar o acesso e limites de tamanho de cluster para limitar os gastos. O serverless precisa dessas mesmas três ferramentas. Duas delas já existem hoje, e a terceira está chegando.

Os três objetivos do controle de custos serverless

  1. Atribuir custos: saiba a qual equipe, projeto ou usuário pertence um DBU serverless.
  2. Controlar o acesso: decida quem pode executar o serverless e em quê.
  3. Limitar gastos: estabeleça limites sobre quanto e com que rapidez um workload ou uma equipe pode gastar, antecipadamente e não depois.

image1.png

Vamos mergulhar em cada um deles em ordem.

Atribuir custos

A atribuição começa com as tags. Na computação clássica, você tagueava o cluster; no serverless, você tagueia a computação, e cada DBU que essa computação executa carrega essa tag até o faturamento.

  • Tags de computação serverless: tagueie um objeto de computação serverless uma vez, e os workloads executados nele serão atribuídos à equipe, projeto ou centro de custo correto, sem nenhum objeto de política separado para manter.
  • Tabelas de sistema: cada DBU serverless vai parar em system.billing.usage, detalhado por usuário, por produto e por tag. Uma visualização de "custo por equipe" pronta para a liderança é obtida com uma única consulta, e os painéis de custo do console da conta a exibem para você sem escrever nenhuma linha de SQL.

image2.png

Essa mesma tabela responde à pergunta de auditoria que você vai querer fazer antes de alterar o acesso de qualquer pessoa: quem está realmente executando o serverless hoje e quanto estão gastando? Essa é mais uma consulta, ordenada por consumo, e os exemplos completos estão na documentação das tabelas de sistema.

Disponibilidade: As tags de computação serverless para atribuição estão disponíveis atualmente em Beta.

A observabilidade já está disponível e os clientes já podem monitorar o custo serverless com tabelas de sistema no AWS, Azure e Google Cloud.

Acompanhe os gastos conforme eles mudam: orçamentos, alertas e painéis

As mesmas tabelas de sistema que atribuem custos também permitem rastreá-los. Os orçamentos do console da conta enviam alertas por e-mail quando os gastos com o serverless ultrapassam um limite, e os painéis de gerenciamento de custos permitem acompanhar o consumo por produto, workspace e tag. Um alerta de SQL sobre os gastos serverless de ontem fecha o ciclo em poucas horas.

No entanto, o monitoramento é reativo: ele relata o dia caro na manhã seguinte, em vez de evitá-lo. Essa lacuna é o motivo da existência dos próximos dois objetivos.

Disponibilidade: O monitoramento já está disponível em geral. Configure orçamentos e alertas de gastos no AWS, Azure e Google Cloud.

Controlar o acesso

O primeiro controle proativo é decidir quem pode executar o serverless. Essa permissão é um direito: ela define quais usuários ou grupos podem acessar o serverless, assim como os direitos existentes controlam quem pode criar clusters ou se conectar a um warehouse SQL. Os Controles de Acesso à Computação Serverless já estão disponíveis em geral e permitem governar o serverless com esse modelo: permissões em um objeto de computação, e não políticas aplicadas a cada workload.

image4.png

Um objeto de computação serverless é o limite de permissão para o serverless. Cada workspace recebe dois por padrão:

  • Computação interativa serverless padrão: notebooks e Databricks Connect.
  • Computação automatizada serverless padrão: jobs e Spark Declarative Pipelines.

As permissões nesses objetos são as duas que você já conhece dos warehouses: Can Use (Pode usar) e Can Manage (Pode gerenciar). Se você consegue entender quem pode se conectar a um warehouse SQL, você consegue entender quem pode executar o serverless.

O modelo é seguro por padrão. Cada usuário começa com a permissão Can Use, portanto, ativar o recurso não altera nada até que um administrador tome uma atitude. Quando um administrador toma uma atitude, o fluxo é o esperado: abra a página Compute, vá para a aba Serverless, abra um objeto de computação padrão, remova "All Users" e adicione um grupo específico. Um usuário fora desse grupo agora verá a opção Serverless esmaecida no seletor de computação do notebook, e nada que já estivesse em execução será interrompido.

image5.png

Disponibilidade: Disponível em geral hoje. Consulte a documentação para AWS, Azure e Google Cloud.

Definir limites de gastos

O controle de acesso decide se um workload é executado, e não quanto ele pode gastar depois de iniciado. Preencher essa lacuna é a terceira tarefa - Limites de Taxa (Rate Limits) – e ela se aplica aos mesmos objetos de computação que você acabou de ver.

  • Limites de taxa em workloads automatizados: limites por computação, expressos em tamanhos de camiseta (P, M, G, GG) que determinam quanto ou com que rapidez um job ou pipeline pode gastar, em vez de apenas definir se ele pode ser executado. Os administradores criam objetos de computação personalizados e os compartilham por equipe, dando a cada equipe seu próprio limite. Este é o padrão clássico de política de cluster, adaptado para o serverless.
  • Orçamentos compartilhados para o modo interativo (em breve): apenas um limite por sessão não consegue proteger o orçamento de uma equipe, porque muitas sessões "Médias" ainda somam um valor alto. Nossa direção é um limite compartilhado para o grupo, com um máximo por sessão como barreira de proteção abaixo dele.

A atribuição melhora ao mesmo tempo. Um novo serverless_compute_id em system.billing.usage atribui o gasto por objeto de computação, tornando "custo por objeto de computação" tão fácil quanto "custo por equipe".

Um esclarecimento para quem conhece os tamanhos de instâncias do DBSQL: para notebooks e jobs, o tamanho é um limite máximo de autoscaling, e não um tamanho de cluster fixo. Escolha XL para um job que precisa apenas de Medium, e ele será alocado como Medium.

Disponibilidade: Os limites de taxa já estão disponíveis em Beta. Ative os limites de taxa nas configurações de pré-visualização do seu Databricks; consulte a documentação para AWS, Azure e Google Cloud.

O panorama completo

Junte os três jobs novamente:

  • Atribuir custo: tags nativas em computação serverless mais serverless_compute_id em tabelas do sistema, utilizáveis em orçamentos e painéis.
  • Controlar acesso: permissões em objetos de computação serverless.
  • Limitar gastos: limites de taxa, compartilhados entre um grupo e delimitados por carga de trabalho.

Comece hoje mesmo

Você pode começar a implementar controles de custos serverless hoje. Veja como começar:

  1. Ativar a aplicação de tags: tagueie sua computação serverless para que a atribuição esteja pronta antes de qualquer outra coisa.
  2. Configurar monitoramento: adicione painéis de custo no system.billing.usage mais um alerta de orçamento nos gastos serverless.
  3. Auditar quem executa jobs serverless hoje: para entender o impacto antes de alterar o acesso.
  4. Definir sua postura de acesso: quem deve poder executar fluxos interativos serverless e quem deve executar de forma automatizada?
  5. Ativar os Controles de Acesso à Computação Serverless: habilite uma computação rápida e totalmente gerenciada para os grupos que você escolher.

Os Controles de Acesso à Computação Serverless já estão geralmente disponíveis. Para se aprofundar em atribuição e monitoramento hoje, a documentação sobre tabelas do sistema (AWS | Azure| GCP) e tagging serverless (AWS | Azure | GCP) é o melhor ponto de partida.

Saiba mais:

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original

Tags relacionadas:

Serverless e Data Visualization

Receba os posts mais recentes na sua caixa de entrada

Assine nosso blog e receba os posts mais recentes diretamente na sua caixa de entrada.