Trazendo controles de custo conhecidos para a computação sem servidor
por Piyush Singh e Vijay Raja
No Databricks, o uso da nossa computação serverless cresceu mais de 3x no último ano, e milhares de clientes agora executam notebooks, jobs e pipelines de missão crítica nela. Conforme a adoção aumenta, a pergunta que todas as equipes de plataforma fazem primeiro fica ainda mais evidente: como obter melhor visibilidade dos custos serverless e manter os gastos dentro do orçamento?
Os clientes do Databricks que executam SQL serverless e Model Serving já atribuem gastos, governam o acesso e monitoram o consumo sem precisar mexer em nenhuma configuração de cluster. Agora, estamos trazendo essa mesma funcionalidade para a computação serverless voltada a notebooks, jobs e pipelines. Estamos fazendo com que os controles de custo serverless funcionem da forma que as equipes de plataforma já esperam.
Na computação clássica, o controle de custos ficava na infraestrutura. Você limitava os gastos limitando as máquinas: contagem de nós, tipos de instâncias, intervalos de autoscaling e políticas de cluster que restringiam o que os usuários podiam provisionar. Esses controles eram necessários porque você precisava gerenciar a infraestrutura por conta própria.
O serverless remove essas configurações, de propósito. O provisionamento, o dimensionamento e o ajuste do tamanho da infraestrutura agora são responsabilidade da plataforma, gerenciados pelo Databricks, o que representa grande parte do valor. Mas o controle de custos precisa ficar em algum lugar, então ele sobe de camada. Em vez de se vincular a máquinas, ele se vincula a pessoas e workloads. Quem tem permissão para executar o serverless, a que velocidade um workload pode gastar e onde o custo é aplicado são as perguntas que importam agora.
As equipes de plataforma descrevem suas necessidades de três maneiras:
A computação clássica respondia a isso com três ferramentas: tags para atribuir custos, direitos para controlar o acesso e limites de tamanho de cluster para limitar os gastos. O serverless precisa dessas mesmas três ferramentas. Duas delas já existem hoje, e a terceira está chegando.

Vamos mergulhar em cada um deles em ordem.
A atribuição começa com as tags. Na computação clássica, você tagueava o cluster; no serverless, você tagueia a computação, e cada DBU que essa computação executa carrega essa tag até o faturamento.
system.billing.usage, detalhado por usuário, por produto e por tag. Uma visualização de "custo por equipe" pronta para a liderança é obtida com uma única consulta, e os painéis de custo do console da conta a exibem para você sem escrever nenhuma linha de SQL.
Essa mesma tabela responde à pergunta de auditoria que você vai querer fazer antes de alterar o acesso de qualquer pessoa: quem está realmente executando o serverless hoje e quanto estão gastando? Essa é mais uma consulta, ordenada por consumo, e os exemplos completos estão na documentação das tabelas de sistema.
Disponibilidade: As tags de computação serverless para atribuição estão disponíveis atualmente em Beta.
A observabilidade já está disponível e os clientes já podem monitorar o custo serverless com tabelas de sistema no AWS, Azure e Google Cloud.
As mesmas tabelas de sistema que atribuem custos também permitem rastreá-los. Os orçamentos do console da conta enviam alertas por e-mail quando os gastos com o serverless ultrapassam um limite, e os painéis de gerenciamento de custos permitem acompanhar o consumo por produto, workspace e tag. Um alerta de SQL sobre os gastos serverless de ontem fecha o ciclo em poucas horas.
No entanto, o monitoramento é reativo: ele relata o dia caro na manhã seguinte, em vez de evitá-lo. Essa lacuna é o motivo da existência dos próximos dois objetivos.
Disponibilidade: O monitoramento já está disponível em geral. Configure orçamentos e alertas de gastos no AWS, Azure e Google Cloud.
O primeiro controle proativo é decidir quem pode executar o serverless. Essa permissão é um direito: ela define quais usuários ou grupos podem acessar o serverless, assim como os direitos existentes controlam quem pode criar clusters ou se conectar a um warehouse SQL. Os Controles de Acesso à Computação Serverless já estão disponíveis em geral e permitem governar o serverless com esse modelo: permissões em um objeto de computação, e não políticas aplicadas a cada workload.

Um objeto de computação serverless é o limite de permissão para o serverless. Cada workspace recebe dois por padrão:
As permissões nesses objetos são as duas que você já conhece dos warehouses: Can Use (Pode usar) e Can Manage (Pode gerenciar). Se você consegue entender quem pode se conectar a um warehouse SQL, você consegue entender quem pode executar o serverless.
O modelo é seguro por padrão. Cada usuário começa com a permissão Can Use, portanto, ativar o recurso não altera nada até que um administrador tome uma atitude. Quando um administrador toma uma atitude, o fluxo é o esperado: abra a página Compute, vá para a aba Serverless, abra um objeto de computação padrão, remova "All Users" e adicione um grupo específico. Um usuário fora desse grupo agora verá a opção Serverless esmaecida no seletor de computação do notebook, e nada que já estivesse em execução será interrompido.

Disponibilidade: Disponível em geral hoje. Consulte a documentação para AWS, Azure e Google Cloud.
O controle de acesso decide se um workload é executado, e não quanto ele pode gastar depois de iniciado. Preencher essa lacuna é a terceira tarefa - Limites de Taxa (Rate Limits) – e ela se aplica aos mesmos objetos de computação que você acabou de ver.
A atribuição melhora ao mesmo tempo. Um novo serverless_compute_id em system.billing.usage atribui o gasto por objeto de computação, tornando "custo por objeto de computação" tão fácil quanto "custo por equipe".
Um esclarecimento para quem conhece os tamanhos de instâncias do DBSQL: para notebooks e jobs, o tamanho é um limite máximo de autoscaling, e não um tamanho de cluster fixo. Escolha XL para um job que precisa apenas de Medium, e ele será alocado como Medium.
Disponibilidade: Os limites de taxa já estão disponíveis em Beta. Ative os limites de taxa nas configurações de pré-visualização do seu Databricks; consulte a documentação para AWS, Azure e Google Cloud.
Junte os três jobs novamente:
serverless_compute_id em tabelas do sistema, utilizáveis em orçamentos e painéis.Você pode começar a implementar controles de custos serverless hoje. Veja como começar:
system.billing.usage mais um alerta de orçamento nos gastos serverless.Os Controles de Acesso à Computação Serverless já estão geralmente disponíveis. Para se aprofundar em atribuição e monitoramento hoje, a documentação sobre tabelas do sistema (AWS | Azure| GCP) e tagging serverless (AWS | Azure | GCP) é o melhor ponto de partida.
(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original
Assine nosso blog e receba os posts mais recentes diretamente na sua caixa de entrada.