Executando o open-Jev em SQL no Databricks

No fim de semana, foram lançados modelos de decisão “System One”, como o Jev, que fazem parte de uma classe crescente de modelos de fundação capazes de produzir decisões bem calibradas a partir de um conjunto discreto de opções. Esses modelos costumam ser extremamente rápidos e baratos, permitindo uma ampla gama de aplicações em grandes volumes de dados. Os casos de uso em potencial variam desde a análise de transcrições de suporte ao cliente até a aplicação de decisões complexas em escala em todos os seus dados.

A comunidade de código aberto também tem trabalhado ativamente no lançamento de versões com pesos abertos desses modelos de decisão, como o Smelf-open-jev, o Laya e o Kev. Mas o verdadeiro poder desses modelos só é liberado quando eles podem interagir com grandes volumes de dados. Hoje, temos o prazer de compartilhar como você pode servir modelos de decisão de pesos abertos no Databricks e executá-los diretamente em seus dados governados. Você pode até mesmo acessar esses modelos diretamente do seu console SQL ou de jobs de produção no Lakeflow via ai_query. Além disso, produtos como o AI Runtime permitem que você personalize ou faça o pós-treinamento desses modelos para adaptá-los ao contexto específico da sua empresa.

Neste post, mostraremos como você pode usar um modelo como o SemIf-OpenJev, diretamente no Databricks, para classificar avaliações de hotéis como boas ou ruins.

Do notebook ao endpoint

Empacotamos o fluxo de trabalho em um Databricks Notebook importável.

Para começar, basta seguir três etapas:

1. Escolha o nome/esquema do modelo
2. Selecione Serverless GPU
3. Clique em Run All

O notebook usa o Databricks AI Runtime para fornecer computação de GPU sob demanda e serverless, sem que você precise configurar ou gerenciar a infraestrutura de GPU.

A partir daí, ele:

• Baixa os arquivos do modelo SemIf-OpenJev.
• Registra em log e cadastra o modelo usando o Express Deployments.
• Cria automaticamente um endpoint de GPU do Model Serving.

Nesse ponto, você terá o classificador de código aberto em execução por trás de um endpoint gerenciado que pode ser chamado a partir de aplicativos — ou diretamente do SQL.

Chame o modelo a partir do SQL com o ai_query

Uma parte útil dessa configuração é que o endpoint não precisa expor uma interface padrão de chat-completions.

O ai_query do Databricks oferece suporte a APIs de modelos personalizados arbitrários, para que você possa enviar o formato de solicitação estruturado do SemIf diretamente do SQL.

Por exemplo:

Agora você pode aplicar o modelo a avaliações já armazenadas no Databricks e obter a classificação selecionada e as probabilidades das opções de volta como colunas estruturadas.

Primeiros passos

Os modelos de decisão estão evoluindo rapidamente, e implementações de código aberto como o SemIf-OpenJev facilitam muito a experimentação desse padrão por conta própria.

Importe o notebook diretamente para o seu workspace do Databricks, selecione Serverless GPU e clique em Run All para começar. A partir daí, experimente com seus próprios dados, alterne para seus próprios critérios de decisão e veja onde o padrão se encaixa em seus aplicativos.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original