Anunciando a GA do Compartilhamento de Modelos de AI

Agradecimentos especiais a Daniel Benito (CTO, Bitext), Antonio Valderrabanos (CEO, Bitext), Chen Wang (Lead Solution Architect, AI21 Labs), Robbin Jang (Alliance Manager, AI21 Labs) e Alex Godfrey (Partner Marketing Lead, AI21 Labs) por suas valiosas percepções e contribuições para este blog

Temos o prazer de anunciar a Disponibilidade Geral (GA) do compartilhamento de modelos de AI no Databricks Delta Sharing e no Databricks Marketplace. Este marco ocorre após o anúncio da Visualização Pública em janeiro de 2024. Desde o lançamento da Visualização Pública, trabalhamos com novos clientes e provedores de compartilhamento de modelos de AI, como Bitext, AI21 Labs e Ripple, para simplificar ainda mais o compartilhamento de modelos de AI.

Você pode compartilhar e servir modelos de AI facilmente e com segurança usando o Delta Sharing. O compartilhamento pode ser feito dentro da sua organização ou externamente em diferentes nuvens, plataformas e regiões. Além disso, o Databricks Marketplace agora conta com mais de 75 modelos de AI, incluindo novos modelos de AI específicos para setores da John Snow Labs, OLA Krutrim e Bitext, bem como modelos de fundação como Databricks DBRX, Llama 3, AI21 Labs, Mistral e vários outros. Neste blog, analisaremos a necessidade de negócios para o compartilhamento de modelos de AI e faremos uma análise aprofundada dos casos de uso impulsionados pelo modelo de fundação Jamba 1.5 Mini da AI21 e pelos modelos da Bitext.

Os modelos de AI também já estão prontamente disponíveis diretamente no Unity Catalog, simplificando o processo para que os usuários acessem e implantem modelos de forma eficiente. Esse avanço não apenas simplifica a experiência do usuário, mas também melhora a acessibilidade dos modelos de AI, oferecendo suporte à integração e implantação contínuas em várias plataformas e regiões.

3 benefícios do compartilhamento de modelos de AI

Aqui estão os 3 benefícios do compartilhamento de modelos de AI com o Databricks que observamos com os primeiros usuários e parceiros de lançamento:

1. Menor custo: O compartilhamento de modelos de AI com o Delta Sharing reduz o custo total de propriedade ao minimizar as despesas de aquisição, desenvolvimento e infraestrutura. As organizações podem acessar modelos pré-criados ou de terceiros, compartilhados via Delta Sharing ou obtidos no Databricks Marketplace, reduzindo o investimento inicial e o tempo de desenvolvimento. O compartilhamento de modelos com o Delta Sharing em diferentes nuvens e plataformas otimiza o uso da infraestrutura, reduzindo a redundância e os custos, ao mesmo tempo em que implanta os modelos mais perto dos usuários finais para minimizar a latência.
2. Qualidade de produção: O Delta Sharing permite adquirir modelos que se adaptam aos casos de uso dos clientes e aprimorá-los com uma única plataforma para todo o ciclo de vida de AI. Ao compartilhar modelos na plataforma Databricks, os clientes ganham acesso a recursos de AI e governança para colocar qualquer modelo em produção. Isso inclui recursos de desenvolvimento de modelos de ponta a ponta, do serviço de modelos ao ajuste fino, além dos recursos de segurança e gerenciamento do Unity Catalog, como linhagem e monitoramento de Lakehouse, garantindo alta confiança nos modelos e dados associados.
3. Controle total: Ao trabalhar com modelos de terceiros, o compartilhamento de modelos de AI permite que você tenha controle total sobre os modelos e conjuntos de dados correspondentes. Como o Delta Sharing permite que os clientes adquiram pacotes de modelos inteiros, o modelo e seus dados permanecem na infraestrutura do cliente, sob seu controle. Eles não precisam enviar dados confidenciais para um provedor que está servindo o modelo em nome do cliente.

Então, como funciona o compartilhamento de modelos de AI?

O compartilhamento de modelos de AI é viabilizado pelo Delta Sharing. Os provedores podem compartilhar modelos de AI com os clientes diretamente usando o Delta Sharing ou listando-os no Databricks Marketplace, que também usa o Delta Sharing.

O Delta Sharing facilita o uso de modelos de AI onde quer que você precise deles. Você pode treinar modelos em qualquer lugar e depois usá-los em qualquer lugar, sem precisar movê-los manualmente. Os pesos do modelo (ou seja, os parâmetros que o modelo de AI aprendeu durante o treinamento) serão extraídos automaticamente para o endpoint de serviço (ou seja, o local onde o modelo "reside"). Isso elimina a necessidade de movimentações complexas de modelos após cada treinamento ou ajuste fino, garantindo uma única fonte da verdade e simplificando o processo de serviço. Por exemplo, os clientes podem treinar modelos na nuvem e na região que oferece a infraestrutura de treinamento mais barata e, em seguida, servir o modelo em outra região mais próxima dos usuários finais para minimizar a latência de inferência (ou seja, reduzir o tempo que um modelo de AI leva para processar dados e fornecer resultados).

O Databricks Marketplace, viabilizado pelo Delta Sharing, permite que você encontre e use facilmente mais de 75 modelos de AI. Você pode configurar esses modelos como se estivessem em seu sistema local, e o Delta Sharing os atualiza automaticamente durante a implantação ou atualizações. Você também pode personalizar modelos com seus dados para tarefas como o gerenciamento de uma base de conhecimento. Como provedor, você precisa de apenas uma cópia do seu modelo para compartilhá-lo com todos os seus clientes do Databricks.

Qual é o impacto nos negócios?

Desde que a Visualização Pública do compartilhamento de modelos de AI foi anunciada em janeiro de 2024, trabalhamos com vários clientes e parceiros para garantir que o compartilhamento de modelos de AI proporcione economias de custos significativas para as organizações.

"Usamos modelos de aprendizado por reforço (RL) em alguns de nossos produtos. Em comparação com os modelos de aprendizado supervisionado, os modelos de RL têm tempos de treinamento mais longos e muitas fontes de aleatoriedade no processo de treinamento. Esses modelos de RL precisam ser implantados em 3 workspaces em regiões separadas da AWS. Com o compartilhamento de modelos, podemos ter um modelo de RL disponível em múltiplos workspaces sem precisar treiná-lo novamente e sem etapas manuais complexas para mover o modelo." — Mihir Mavalankar, Engenheiro de Machine Learning, Ripple

Jamba 1.5 Mini da AI21 Labs: Trazendo modelos de AI de grande contexto para o Databricks Marketplace

A AI21 Labs, líder em AI generativa e grandes modelos de linguagem, publicou o Jamba 1.5 Mini, parte da família de modelos Jamba 1.5, no Databricks Marketplace. O Jamba 1.5 Mini da AI21 Labs apresenta uma abordagem inovadora para modelos de linguagem de AI para uso empresarial. Sua arquitetura híbrida inovadora Mamba-Transformer permite uma janela de contexto eficaz de 256K tokens, além de velocidade e qualidade excepcionais. Com a otimização do Mini para uso eficiente de computação, ele pode lidar com comprimentos de contexto de até 140K tokens em uma única GPU.

"A AI21 Labs tem o prazer de anunciar que o Jamba 1.5 Mini já está disponível no Databricks Marketplace. Com o Delta Sharing, as empresas podem acessar nossa arquitetura Mamba-Transformer, que apresenta uma janela de contexto de 256K, garantindo velocidade e qualidade excepcionais para soluções de AI transformadoras"— Pankaj Dugar, SVP e GM, AI21 Labs

Uma janela de contexto eficaz de 256K tokens em modelos de AI refere-se à capacidade do modelo de processar e considerar 256.000 tokens de texto de uma só vez. Isso é significativo porque permite que o modelo da AI21 Models lide com conjuntos de dados grandes e complexos, tornando-o particularmente útil para tarefas que exigem a compreensão e análise de informações extensas, como documentos longos ou fluxos de trabalho complexos e ricos em dados, além de aprimorar a etapa de recuperação de qualquer fluxo de trabalho baseado em RAG. A arquitetura híbrida do Jamba garante que a qualidade do modelo não caia à medida que o contexto aumenta, ao contrário do que normalmente se observa nas janelas de contexto declaradas de LLMs baseados em Transformer.

Confira este tutorial em vídeo que demonstra como obter o modelo AI21 Jamba 1.5 Mini no Databricks Marketplace, fazer o ajuste fino e servi-lo

Casos de uso

A janela de contexto de 256k do Jamba 1.5 Mini significa que os modelos podem lidar com eficiência com o equivalente a 800 páginas de texto em um único prompt. Aqui estão alguns exemplos de como os clientes do Databricks em diferentes setores podem usar esses modelos:

1. Processamento de documentos: os clientes podem usar o Jamba 1.5 Mini para resumir rapidamente relatórios longos, contratos ou artigos de pesquisa. Para instituições financeiras, os modelos podem resumir relatórios de lucros, analisar tendências de mercado a partir de documentos financeiros extensos ou extrair informações relevantes de relatórios regulatórios
2. Aprimoramento de fluxos de trabalho de agentes: para provedores de saúde, o modelo pode auxiliar em processos complexos de tomada de decisão médica, analisando várias fontes de dados de pacientes e fornecendo recomendações de tratamento.
3. Melhoria dos processos de geração aumentada de recuperação (RAG): em sistemas RAG para empresas de varejo, os modelos podem gerar respostas mais precisas e contextualmente relevantes para as consultas dos clientes, considerando uma gama mais ampla de informações sobre produtos e histórico do cliente.

Como os modelos de IA verticalizados da Bitext no Databricks Marketplace melhoram o onboarding de clientes

A Bitext oferece modelos verticalizados pré-treinados no Databricks Marketplace. Esses modelos são versões do modelo Mistral-7B-Instruct-v0.2 ajustadas (fine-tuned) para a criação de chatbots, assistentes virtuais e copilotos para o setor de varejo bancário, fornecendo aos clientes respostas rápidas e precisas sobre suas necessidades bancárias. Esses modelos podem ser produzidos para qualquer família de modelos de fundação: GPT, Llama, Mistral, Jamba, OpenELM...

Caso de uso: melhorando o onboarding com IA

Um aplicativo líder de social trading estava enfrentando altas taxas de abandono durante o onboarding de usuários. Ele aproveitou os modelos bancários verticalizados pré-treinados da Bitext para reformular seu processo de onboarding, transformando formulários estáticos em uma experiência de usuário conversacional, intuitiva e personalizada.

A Bitext compartilhou o modelo de IA verticalizado com o cliente. Usando esse modelo como base, um cientista de dados fez o ajuste fino inicial com dados específicos do cliente, como perguntas frequentes comuns. Essa etapa garantiu que o modelo compreendesse os requisitos e a linguagem exclusivos da base de usuários. Isso foi seguido por um ajuste fino avançado com o Databricks.

Depois que o modelo da Bitext passou pelo ajuste fino, ele foi implantado usando o Databricks AI Model Serving.

1. O modelo ajustado foi registrado no Unity Catalog
2. Um endpoint foi criado.
3. O modelo foi implantado no endpoint

A colaboração estabeleceu um novo padrão na interação do usuário no setor de finanças sociais, melhorando significativamente o engajamento e a retenção de clientes. Graças ao pontapé inicial proporcionado pelo modelo de IA compartilhado, toda a implementação foi concluída em duas semanas.

Confira a demonstração que mostra como instalar e ajustar o modelo de IA verticalizado da Bitext a partir do Databricks Marketplace aqui

"Ao contrário dos modelos genéricos que precisam de muitos dados de treinamento, começar com um modelo especializado para um setor específico reduz os dados necessários para personalizá-lo. Isso ajuda os clientes a implantar rapidamente modelos de IA sob medida. Estamos entusiasmados com o compartilhamento de modelos de IA (AI Model Sharing). Nossos clientes experimentaram uma redução de até 60% nos custos de recursos (menos cientistas de dados e menores requisitos computacionais) e até 50% de economia em interrupções operacionais (testes e implantação mais rápidos) com nossos modelos de IA especializados disponíveis no Databricks Marketplace." — Antonio S. Valderrábanos , Fundador e CEO da Bitext

Economia de custos da abordagem de treinamento de modelo em duas etapas da Bitext

Chamada para ação

Agora que o compartilhamento de modelos de IA está em disponibilidade geral (GA) tanto para o Delta Sharing quanto para novos modelos de IA no Databricks Marketplace, incentivamos você a:

• Confira a sessão “Unlocking new AI use cases” do Data and AI Summit para obter mais insights.
• Assista à demonstração que explica como implantar um modelo de IA pré-treinado usando o Delta Sharing e personalizá-lo para suas necessidades específicas.
• Visite o Databricks Marketplace para navegar por todas as listagens de modelos de IA disponíveis.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original