Crie aplicativos de IA generativa mais rapidamente com novos recursos de modelo básico

Após os anúncios que fizemos na semana passada sobre a Geração Aumentada por Recuperação (RAG), temos o prazer de anunciar grandes atualizações no Model Serving. O Databricks Model Serving agora oferece uma interface unificada, facilitando a experimentação, a personalização e a produção de modelos de fundação em todas as nuvens e provedores. Isso significa que você pode criar aplicativos de GenAI de alta qualidade usando o melhor modelo para seu caso de uso, enquanto aproveita com segurança os dados exclusivos da sua organização.

A nova interface unificada permite gerenciar todos os modelos em um só lugar e consultá-los com uma única API, independentemente de estarem no Databricks ou hospedados externamente. Além disso, estamos lançando as APIs de Foundation Model que fornecem a você acesso instantâneo a grandes modelos de linguagem (LLMs) populares, como os modelos Llama2 e MPT, diretamente no Databricks. Essas APIs vêm com opções de preços sob demanda, como pagamento por token ou throughput provisionado, reduzindo o custo e aumentando a flexibilidade. 

Comece a criar aplicativos de GenAI hoje! Acesse o AI Playground da Databricks para experimentar rapidamente modelos de IA generativa diretamente do seu workspace.

Desafios na produção de modelos de fundação

O software revolucionou todas as indústrias, e acreditamos que a IA em breve transformará o software existente para torná-lo mais inteligente. As implicações são vastas e variadas, impactando tudo, desde o suporte ao cliente até a saúde e a educação. Embora muitos de nossos clientes já tenham começado a integrar a IA em seus produtos, o crescimento para a produção em larga escala ainda enfrenta vários desafios:

• Experimentação entre modelos: cada caso de uso requer experimentação para identificar o melhor modelo entre várias opções abertas e proprietárias. As empresas precisam experimentar rapidamente vários modelos, o que inclui o gerenciamento de credenciais, limites de taxa, permissões e sintaxes de query de diferentes provedores de modelo.
• Falta de contexto empresarial: os modelos de fundação possuem amplo conhecimento, mas carecem de conhecimento interno e especialização no domínio. Usados como estão, eles não atendem totalmente aos requisitos de negócios exclusivos.
• Operacionalização de modelos: as solicitações e respostas do modelo devem ser monitoradas consistentemente para garantir qualidade, depuração e segurança. Interfaces diferentes entre modelos dificultam sua governança e integração.

Databricks Model Serving: serviço unificado para qualquer modelo de base

O Databricks Model Serving já é usado em produção por centenas de empresas para uma ampla variedade de casos de uso, incluindo Modelos de Linguagem Grandes e aplicativos de visão. Com a atualização mais recente, estamos tornando significativamente mais simples query, governar e monitorar quaisquer modelos fundamentais.

"Com a disponibilização de modelos da Databricks, podemos integrar IA generativa aos nossos processos para melhorar a experiência do cliente e aumentar a eficiência operacional. A disponibilização de modelos nos permite implantar modelos de LLM e, ao mesmo tempo, manter o controle total sobre nossos dados e modelos.” — Ben Dias, diretor de ciência de dados e analítica da easyJet

Acesse qualquer Modelo Fundamental 

O Databricks Model Serving oferece suporte a qualquer Foundation Model, seja um modelo totalmente personalizado, um modelo gerenciado pelo Databricks ou um Foundation Model de terceiros. Essa flexibilidade permite que você escolha o modelo certo para o job certo, mantendo você à frente dos avanços futuros na variedade de modelos disponíveis. Para concretizar essa visão, hoje estamos apresentando duas novas funcionalidades:

• APIs de Foundation Model: as APIs de Foundation Model fornecem acesso instantâneo a modelos de base populares no Databricks. Essas APIs eliminam completamente o incômodo de hospedar e implantar modelos de fundação, garantindo que seus dados permaneçam seguros dentro do perímetro de segurança da Databricks. Você pode começar com as APIs de Foundation Model com pagamento por token, o que reduz significativamente os custos operacionais. Como alternativa, para cargas de trabalho que exigem modelos com ajuste fino ou garantias de desempenho, você pode mudar para o Provisioned Throughput (anteriormente conhecido como Optimized LLM Serving). As APIs atualmente suportam vários modelos, incluindo modelos de bate-papo (llama-2-70b-chat), de conclusão (mpt-30B-instruct & mpt-7B-instruct) e de embedding (bge-large-en-v1.5). Vamos expandir as ofertas de modelos com o tempo.
• Modelos externos: os Modelos Externos (anteriormente AI Gateway) permitem que você adicione endpoints para acessar modelos hospedados fora do Databricks, como os modelos GPT do Azure OpenAI, os modelos Claude da Anthropic ou os modelos do AWS Bedrock. Depois de adicionados, esses modelos podem ser gerenciados no Databricks. 

Além disso, adicionamos uma lista de modelos fundamentais selecionados ao Databricks Marketplace, um marketplace aberto para ativos de dados e AI, que podem ser ajustados e implantados no Model Serving.

"As APIs do Databricks Foundation Model nos permitem consultar modelos abertos de última geração com o toque de um botão, permitindo direcionar o foco para nossos clientes e não em computes complexos. Usamos vários modelos na plataforma e ficamos impressionados com a estabilidade e confiabilidade que vimos até agora, bem como com o suporte que recebemos sempre que houve um problema." - Sidd Seethepalli, CTO e fundador, Vellum

"O produto Foundation Model APIs da Databricks foi extremamente fácil de configurar e usar, tornando nossos fluxos de trabalho de RAG muito simples. Ficamos entusiasmados com o desempenho, a throughput e os preços que vimos com este produto, e adoramos o tempo que ele nos permitiu economizar!” - Ben Hills, CEO da HeyIris.AI"

query modelos por meio de uma interface unificada 

O Databricks Model Serving agora oferece uma API e um SDK unificados e compatíveis com a OpenAI para facilitar a consulta de Modelos de Fundação. Você também pode consultar modelos diretamente do SQL por meio de funções de AI, simplificando a integração da AI em seus fluxos de trabalho de análise. Uma interface padrão permite fácil experimentação e comparação. Por exemplo, você pode começar com um modelo proprietário e depois mudar para um modelo aberto com ajuste fino para menor latência e custo, como demonstrado com a documentação gerada por IA da Databricks.

Governe e monitore todos os modelos

A nova UI e arquitetura do Databricks Model Serving permitem que todos os endpoints de modelo, incluindo os hospedados externamente, sejam gerenciados em um só lugar. Isso inclui a capacidade de gerenciar permissões, acompanhar os limites de uso e monitorar a qualidade de todos os tipos de modelos. Por exemplo, os administradores podem configurar modelos externos e conceder acesso a equipes e aplicativos, permitindo que eles consultem modelos por meio de uma interface padrão sem expor as credenciais. Essa abordagem democratiza o acesso a poderosos LLMs abertos e de SaaS dentro de uma organização, ao mesmo tempo que fornece as proteções necessárias.

"O Databricks Model Serving está acelerando nossos projetos orientados por IA, facilitando o acesso e o gerenciamento seguros de vários SaaS e modelos abertos, incluindo aqueles hospedados na Databricks ou fora dela. Sua abordagem centralizada simplifica a segurança e o gerenciamento de custos, permitindo que nossas equipes de dados se concentrem mais em inovação e menos em despesas administrativas." — Greg Rokita, AVP Technology em Edmunds.com

Personalize modelos com segurança usando seus dados privados

Construído em uma plataforma de inteligência de dados, o Databricks Model Serving facilita a extensão do poder dos modelos de fundação usando técnicas como geração aumentada por recuperação (RAG), ajuste fino com eficiência de parâmetros (PEFT) ou ajuste fino padrão. Você pode fazer o ajuste fino de modelos de fundação com dados proprietários e implantá-los sem esforço no Model Serving. O recém-lançado Databricks Vector Search se integra perfeitamente ao Model Serving, permitindo que você gere respostas atualizadas e contextualmente relevantes.

“Usando o Databricks Model Serving, implantamos rapidamente um modelo de GenAI com ajuste fino para o Stardog Voicebox, uma ferramenta de perguntas e respostas e modelagem de dados que democratiza a análise empresarial e reduz o custo dos grafos de conhecimento. A facilidade de uso, as opções de implantação flexíveis e a otimização de LLM fornecidas pelo Databricks Model Serving aceleraram nosso processo de implantação, liberando nossa equipe para inovar em vez de gerenciar a infraestrutura.” — Evren Sirin, CTO e Cofundador da Stardog

Comece a usar agora o Databricks AI Playground

Visite o AI Playground agora e comece a interagir imediatamente com poderosos modelos de fundação. Com o AI Playground, você pode solicitar, comparar e ajustar configurações como prompt de sistema e parâmetros de inferência, tudo sem precisar de habilidades de programação.

Para mais informações:

• Explore a documentação da API de Modelos Fundamentais e dos Modelos Externos.
• Descubra modelos fundamentais no Databricks Marketplace
• Inscreva-se em um webinar de IA Generativa da Databricks
• Quer resolver casos de uso de IA Generativa? Participe do Hackathon de AI Generativa da Databricks & AWS! Cadastre-se aqui
• Acesse a página da web do Databricks Model Serving