Mosaic AI: Criar e implantar sistemas de IA compostos com qualidade de produção

No último ano, vimos uma onda de modelos comerciais e de fundação de código aberto mostrando fortes habilidades de raciocínio em tarefas de conhecimento geral. Embora os modelos gerais sejam um bloco de construção importante, os aplicativos de IA de produção geralmente empregam sistemas de IA compostos, que aproveitam vários componentes, como modelos ajustados, recuperação, uso de ferramentas e agentes de raciocínio. Os sistemas de IA aumentam os modelos de base para gerar uma qualidade muito melhor e ajudam os clientes a levar esses aplicativos GenAI para a produção com confiança. 

Hoje, no Data and IA Summit, anunciamos vários novos recursos que fazem do Databricks Mosaic AI a melhor plataforma para a criação de sistemas de AI com qualidade de produção. Esses recursos se baseiam em nossa experiência de trabalho com milhares de empresas para colocar em produção aplicativos baseados em IA.  Os anúncios de hoje incluem suporte para modelos de fundação de ajuste fino, um catálogo corporativo para ferramentas de AI, um novo SDK para criar, implantar e avaliar agentes de AI e um gateway de AI unificado para governar o serviço de AI implantado.

Com esse conjunto de anúncios, a Databricks integrou totalmente e expandiu substancialmente os recursos de criação de modelos incluídos pela primeira vez como parte de nossa aquisição do MosaicML há um ano!

Sistemas de IA de compostos de construção e implantados

A avaliação de modelos de AI monolíticos para sistemas compostos é uma área ativa de pesquisa acadêmica e industrial. Resultados recentes descobriram que "os resultados de IA de última geração são cada vez mais obtidos por sistemas compostos com vários componentes, e não apenas por modelos monolíticos". Essas descobertas são reforçadas pelo que vemos em nossa base de clientes. Tomemos como exemplo a empresa de pesquisa financeira FactSet: quando eles implantaram um site comercial LLM para o caso de uso Texto-para-Fórmula-Financeira, só conseguiram obter 55% de precisão na fórmula gerada; no entanto, a modularização do modelo em um sistema composto permitiu que eles especializassem cada tarefa e alcançassem 85% de precisão. A plataforma Mosaic AI oferece suporte à criação de sistemas de AI por meio dos seguintes produtos:

• Ajuste fino com Mosaic AI Treinamento de modelos: Independentemente de você estar ajustando um modelo em um pequeno dataset ou pré-treinando um modelo do zero (como o DBRX) com trilhões de tokens em mais de 3.000 GPUs, fornecemos um API gerenciador e fácil de usar para o treinamento de modelos, abstraindo a infraestrutura subjacente.  Estamos vendo nossos clientes obterem sucesso com o ajuste fino de modelos de código aberto menores para componentes do sistema, a fim de reduzir o custo e a latência e, ao mesmo tempo, combinar o desempenho do GPT-4 em tarefas corporativas com dados proprietários. O treinamento de modelos capacita os clientes a se apropriarem totalmente de seus modelos e dados, permitindo que eles repitam a qualidade.  

Os usuários só precisam selecionar uma tarefa e um modelo básico e fornecer dados de treinamento (como uma tabela Delta ou um arquivo .jsonl para obter um modelo totalmente ajustado que eles possuem para sua tarefa especializada

• Shutterstock ImageAI, desenvolvido por Databricks: Nossos parceiros Shutterstock anunciaram hoje um novo modelo de texto para imagem treinado exclusivamente no repositório de imagens de classe mundial da Shutterstock usando o Mosaic AI Model treinamento. Ele gera imagens personalizadas, de alta fidelidade e confiáveis, adaptadas a necessidades comerciais específicas.
• Mosaic AI Vector Searchagora com suporte para chave gerenciadora de clientes e Hybrid Search: Recentemente, disponibilizamos o Vector Search para todos. Além disso, o Vector Search agora suporta o modelo de incorporação GTE-large, que tem bom desempenho de recuperação e suporta 8K de comprimento de contexto. O Vector Search agora também oferece suporte à chave gerenciadora de clientes para fornecer mais controle sobre os dados e à pesquisa híbrida para melhorar a qualidade da recuperação.
• Mosaic AI Agent Framework para desenvolvimento rápido: Os aplicativos RAG são os aplicativos GenAI mais populares que vemos em nossa plataforma, e hoje temos o prazer de anunciar a visualização pública de nossa estrutura de agente. Isso facilita muito a criação de um sistema de AI que é ampliado por seus dados proprietários, governados com segurança e gerenciados em Unity Catalog.
• Mosaic AI Model Serving suporte para agentes e disponibilização geral do Foundation Model API: Além dos modelos de atendimento real de tempo, agora os clientes também podem atender agentes e RAG com o modelo de atendimento. Também estamos disponibilizando o Foundation Model APIs de forma geral - os clientes podem usar facilmente os modelos da fundação, tanto acessíveis como pay-per-tokens quanto com provisionamento de taxa de transferência para cargas de trabalho de produção.
• Mosaic AI Catálogo de ferramentas e chamada de funções: Hoje anunciamos o Mosaic AI Tool Catalog, que permite aos clientes criar um registro corporativo de funções comuns, internas ou externas, e compartilhar essas ferramentas em toda a organização para uso em aplicativos de AI. As ferramentas podem ser funções SQL, funções Python, endpoint de modelo, funções remotas ou recuperadores. Também aprimoramos o modelo de atendimento para suportar nativamente a chamada de função, de modo que os clientes possam usar modelos populares de código aberto, como o Llama 3-70B, como o mecanismo de raciocínio do agente. 

O Mosaic AI Model Serving agora suporta chamadas de função e os usuários podem experimentar rapidamente funções e modelos básicos no AI Playground

Avaliação de sistemas de IA

Os modelos de AI de uso geral são otimizados para benchmarks, como o MMLU, mas os sistemas de AI implantados são projetados para resolver tarefas específicas do usuário como parte de um produto mais amplo (por exemplo, responder a um tíquete de suporte, gerar uma consulta ou sugerir uma resposta). Para garantir que esses sistemas funcionem bem, é importante ter uma estrutura de avaliação robusta para definir métricas de qualidade, coletar sinais de qualidade e iterar o desempenho. Hoje, temos o prazer de anunciar várias novas ferramentas de avaliação:

• Mosaic AI Agent Evaluation para avaliações automatizadas e humanas: A avaliação do agente permite que você defina o que são respostas de alta qualidade para o seu sistema de IA, fornecendo exemplos "dourados" de interações bem-sucedidas. Uma vez que esse parâmetro de qualidade exista, você pode explorar as permutações do sistema, ajustando modelos, alterando a recuperação ou adicionando ferramentas, e entender como as mudanças no sistema alteram a qualidade. A Avaliação de agentes também permite que você convide especialistas no assunto em toda a organização, mesmo aqueles que não têm conta no site Databricks, para revisar e avaliar os resultados do seu sistema de AI para fazer avaliações da qualidade da produção e criar uma avaliação estendida dataset. Por fim, os juízes fornecidos pelo sistema LLM podem escalonar ainda mais a coleta de dados de avaliação, classificando as respostas de acordo com critérios comuns, como precisão ou utilidade. O rastreamento detalhado da produção pode ajudar a diagnosticar respostas de baixa qualidade.

O Mosaic AI Agent Evaluation fornece métricas assistidas por IA para ajudar os desenvolvedores a formar intuições rápidas

Mosaic AI A Avaliação de Agentes permite que as partes interessadas, mesmo aquelas fora da plataforma Databricks, avaliem os resultados do modelo e forneçam classificações para ajudar a iterar a qualidade

• MLflow 2.14: MLflow é uma estrutura independente de modelo para avaliar LLMs e sistemas de IA, permitindo que os clientes meçam e acompanhem os parâmetros em cada passo. Com o MLflow 2.14, temos o prazer de anunciar o MLflow Tracing. Com o Tracing, os desenvolvedores podem registrar cada passo da inferência do modelo e do agente para depurar problemas de desempenho e criar um conjunto de dados de avaliação para testar melhorias futuras. O rastreamento é totalmente integrado com Databricks MLflow Experiments, Databricks Notebook e Databricks Inference Tables, fornecendo percepções de desempenho desde o desenvolvimento até a produção.

A Corning é uma empresa de ciência de materiais - nossa tecnologia de vidro e cerâmica é usada em muitas aplicações industriais e científicas, portanto, compreender e agir com base em nossos dados é essencial. Criamos um assistente de pesquisa de IA usando o Databricks Mosaic AI Agent Framework para indexar centenas de milhares de documentos, incluindo dados do escritório de patentes dos EUA. O fato de o nosso assistente com tecnologia LLMresponder às perguntas com alta precisão foi extremamente importante para nós. Dessa forma, nossos pesquisadores poderiam encontrar e aprofundar a tarefa em que estavam trabalhando. Para implementar isso, usamos o Databricks Mosaic AI Agent Framework para criar uma solução Hi Hello Generative IA aumentada com os dados do escritório de patentes dos EUA. Ao aproveitar a plataforma de inteligência de dados da Databricks, melhoramos significativamente a velocidade de recuperação, a qualidade da resposta e a precisão. - Denis Kamotsky, engenheiro de software principal, Corning

Controle de seus sistemas de IA

Na explosão de modelos de fundação de última geração, vimos nossa base de clientes adotar rapidamente novos modelos: O DBRX teve mil clientes fazendo experiências com ele em duas semanas após o lançamento, e estamos vendo várias centenas de clientes fazendo experiências com os modelos Llama3 lançados recentemente. Muitas empresas acham difícil oferecer suporte a esses modelos mais novos em sua plataforma em um prazo razoável, e as mudanças nas estruturas de prompt e nas interfaces de consulta dificultam a implementação. Além disso, à medida que as empresas abrem o acesso aos modelos mais recentes e melhores, as pessoas ficam entusiasmadas e criam um monte de coisas, o que pode rapidamente se transformar em uma bagunça de problemas de governança. Os problemas comuns de governança são os limites de taxa atingidos e o impacto nos aplicativos de produção, a explosão de custos à medida que as pessoas executam modelos GenAI em tabelas grandes e as preocupações com o vazamento de dados à medida que as PII são enviadas a provedores de modelos terceirizados. Hoje, temos o prazer de anunciar novos recursos no IA Gateway para governança e um catálogo de modelos com curadoria para permitir a descoberta de modelos. Os recursos incluídos são:

• Mosaic AI Gateway para governança centralizada de IA: O Mosaic AI Gateway permite que os clientes tenham uma interface unificada para gerenciar, governar, avaliar e alternar modelos com facilidade. Ele fica no modelo de serviço para permitir a limitação da taxa, as permissões e o gerenciamento de credenciais para o modelo APIs (externo ou interno). Ele também oferece uma interface única para consultar o modelo da fundação APIs para que os clientes possam facilmente swap os modelos em seus sistemas e fazer experimentos rápidos para encontrar o melhor modelo para um caso de uso. O acompanhamento do uso do gateway rastreia quem chama cada modelo API e as tabelas de inferência capturam quais dados foram enviados e recebidos. Isso permite que as equipes da plataforma entendam como alterar os limites de taxas, implementar estornos e auditar o vazamento de dados.
• Mosaic AI Guardrails: Adicione filtragem de segurança em nível de endpoint ou de solicitação para evitar respostas inseguras, ou até mesmo adicione filtros de detecção de PII para evitar o vazamento de dados confidenciais.
• Catálogo do system.IA: Selecionamos uma lista de modelos de código aberto de última geração e os gerenciamos no system.IA em Unity Catalog. Implante facilmente esses modelos usando o modelo servindo modelo Foundation APIs ou faça o ajuste fino com o modelo treinamento. Os clientes também podem encontrar todos os modelos compatíveis na página inicial do Mosaic AI acessando Configurações > Desenvolvedor > Página inicial personalizada. 

Databricks A servindo modelo está acelerando nossos projetos orientados por IA, facilitando o acesso seguro e gerenciando vários modelos abertos e SaaS, inclusive aqueles hospedados dentro ou fora do site Databricks. Sua abordagem centralizada simplifica a segurança e o gerenciamento de custos, permitindo que nossas equipes de dados se concentrem mais em inovação e menos em despesas administrativas. - Greg Rokita, AVP, tecnologia na Edmunds.com

A plataforma Databricks Mosaic AI permite que as equipes criem e colaborem em sistemas compostos de AI a partir de uma única plataforma com governança centralizada e uma interface unificada para ensinar, rastrear, avaliar, swap e implantar. Ao aproveitar os dados corporativos, as organizações podem passar da inteligência geral para a inteligência de dados. Essa evolução permite que as organizações cheguem mais rapidamente a percepções mais relevantes.

Estamos animados para ver as inovações que nossos clientes criarão em seguida!

Explore mais

• Databricks Mosaic AI
• Documentação