Databricks + MosaicML

Hoje, temos o prazer de anunciar que concluímos a aquisição da MosaicML, uma plataforma líder para criar e personalizar modelos de IA generativa para sua empresa. Desde a fundação da Databricks, nossa missão tem sido democratizar dados e IA para todas as empresas. A IA generativa impulsionará a próxima onda de aplicações de dados empresariais e, junto com a MosaicML, planejamos oferecer a melhor experiência para treinar, personalizar e implantar aplicações de IA generativa.

Trabalharemos em conjunto com a equipe da MosaicML para acelerar o que consideramos os três desenvolvimentos mais importantes necessários para levar a IA generativa ao mainstream para empresas:

Democratização rápida das capacidades do modelo. Acreditamos em um futuro onde os modelos estarão amplamente disponíveis para todas as empresas. A democratização de qualquer tecnologia requer preços reduzidos e acesso ampliado. A equipe da MosaicML tem um foco intenso em melhorias de eficiência de hardware e software para reduzir drasticamente o preço de treinamento e personalização de grandes modelos de linguagem. Continuaremos a trabalhar juntos para reduzir os custos de treinamento e implantação, a fim de fornecer capacidades de modelagem de alta qualidade para uma parcela cada vez maior do mercado. A democratização também requer acesso a técnicas. Trabalharemos com a equipe de pesquisa da MosaicML para continuar inovando, de forma aberta, em arquiteturas de modelagem como as que impulsionaram os populares LLMs base MPT-7B e MPT-30B. A partir de hoje, o MPT-7B foi baixado mais de 3 milhões de vezes, tornando-o o LLM aberto mais baixado de todos os tempos.

Fazendo os modelos de IA generativa funcionarem para empresas. Todos nós nos familiarizamos com chatbots de propósito geral. Assim como os chatbots de consumo, as aplicações de IA empresariais também se beneficiam de capacidades de raciocínio e interfaces baseadas em linguagem. Mas, ao contrário dos chatbots gerais, as aplicações empresariais têm muitos requisitos adicionais. Elas devem incorporar grandes volumes de dados personalizados: informações sobre processos de negócios, clientes, contas, pedidos ou outros aspectos do seu negócio. Elas devem garantir a privacidade e a segurança de seus usuários e seus dados. As aplicações empresariais também têm pouca tolerância a alucinações ou respostas incorretas. A Databricks e a MosaicML juntas tornarão muito mais fácil para as empresas incorporarem seus próprios dados para implantar aplicações de IA seguras, protegidas e eficazes.

Unificando o stack de IA e dados. Todas as partes do ciclo de vida de desenvolvimento de modelos exigem bons dados. As empresas se diferenciarão dos concorrentes usando dados proprietários que lhes permitem criar melhores modelos e aplicações mais inteligentes. Com a MosaicML, a Databricks continuará a colocar os dados no centro da jornada de IA. Isso inclui a preparação de dados upstream, como limpeza, featurização e incorporação de dados para uso em modelos. Também inclui o uso de dados para melhorar os modelos, em um loop de reforço positivo, aprendendo com os dados gerados como os modelos estão performando e ensinando os modelos com base em resultados gerados anteriormente. Em todas as etapas do ciclo de vida de machine learning, os dados e os modelos devem ser curados conjuntamente para construir as melhores aplicações. Isso é ainda mais importante para modelos generativos, onde a qualidade e a segurança dependem muito de bons dados de treinamento.

O produto da MosaicML, que permite às empresas construir eficientemente grandes modelos de IA com seus próprios dados e processos de negócios, continuará disponível para compra direta. Daqui para frente, integraremos a MosaicML estreitamente com a Lakehouse AI Platform, aproximando o stack de treinamento dos dados do cliente e de outras capacidades da Lakehouse AI. 

Estamos animados com o futuro da Databricks e da MosaicML e como podemos ajudar nossos clientes em suas ambições de IA generativa.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original