AI and Machine Learning
Accelerate your AI projects with a data-centric approach to machine learning
Mergulhe na IA e no machine learning com o Databricks
Com base em uma arquitetura aberta de lakehouse, a IA e o machine learning na Databricks permitem que as equipes de ML preparem e processem dados, simplifiquem a colaboração em toda a empresa e padronizem todo o ciclo de vida, dos testes à produção, incluindo IA generativa e grandes modelos de linguagem.
.webp)
Simplifique todos os aspectos de dados para IA e ML
Desenvolvido em uma base aberta de lakehouse graças ao Delta Lake, o Databricks ML permite que suas equipes de machine learning acessem, explorem e preparem qualquer tipo de dados em qualquer escala. Transforme recursos em pipelines de produção de autoatendimento sem depender do suporte de data engineering.
Automatize o rastreamento e a governança de experimentos
O MLflow Gerenciado rastreia automaticamente seus parâmetros de experimentos e logs, métricas, controles de versão de dados e código, bem como artefatos de modelo a cada execução de treinamento. Você pode ver rapidamente execuções anteriores, comparar resultados e reproduzir um resultado de execução anterior, conforme necessário. Depois de identificar a melhor versão de um modelo para produção, registre-a no Registro de Modelos para simplificar as transferências ao longo do ciclo de implantação.
Gerencie todo o ciclo de vida do modelo, dos dados à produção — e vice-versa
Depois que os modelos treinados forem registrados, você poderá gerenciá-los de forma colaborativa durante todo o ciclo de vida usando o Registro de Modelos. Os modelos podem ser versionados e passar por diferentes etapas, como teste, preparação, produção e arquivamento. A gestão do ciclo de vida se integra aos fluxos de trabalho de aprovação e governança de acordo com os controles de acesso baseados em funções. Comentários e notificações por e-mail fornecem um ambiente colaborativo rico para equipes de dados.
Implante modelos de ML de baixa latência e grande escala
Implante modelos com um único clique, sem se preocupar com gerenciamento de servidor ou restrições de escala. Com a Databricks, você pode implantar seus modelos como endpoints API REST em qualquer lugar com disponibilidade de nível empresarial.
Use IA generativa e grandes modelos de linguagem
Integre modelos pré-treinados existentes ao seu fluxo de trabalho, como os da biblioteca de transformadores do Hugging Face ou outras bibliotecas de código aberto. Os pipelines de transformador facilitam o uso de GPUs e permitem o batch de itens enviados para a GPU para melhor throughput.
Personalize um modelo em seus dados para sua tarefa específica. Com o suporte de ferramentas de código aberto, como Hugging Face e DeepSpeed, você pode pegar uma LLM de fundação com rapidez e eficiência e começar a treinar com seus próprios dados para ter mais precisão para seu domínio e carga de trabalho. Isso também permite controlar os dados usados no treinamento para você ter certeza de que está usando a IA com responsabilidade.
Componentes do produto
Notebooks colaborativos
Os notebooks da Databricks são compatíveis nativamente com Python, R, SQL e Scala. Os usuários podem trabalhar com as linguagens e bibliotecas de sua escolha para descobrir, visualizar e compartilhar insights.
Runtime para machine learning
Acesso com um clique a clusters de ML pré-configurados e otimizados com base em uma distribuição escalável e confiável das estruturas de ML mais populares (como PyTorch, TensorFlow e scikit-learn), com otimizações integradas para desempenho inigualável em toda a empresa.
Feature Store
Facilite a reutilização de recursos com busca baseada em linhagem de dados que aproveita fontes registradas automaticamente. Disponibilize seus recursos para treinamento com implantação de modelos simplificados que não requerem alterações na aplicação cliente.
AutoML
Empodere todos, de especialistas em ML a citizen data scientists, com uma abordagem “caixa de vidro” para AutoML, que não apenas fornece o modelo de melhor desempenho, mas também gera código para refinamento adicional por especialistas.
MLflow gerenciado
Desenvolvido em MLflow — a principal plataforma de código aberto do mundo para o ciclo de vida de ML — o MLflow Gerenciado ajuda os modelos de ML a passar rapidamente dos testes para a produção, com um alto nível de segurança, confiabilidade e escalabilidade em toda a empresa.
Disponibilização de modelos de nível de produção
Disponibilize modelos em qualquer escala com um clique, com a opção de computação serverless.
Monitoramento de modelos
Monitore o desempenho do modelo e seu impacto nas métricas de negócios em tempo real. A Databricks oferece visibilidade e linhagem de ponta a ponta, desde modelos de produção até sistemas de dados de origem. A plataforma permite analisar o modelo e a qualidade dos dados durante todo o ciclo de vida do ML e, portanto, identifica problemas antes que tenham impacto prejudicial.
Repositórios
Os repositórios permitem que os engenheiros rastreiem os fluxos de trabalho do Git na Databricks. Assim, as equipes de dados podem aproveitar fluxos de trabalho de CI/CD automatizados e portabilidade de código.
Grandes modelos de linguagem
A Databricks simplifica o acesso a LLMs e a integração deles em seus fluxos de trabalho e oferece recursos de plataforma para ajustar LLMs usando seus próprios dados, resultando em melhor desempenho de domínio.
