IA generativa

Resumo

• De chatbots e geradores de imagens à descoberta de medicamentos e detecção de fraudes, a IA generativa (GenAI) está transformando a tecnologia e impulsionando novos aplicativos nos setores de varejo, finanças, saúde, entre muitos outros.
• A GenAI utiliza modelos como transformadores, GANs, VAEs e sistemas de difusão para aprender padrões de grandes datasets, ajudando a gerar textos, imagens, música, códigos e até mesmo dados sintéticos.
• Embora a GenAI prometa ganhos de produtividade, inovação e novas fontes de receita, ela também gera preocupações sobre preconceito, desinformação, direitos autorais e a necessidade de uma governança responsável.

O que é IA generativa?

IA generativa, muitas vezes abreviada como GenAI, é qualquer tipo de inteligência artificial capaz de criar conteúdo novo por si só. Conteúdo de IA generativa inclui texto, imagens, vídeos, música, traduções, resumos e código. Ela também pode realizar determinadas tarefas, como responder a perguntas abertas, executar instruções quase arbitrárias e participar de chats.

As pessoas aprenderam sobre GenAI por meio de serviços como o ChatGPT e DALL-E, o que aumentou significativamente a popularidade da tecnologia.

Como funciona a IA generativa?

Os modelos de GenAI utilizam a aprendizagem profunda para identificar e analisar padrões em datasets existentes. Semelhante ao comportamento do cérebro humano, eles usam transformadores e outras arquiteturas de aprendizagem profunda para processar e "aprender" com datasets. Esses modelos de IA são treinados em grandes quantidades de dados para criar conteúdo novo e original.

Você pode fornecer ao modelo de IA um "prompt" depois de treinado, basta inserir um texto, uma imagem ou uma sequência de notas musicais. Os algoritmos então geram um conteúdo novo. Eles podem até mesmo funcionar em várias mídias, por exemplo, usando uma imagem para criar uma legenda de texto ou gerando uma imagem a partir de uma descrição de texto.

Um dos tipos comuns de modelos de IA generativa são os grandes modelos de linguagem (LLMs, na sigla em inglês), que são treinados usando texto. Esses modelos aprendem a reconhecer palavras que são usadas sequencialmente. Eles podem então formar uma frase prevendo qual palavra tem maior probabilidade de vir a seguir em uma sequência, resultando em uma saída com som natural.

Exemplos de modelos de IA generativa

Existem vários tipos de modelos de IA generativa em uso no momento. Seus métodos e casos de uso diferem, e todos juntam diversos algoritmos para processar e criar conteúdo.

Redes adversárias generativas (GANs)

Um modelo GAN contém duas redes neurais, que são ensinadas simultaneamente. Essas redes são chamadas de gerador e discriminador, e competem entre si em um cenário no formato de jogo. 

O gerador cria novas saídas, por exemplo, uma imagem baseada em um prompt. O discriminador então avalia a autenticidade desse novo conteúdo e fornece feedback ao gerador para ajudar a melhorar sua saída. O gerador está sempre tentando enganar o discriminador para que ele aceite o conteúdo gerado como "real", enquanto o discriminador está sempre se esforçando para melhorar sua capacidade de fazer a distinção correta.

Um exemplo bastante conhecido de um modelo GAN é o Midjourney (uma ferramenta GenAI de texto-para-imagem). Entretanto, os GANs não se limitam à criação de imagens; eles também produzem conteúdos de texto e vídeo. 

A competição contínua entre o gerador e o discriminador GAN significa que eles podem gerar rapidamente saídas de alta qualidade. No entanto, é importante garantir que as duas redes estejam equilibradas para evitar problemas como overfitting, colapso de modo e gradientes reduzidos.

Autoencoders variacionais (VAEs)

Os modelos de autoencoder também utilizam duas redes para interpretar e gerar dados. Neste modelo, as redes são chamadas de codificador e decodificador. A rede codificadora é ensinada para comprimir dados em um formato simplificado, ou latente, que captura os principais recursos. Enquanto isso, o modelo decodificador é ensinado para reconstruir o conteúdo a partir de dados latentes. 

VAEs utilizam espaços latentes contínuos para possibilitar variação local entre os pontos de dados de treinamento. Ao decodificar a informação comprimida ligeiramente modificada, o modelo VAE gera conteúdo semelhante, mas, em última análise, original.

Esse modelo é frequentemente usado para a geração de imagens e a detecção de anomalias, mas também pode criar texto e áudio. VAEs são rápidos na geração de saídas como imagens, mas ocorrer uma falta de detalhes em comparação com alguns outros modelos.

Autorregressivo

Os modelos de AI generativa autorregressivos criam novas amostras considerando o contexto dos elementos que foram gerados anteriormente. Eles modelam a distribuição de probabilidade condicional de cada ponto de dados e geram novos dados prevendo o próximo elemento da sequência.

Esses modelos geram dados de forma sequencial, um elemento por vez, permitindo a geração de sequências complexas. A IA autorregressiva é tipicamente usada na geração de texto (como o ChatGPT), modelos de linguagem e composição de música.

Modelos de difusão

Os modelos de difusão às vezes também são chamados de modelos probabilísticos de difusão de redução de ruído (DDPMs). Eles são ensinados com um processo de duas etapas que envolve a difusão direta e a difusão reversa. 

Durante a difusão direta, ruído gaussiano aleatório é adicionado gradualmente aos dados de treinamento, efetivamente destruindo-os. Em seguida, a IA aprende a reconstruir as amostras por meio da difusão reversa. Depois de totalmente treinados, os modelos de difusão podem criar novos dados a partir de ruído completamente aleatório.

Transformadores

Os transformadores usam um tipo específico de machine learning que os ajuda a processar as relações de longo prazo entre os dados de entrada sequenciais. Isso requer que os modelos sejam treinados em datasets maiores.

Esse conceito, conhecido como "atenção", permite que os transformadores identifiquem quais partes da entrada influenciam outras partes, por exemplo, para compreender o contexto. Isso os torna ideais para tarefas de geração de texto que envolvem o processamento de linguagem natural (NLP), que exige uma compreensão do contexto. A maioria dos programas de IA generativa mais conhecidos são exemplos de modelos baseados em transformadores.

Os transformadores são ótimos geradores de texto. Isso ocorre porque eles precisam apenas de texto para a entrada de treinamento, e há bilhões de páginas disponíveis para uso. Além da NLP, outros usos dos modelos de IA de transformadores incluem o acompanhamento de conexões e a identificação de relações dentro de código, proteínas, químicos e DNA.

Como usar modelos de IA generativa

Cada um desses tipos de modelos é adequado para casos de uso específicos, podendo incluir, por exemplo: 

• GANs: Imagens de alta resolução, síntese de vídeo e aumento de dados
• VAEs: Detecção de anomalias e geração rápida de imagens
• Modelos autorregressivos: geração de texto, modelos de linguagem e tarefas de dados sequenciais
• Modelos de difusão: síntese de imagens de alta qualidade e aplicações de remoção de ruído
• Transformadores: NLP, geração de código e IA multimodal

Ao avaliar qual desses modelos usar, uma organização deve ter casos de uso definidos e objetivos claros sobre o que deseja alcançar com cada caso de uso. Os prós e contras de cada modelo devem ser avaliados em relação a esses objetivos para selecionar o modelo que criará os melhores resultados para a situação.

Uma vez determinado o caso de uso, há várias técnicas que uma organização pode usar para avaliar e verificar a eficácia dos seus modelos de IA generativa:

• LEU: este modelo mede a sobreposição entre o texto gerado e o texto de referência. Originalmente projetado para a tradução automática, este modelo tem como foco a precisão da saída.
• ROUGE: projetado para a sumarização, este modelo avalia a recuperação da sobreposição de n-gram e avalia quanto do conteúdo de referência é capturado na saída do modelo.
• METEOR, ChrF: estes avaliam a qualidade do texto ao comparar textos gerados e de referência usando uma semântica de nível de palavra ou padrões de nível de caractere.
• Perplexidade: esta abordagem mede o quão “surpreso” o modelo fica com o próximo token (quanto menor, melhor). Menos perplexidade significa uma melhor capacidade preditiva, embora nem sempre exista uma correlação com a qualidade da geração em tarefas do mundo real.
• Fréchet Inception Distance (FID) mede a proximidade entre imagens geradas e imagens reais usando distribuições de recursos.
• O Inception Score (IS) mede a qualidade da imagem com base na confiança e na diversidade dos rótulos previstos.
• Suporte da Databricks: o MLflow permite registrar e comparar essas pontuações como parte dos pipelines de avaliação.

Qual é a função da aprendizagem profunda na IA generativa?

A adoção da aprendizagem profunda tornou os modelos de IA mais sofisticados, permitindo que modelem dados cada vez mais complexos, como a linguagem natural. A maioria dos modelos de IA generativa utilizará a aprendizagem profunda em sua estrutura interna.

O nome "aprendizagem profunda" vem do grande número de camadas de processamento usadas nesses modelos. A primeira camada de nós interconectados recebe dados de treinamento. A saída dessa camada é então usada como entrada para a próxima camada. À medida que cada camada se baseia no conhecimento obtido na camada anterior, a complexidade e a abstração aumentam, e os detalhes dos datasets podem contribuir para a compreensão de padrões de maior escala.

Enquanto os programadores precisam realizar a extração de recursos durante o machine learning tradicional, os programas de aprendizagem profunda podem construir representações úteis de dados internamente e com menos supervisão.

Além disso, as técnicas de aprendizagem profunda permitem que os modelos de IA gerenciem conceitos complexos e abstratos, como a compreensão de linguagem natural e o reconhecimento de imagens.

Existem várias maneiras de melhorar o desempenho da IA, como o aumento de dados, aprendizado por transferência e ajuste fino. O aumento de dados utiliza modelos generativos para criar novos pontos de dados sintéticos para dados de treinamento. Em seguida, isso é adicionado aos dados existentes para aumentar o tamanho e a diversidade dos datasets e, consequentemente, a precisão do modelo.

O aprendizado por transferência envolve o uso de um modelo pré-treinado para uma segunda tarefa relacionada. Ao usar a saída do modelo existente como entrada para outro problema de aprendizado, o modelo pode aplicar o conhecimento obtido na primeira instância de treinamento. Um exemplo de aprendizado por transferência seria usar um modelo ensinado para identificar carros para ensinar um modelo para identificar outros veículos. O aprendizado por transferência é útil, pois reduz a quantidade de dados necessários para ensinar um novo modelo.

Por fim, o ajuste fino é uma técnica usada para personalizar um modelo de IA por meio de treinamento com dados mais específicos. Isso permite que os modelos pré-treinados sejam refinados para uso em domínios ou tarefas específicas. Datasets de alta qualidade que sejam representativos da tarefa final são necessários para o ajuste fino.

Casos de uso de IA generativa no mundo real

A IA generativa tem uma enorme variedade de aplicações no mundo real, desde a geração de textos e imagens até o desenvolvimento de software. Vamos falar sobre alguns dos casos de uso comuns atuais.

Geração de imagens

Ferramentas como DALL-E permitem que os usuários criem novas imagens (fotos, ilustrações e até vídeos) inserindo prompts visuais ou escritos. Modelos multimodais podem criar imagens a partir de instruções de texto, permitindo que os usuários sejam tão vagos ou específicos quanto desejarem.

Por exemplo, você pode simplesmente pedir um desenho baseado em "animais" e "arco-íris" e ver o que surge. Ou você poderia fornecer instruções detalhadas, como "um filhote de rinoceronte usando óculos de sol, olhando para um arco-íris através de uma janela com cortinas roxas".

Outra opção é a transferência de estilo, onde o conteúdo de uma imagem é combinado com o estilo visual de outra. Você insere uma imagem de conteúdo (uma foto de um rinoceronte) e uma imagem de referência de estilo (um quadro do Picasso), e a IA é capaz de mesclá-las para criar uma nova imagem de rinoceronte no estilo de Picasso.

Geração de texto

Embora um dos casos de uso mais conhecidos de GenAI baseados em texto sejam os chatbots, a tecnologia agora pode ser aplicada a muitas outras tarefas. Por exemplo, ferramentas como o GrammarlyGo podem ajudar a escrever e responder a emails em um estilo corporativo profissional.

Digamos que você tenha que criar um catálogo para divulgar um produto técnico. Como ser humano, você dedicaria tempo para ler sobre os recursos e as especificações, fazer anotações detalhadas e elaborar um primeiro rascunho da narrativa. Um programa de IA generativa pode fazer tudo isso em poucos segundos depois que você fornece a informação, criando rapidamente um conteúdo pronto para uso. A geração de texto também é útil para a dublagem de filmes, fornecer legendas closed captions para conteúdo de vídeo ou traduzir conteúdo para vários idiomas.

Composição musical

A GenAI pode compor música em um determinado gênero ou emular o estilo de compositores específicos. Assim como nos geradores de imagens, você pode fornecer detalhes ou permitir total liberdade criativa, por exemplo, "uma música sobre arco-íris" ou "uma música infantil de três versos sobre arco-íris em ritmo de valsa, acompanhada de ukulele e kazoo".

Você também pode pedir à IA para juntar duas partes musicais diferentes com a transferência de estilo, por exemplo, a música "Parabéns a você" no estilo de Noel Rosa, ou até mesmo criar um remix. O Amper Music cria faixas musicais a partir de partes pré-gravadas, enquanto outras ferramentas podem criar uma trilha sonora reconhecendo objetos em vídeos.

Dados sintéticos

A GenAI também pode criar dados sintéticos utilizando algoritmos e simulações avançados. Esses datasets artificiais reproduzem as propriedades estatísticas dos dados do mundo real sem conter nenhuma informação real. A coleta de dados tradicional pode ser custosa e demorada, mas a GenAI pode fornecer às empresas volumes escaláveis de datasets estruturados e rotulados por um preço muito menor.

Além do aumento de dados usado para aprimorar o treinamento de modelos de IA, os principais casos de uso de dados sintéticos incluem: 

• Pesquisas e testes: os dados sintéticos de IA generativa podem simular ambientes do mundo real, como mercados econômicos ou condições climáticas, para testar com segurança produtos e modelos preditivos.
• Proteção de privacidade: organizações que trabalham com informações sensíveis em setores como da saúde e financeira geram dados sintéticos que removem informações de identificação pessoal (PII), preservando a relevância estatística. Isso garante que os dados possam ser analisados com segurança e precisão, e em conformidade com os regulamentos de proteção ao consumidor.
• Redução de viés: os modelos de IA treinados em dados do mundo real geralmente herdam vieses que levam a resultados injustos. Os dados sintéticos podem ajudar a equilibrar o dataset geral, garantindo que os dados representem as realidades do mundo real com mais precisão e igualdade.

Quais são as aplicações da IA generativa nas indústrias?

Com tantas maneiras de usar essa tecnologia, não é de admirar que a IA generativa para o varejo, serviços financeiros, saúde e muito mais esteja se tornando o padrão e não a exceção.

Varejo

Muitas empresas de varejo já utilizam chatbots para automatizar o atendimento ao cliente e, com o avanço da IA generativa, esses chatbots se tornarão cada vez mais sofisticados. No futuro, a IA poderá oferecer maior personalização aos clientes por meio de provadores virtuais, desenvolvimento de produto e marketing proativo. As empresas de varejo também poderiam se beneficiar do uso da GenAI para o planejamento de estoque e demanda, bem como para a identificação de phishing ou fraudes para aumentar a segurança.

Serviços financeiros

As empresas do setor de serviços financeiros (FSI) já estão investindo em GenAI para analisar grandes quantidades de dados. Um exemplo disso é o BloombergGPT LLM, que foi anunciado no início deste ano. A IA de 50 bilhões de parâmetros foi criada especificamente para relatórios e previsões de FSI.

Outros usos da IA generativa no FSI, tanto agora quanto no futuro, incluem a gestão de riscos e a detecção de fraudes, melhorando a eficiência operacional e aumentando a personalização do cliente.

Produção industrial

Desde a Revolução Industrial, o setor de manufatura tem buscado otimizar a eficiência por meio da automação. A IA generativa fornece uma nova ferramenta que impulsionará o setor mais uma vez.

A IA pode fornecer relatórios automatizados sobre operações contínuas de manufatura, identificando lacunas ou gargalos de desempenho e usando a priorização data-driven para aumentar a eficiência. Além de monitorar as operações, a IA também pode rastrear equipamentos e reduzir o tempo de inatividade com a manutenção preditiva e a solução de problemas.

Por fim, os LLMs na manufatura podem personalizar a experiência do cliente, tanto durante o atendimento quanto em determinados produtos, como veículos ou tecnologia inteligente.

Meios de comunicação

A forma como as indústrias do entretenimento utilizarão a IA tem sido bastante discutido ultimamente. No entanto, há muitas maneiras pelas quais a IA generativa pode ser usada sem afetar empregos no mercado.

A análise das preferências do usuário, padrões de consumo e sinais de redes sociais por modelos de IA pode ser usada para otimizar as recomendações de conteúdo de serviços de entretenimento. Os modelos GenAI também podem aprimorar a publicidade direcionada. No entanto, a novidade mais interessante relacionada aos LLMs no entretenimento é o potencial para narrativas imersivas e interativas, onde as decisões do espectador influenciariam a narrativa.

Cuidados de saúde

Na área da saúde, os modelos IA generativa podem ajudar na descoberta de novos medicamentos, criando gráficos para mostrar novos compostos químicos e moléculas. A AstraZeneca já usa IA para a descoberta de medicamentos e, até 2025, estima-se que mais de 30% dos novos medicamentos e materiais serão descobertos usando a tecnologia GenAI.

Esses modelos também podem sugerir novos compostos para teste, identificar candidatos adequados para ensaios clínicos e ajustar aplicativos de análise de imagens médicas com imagens sintéticas. Além disso, a IA pode ser usada para gerar planos de tratamento personalizados ou para transcrever consultas e fazer upload para históricos de saúde eletrônicos.

Como a aplicação da IA generativa pode beneficiar as empresas

Falamos sobre algumas aplicações no mundo real, mas o que a IA generativa significa para as empresas? Veja alguns dos principais benefícios.

Fluxos de receita

A tecnologia permite que as empresas criem e lancem novos produto rapidamente ao gerar novos designs e acelerar o processo de P&D. Ela pode analisar as tendências e o comportamento do cliente para apresentar novas ideias para novos fluxos de receita.

Além de inovações de produtos, a IA pode ajudar a elaborar novos planos de marketing e criar materiais promocionais. A análise das preferências dos clientes permite gerar anúncios direcionados, adaptar recomendações e personalizar produtos e serviços. A análise de dados de IA também ajuda as empresas a identificar oportunidades que as mantêm à frente de seus concorrentes, fornecendo vantagens competitivas significativas. 

Por fim, o uso da GenAI melhora o desempenho do chatbot corporativo, o que aumenta a satisfação do cliente, as vendas e a retenção.

Produtividade

Outro grande benefício é a produtividade, pois a GenAI pode ser utilizada para automatizar tarefas manuais demoradas, como a entrada de dados, e-mails de rotina e transcrições de reuniões ou chamadas.

Os modelos de IA são excelentes para resumir informações complexas, tornando-as mais fáceis para os humanos entenderem e interpretarem. Eles também podem analisar seus dados e sugerir maneiras de melhorar os fluxos de trabalho existentes para maximar a eficiência.

No suporte ao cliente, as empresas podem implantar chatbots e assistentes virtuais com tecnologia de IA para reduzir a sobrecarga dos agentes de suporte. As vantagens incluem tempos de resposta e resolução mais rápidos, além de permitir que os agentes lidem com outras tarefas enquanto a IA cuida das queries rotineiras.

Mitigação de riscos

As plataformas de IA generativa podem fornecer uma visibilidade mais aprofundada dos seus dados, bem como identificar rapidamente vulnerabilidades financeiras ou de segurança. Os programas avançados de IA podem até mesmo simular possíveis riscos comerciais, permitindo que você avalie compliance e implemente protocolos para evitar ou reduzir problemas.

Enquanto isso, a compactação de dados significa que as organizações só precisam reter dados essenciais, o que reduz os riscos de manter muitas informações pessoais.

Quais são as diferenças entre os LLMs mais comuns?

Tem muita concorrência entre os LLMs, e o número de opções disponíveis continuará aumentando. No entanto, é possível agrupar LLMs em duas categorias: serviços proprietários e modelos de código aberto. Vamos falar disso um pouco mais.

Serviços proprietários

O serviço de LLM mais conhecido é o ChatGPT, lançado pela OpenAI no final de 2022. O ChatGPT oferece uma interface de pesquisa intuitiva que aceita prompts e normalmente fornece respostas rápidas e relevantes. A API do ChatGPT também é acessível para desenvolvedores, permitindo que eles integrem o LLM em seus próprios aplicativos, produtos ou serviços. 

Outros exemplos de serviço proprietário de IA generativa são o Google Gemini e o Claude da Anthropic.

Modelos de código aberto

O outro tipo de LLM é de código aberto e disponível para uso comercial. A comunidade de código aberto rapidamente atingiu o mesmo desempenho oferecido por modelos proprietários, que podem ser auto-hospedados ou fornecidos por meio de APIs de serviço em cloud, podendo ser personalizados com ajustes finos.

LLMs populares de código aberto incluem Llama 2 da Meta e MPT da MosaicML, que foi adquirida pela Databricks.

Como escolher o melhor LLM de IA generativa

O primeiro passo é entender as diferenças entre LLMs proprietários e de código aberto, mas ainda há muito a considerar ao selecionar um LLM para aplicações de GenAI. A preparação para o futuro, o custo e o aproveitamento dos dados como uma vantagem competitiva devem ser levados em consideração ao escolher entre uma API fechada de um fornecedor terceirizado ou um LLM de código aberto (ou ajustado).

Embora os LLMs de serviço proprietários costumam ser muito poderosos, eles também podem gerar preocupações de governança devido ao seu estilo de "caixa preta", que permite menos supervisão de seus processos de treinamento e pesos. Outro risco é que os modelos proprietários podem ser descontinuados ou removidos a qualquer momento, o que quebraria todos os pipelines ou índices vetoriais existentes.

Por outro lado, os modelos de código aberto são acessíveis ao comprador indefinidamente. Esses modelos também oferecem mais personalização e supervisão, o que pode resultar em melhores compensações entre custo e desempenho. Por fim, com o ajuste fino futuro de modelos de código aberto, as organizações podem usar seus dados como uma vantagem competitiva para construir modelos melhores do que os disponíveis publicamente.

Por que há preocupações sobre a ética da AI generativa?

Qualquer forma de IA tende a levantar preocupações éticas, à medida que os seres humanos lidam com as implicações das máquinas inteligentes. Bem, então quais são os princípios éticos da IA generativa? Para começar, essa tecnologia é relativamente nova e também está evoluindo muito rapidamente. Nem mesmo os desenvolvedores têm certeza de onde isso vai parar, mas, à medida que os modelos aprendem a produzir respostas mais parecidas com as humanas, fica cada vez mais difícil detectar imprecisões. 

Um problema identificado nos modelos de GenAI são as "alucinações", que é quando os chatbots basicamente inventam informações. Isso pode ter consequências graves se um modelo estiver sendo usado para coisas como aconselhamento médico ou relatórios precisos.

Além disso, se vieses inconscientes ou deliberados, como racismo ou homofobia, estiverem contidos nos datasets de treinamento, eles podem ser codificados nos modelos e influenciar os resultados de uma IA. 

Além da desinformação ou do conteúdo potencialmente prejudicial, há uma preocupação comum com as "deepfakes", que são imagens ou vídeos forjados digitalmente. Os cibercriminosos também podem usar a IA generativa para imitar o estilo de um remetente confiável e escrever mensagens que solicitem senhas ou dinheiro.

Além disso, muitas vezes é difícil rastrear as saídas dos modelos para descobrir os autores, o que gera problemas de direitos autorais e plágio. Isso fica ainda mais complicado pela falta de informações sobre determinados datasets, por exemplo, com ferramentas de geração de imagens, os usuários podem solicitar algo “no estilo do artista X”, quando o “artista X” nunca consentiu que suas imagens fizessem parte de um dataset.

Outras preocupações em torno da GenAI e da ética incluem a sustentabilidade, já que a tecnologia requer um enorme poder computacional e energia elétrica, bem como a forma como ela pode dar credibilidade às alegações de que as reportagens genuínas são falsas, incentivando a desconfiança em relação a palavras e imagens online.

Como você pode testar a qualidade da IA?

Conforme comentamos na seção anterior, a IA generativa pode, às vezes, produzir resultados imprecisos ou de baixa qualidade. Quando você estiver pesquisando ferramentas e estruturas de IA generativa, as métricas de desempenho serão exibidas nos materiais de vendas, mas é sempre melhor confirmar você mesmo essas informações.

Os desenvolvedores e engenheiros devem testar o conteúdo gerado por IA quanto à qualidade e diversidade para garantir que o modelo esteja se comportando conforme o programado. É relativamente simples ver se há uma declaração "factual" errônea, no entanto, é mais complicado avaliar a qualidade das produções artísticas ou criativas, que são subjetivas.

Ferramentas como a API de avaliação MLflow da Databricks podem ser usadas para rastrear os parâmetros e modelos de GenAI para verificar se os resultados atendem suas necessidades. Isso também pode ser usado junto com uma avaliação humana, por exemplo, utilizar seu próprio discernimento para avaliar se uma música ou arte gerada é interessante. As métricas de avaliação mais objetivas incluem o Inception Score, Fréchet Inception Distance (FID) e a verdade fundamental.

Verdade fundamental

Esse método de avaliação envolve a identificação da verdade fundamental na qual a IA generativa foi treinada. A verdade fundamental é essencialmente a resposta “correta” a uma query, com base em informações que são confirmadas como verdades factuais. Ela deve estar contida nos datasets de treinamento que ensinam a IA a chegar a um resultado confiável.

Por exemplo, se você estivesse treinando um modelo para reconhecer conteúdo impreciso, precisaria de um grande dataset de texto e imagens classificados como verdadeiros ou falsos. Os desenvolvedores podem medir a precisão das respostas e previsões tomando esse dataset como padrão.

No entanto, como os designers de IA são os que constroem a verdade fundamental, você depende da diligência deles para garantir que a informação esteja correta. O ideal é que a verdade fundamental venha diretamente dos usuários no formato de feedback.

Databricks Lakehouse Monitoring pode ajudar os profissionais de IA a garantir que seus ativos sejam de alta qualidade, precisos e confiáveis. Relatórios proativos e ferramentas unificadas fornecem uma visibilidade completa de dados e modelos para a detecção simples de anomalias, e as métricas integradas de modelo como juiz podem ser aumentadas com suas métricas de qualidade personalizadas.

Métricas de qualidade de IA

As métricas de qualidade de IA são medidas usadas para determinar o desempenho de um modelo de IA generativa. Além das métricas tradicionais de ML, como precisão e recall, métricas personalizadas específicas para GenAI permitem uma avaliação importante desses modelos.  

Por exemplo, a métrica Fréchet Inception Distance (FID) avalia a qualidade das imagens criadas por IA generativa. Ao comparar a distribuição das imagens geradas com a das imagens reais usadas para ensinar a ferramenta, é possível calcular a distância entre a distribuição das ativações para algumas camadas profundas em um classificador. Uma pontuação de 0,0 é o melhor resultado para o FID.

A Databricks comprovou o valor de usar LLMs como um juiz referente à qualidade dos chatbots. Essas técnicas de ponta resultaram na nova funcionalidade do MLflow modelo como um juiz, que pode comparar a saída de texto de diferentes modelos de IA para avaliar a toxicidade e a perplexidade.

Desafios atuais da AI generativa

Embora a tecnologia esteja se desenvolvendo rapidamente, ainda existem alguns desafios significativos para o uso de modelos de IA generativa.

Escalonamento da infraestrutura

Um dos desafios-chave na implantação bem-sucedida da GenAI é a escalabilidade. Como aprendemos, esses modelos precisam de uma enorme quantidade de dados imparciais e de alta qualidade para gerar os resultados desejados.

A infraestrutura e o poder de computação em larga escala são necessários para o desenvolvimento e manutenção de modelos de IA generativa, o que, por sua vez, requer gastos de capital significativos e conhecimento técnico. Isso levou a uma demanda crescente por soluções escaláveis.

Complexidades de otimização

Os profissionais de machine learning também podem enfrentar uma série de desafios de baixo nível que resultam da necessidade de otimizar modelos generativos de IA. Exemplos dessas complexidades podem incluir o colapso de modo e o desaparecimento de gradientes.

O colapso de modo é um tipo de falha que ocorre nos modelos GAN quando o gerador aprende a repetir uma saída confiável que o discriminador aceitou em vez de produzir saídas mais variadas. Se o discriminador não aprender a rejeitar saídas semelhantes e repetidas, cada iteração subsequente do gerador passará por um pequeno conjunto de tipos de saída.

O desaparecimento de gradientes pode ocorrer quando camadas adicionais com determinadas funções de ativação são adicionadas às redes neurais e fazem com que o gradiente da função de perda se torne muito pequeno. Um gradiente muito pequeno impede que os pesos e os vieses das camadas iniciais sejam atualizados corretamente, fazendo com que os elementos-chave do reconhecimento de dados de entrada falhem e a rede se torne imprecisa.

Na GenAI, outra complexidade é adaptar grandes modelos a tarefas corporativas especializadas sem usar dados de rótulo custosos ou ciclos repetidos de ajuste fino. Uma nova abordagem é a Otimização adaptativa em tempo de teste (TAO), desenvolvida pela equipe de pesquisa do Databricks Mosaic AI, que usa entradas sem rótulo, compute em tempo de teste e aprendizado por reforço para ajustar modelos com eficiência sem aumentar os custos de inferência.

Dados desarticulados, ferramentas de ML e IA

Ferramentas separadas e mal integradas para dados, machine learning clássico e IA generativa também podem criar desafios para os cientistas de dados.

Dados de alta qualidade são essenciais para o treinamento de modelos de machine learning e GenAI, e os resultados dos modelos de ML e GenAI precisam ser realimentados nos pipelines de dados. A governança, a qualidade e a implementação precisam ser abordadas de forma holística nos dados e no ML/AI, e plataformas separadas podem resultar em atrito, ineficiência e custos adicionais para as organizações.

A Databricks Data Intelligence Platform é compatível com cargas de trabalho de dados, ML clássico e IA generativa, além de compreender o uso dos dados em todo o processo. Ao combinar a estrutura aberta e unificada do lakehouse com a IA generativa, a Data Intelligence Platform otimiza o desempenho, simplifica a experiência do usuário e oferece governança e privacidade robustas e seguras.

O Model Context Protocol (MCP) também trabalha esse desafio, oferecendo aos LLMs uma maneira segura e padronizada de acessar os dados e as ferramentas de que precisam para agir no contexto corporativo. Como um protocolo aberto para criar conexões bidirecionais entre assistentes de IA e sistemas de dados, o MCP permite que os agentes chamem funções, recuperem conhecimento e se integrem a pipelines sem criar novos silos. Na Databricks, o MCP é emparelhado com o Mosaic AI para a criação e avaliação de agentes, e o Unity Catalog para a governança, ajudando as empresas a capacitar a IA com contexto, mantendo a segurança e a observabilidade.

Como será o futuro da IA generativa?

De acordo com a Gartner, a IA generativa deverá ter um impacto semelhante ao da máquina a vapor, da eletricidade e da internet, tornando-se, por fim, uma "tecnologia de uso geral". Isso se deve ao fato de haver muitas aplicações potenciais para a tecnologia.

Por exemplo, atividades que representam até 30% das horas trabalhadas atualmente na economia dos EUA poderiam ser automatizadas até 2030. Também veremos um aumento no número de fornecedores de software integrando recursos de IA em suas ferramentas.

É compreensível que os seres humanos estejam preocupados com a perda de empregos para as máquinas, mas o futuro da IA também poderá criar um grande número de novas funções. Por exemplo, os humanos ainda precisarão desenvolver e ensinar os sistemas de GenAI, incluindo a escolha do modelo mais adequado para uma determinada tarefa e a coleta de dados de treinamento para avaliar os resultados.

A rápida adoção de tecnologias como o ChatGPT revela os desafios de usar a GenAI com responsabilidade. Países e estados já estão entendendo que precisam de novos protocolos legais e de segurança para lidar com questões relacionadas a direitos autorais e ameaças à segurança cibernética, e essas tecnologias provavelmente serão regulamentadas no futuro.

Enquanto isso, a Databricks Data Intelligence Platform tem IA generativa integrada, facilitando a manutenção da segurança e governança dos dados, bem como o rastreamento da qualidade dos dados e o monitoramento e ajuste fino dos modelos.

À medida que as arquiteturas e os algoritmos de treinamento se tornarem mais avançados, os modelos de AI generativa se tornarão mais poderosos. As organizações devem se lembrar de que com o poder vem a responsabilidade, e devem encontrar o equilíbrio entre a automação e o envolvimento humano.

Onde posso encontrar mais informações sobre a IA generativa?

Existem muitos recursos disponíveis para encontrar mais informações sobre IA generativa, por exemplo:

Treinamento

• Fundamentos da IA generativa: faça este curso gratuito da Databricks e aprenda sobre os fundamentos da IA generativa.
• LLMs: saiba mais sobre os modelos básicos desde o início (edX e Treinamento Databricks). Este treinamento gratuito da Databricks aborda os detalhes dos modelos básicos de LLMs.
• LLMs: aprimore suas habilidades com o curso Aplicação por meio da produção (edX e Databricks Training). Este treinamento gratuito da Databricks foca em como criar aplicações baseadas em LLMs com as estruturas mais recentes e conhecidas.

Sites

• Databricks AI e Machine Learning, página

e-books

• A Grande Aceleração: perspectivas de CIOs sobre a IA generativa: leia este relatório da MIT Technology Review que traz as opiniões de mais de 600 CIOs sobre a IA generativa
• Redefina o que é possível com a IA generativa: comece com 52 casos de uso
• e-book: The Big Book of MLOps

Blogs técnicos

• Criando aplicativos RAG de alta qualidade com a Databricks
• Melhores práticas para a avaliação de aplicações de Geração aumentada de recuperação (RAG) de LLMs
• Como usar o MLflow AI Gateway e o Llama 2 para construir aplicativos de IA generativa (e obter maior precisão usando RAG com seus próprios dados)
• Implante seu chatbot de LLM com a geração aumentada de recuperação (RAG), modelos de base e Vector Search
• LLMops: tudo o que você precisa saber para gerenciar LLMs

Você também pode entrar em contato com a Databricks para agendar uma demonstração e conversar sobre seus projetos de LLM, ou ler mais sobre os produtos e serviços da Databricks para LLMs.