Ir para o conteúdo principal
Setores

Habilidades essenciais: Aprimorando o Genie Code com conhecimentos de saúde e ciências da vida

Acelere os fluxos de trabalho de saúde e ciências da vida com programação em IA e habilidades

por Zachary Phillips, May Merkle-Tan, Praneeth Paikray, Peter Hawkins, Vimal Thomas Joseph, Rohan Parikh e Yen Low

  • O que é: Vital Skills são Agent Skills de código aberto que fornecem a agentes de programação conhecimentos especializados no domínio de saúde e ciências da vida (HLS). Em particular, o Genie Code, otimizado para a plataforma completa do Databricks, beneficia-se ainda mais da orientação específica de HLS para aplicar ferramentas de domínio e práticas recomendadas.
  • Problema: Agentes gerais escrevem códigos plausíveis, mas carecem de disciplina de domínio. Eles escolhem limites clínicos silenciosamente e optam por métodos estatísticos genéricos em vez de especializados, que são essenciais no domínio.
  • Resultados: No BiomniBench (uma ferramenta de avaliação para agentes de large language model (LLM) usados em pesquisa biomédica), o Genie Code com o Vital Skills obteve pontuações mais altas em tarefas de escopo compatível que as habilidades apoiavam em comparação com o Genie Code isolado. No geral, descobrimos que o Vital Skills melhorou a consistência, a precisão e o rigor. Menos etapas e verificações foram perdidas. Houve menos novas tentativas e as ferramentas tiveram maior probabilidade de seguir o padrão da indústria.
Vital Skills: Aprimorando o Genie Code com habilidades de Saúde e Ciências da Vida

Codifique com IA em uma plataforma unificada e governada

Genie Code, nosso agente de código otimizado para o Databricks, permite que você converse em vez de programar para realizar suas tarefas de dados e IA. O mais importante é que a integração do Genie Code com o Unity Catalog garante que o agente entenda os dados da sua empresa e siga as mesmas regras de segurança e governança do restante da plataforma Databricks. Dessa forma, o Genie Code supera significativamente um agente de código líder por mais do dobro em tarefas de dados do mundo real, como análise exploratória de dados, machine/deep learning, criação de painéis, agentes, aplicativos, pacotes de automação declarativa, jobs do Lakeflow e seu agendamento.

No entanto, o Genie Code e outros assistentes de codificação de IA gerais carecem de especificidade de domínio e assumem métodos genéricos e limites clínicos que não atendem aos padrões ou práticas recomendadas de saúde e ciências da vida (HLS).

Databricks Vital Skills preenche essa lacuna fornecendo playbooks empacotados criados no padrão aberto Agent Skills. Eles equipam agentes de codificação de IA com conhecimento do setor para que os agentes saibam quais perguntas fazer, quais etapas não são negociáveis e quais ferramentas testadas usar.

O Vital Skills foi projetado para que o Genie Code aproveite ao máximo o ecossistema Databricks unificado, de modo que o código gerado não fique desconectado dos seus dados governados e você não precise configurar o provisionamento, GPUs, governança e agendamento por conta própria. Você obtém um sistema, não apenas um ambiente de testes. Com o ecossistema Databricks, você:

  • Baseia-se em todos os seus ativos de dados. A qualidade da resposta aumenta com o alcance da base de dados subjacente.
  • Tem governança de ponta a ponta. Dados, habilidades e modelos com acesso conversacional são governados, rastreados e protegidos.
  • Obtém uma plataforma abrangente. Model Serving, GPUs e aplicativos fazem parte da plataforma, sem a necessidade de comprar e conectar softwares ou serviços separados.
  • Tem total liberdade de escolha. Use qualquer nuvem, qualquer modelo, qualquer framework.
  • Projeta para produção, não apenas para testes. O mesmo trabalho em protótipo pode ser promovido para pipelines e jobs agendados do Lakeflow com rendimento real.

Testamos o Genie Code com e sem o Vital Skills no BiomniBench, um benchmark público de tarefas de análise de dados biomédicos avaliado com base em critérios escritos por especialistas. Sozinho, o Genie Code raramente falhava nas partes óbvias.

Ele analisava documentos e gerava gráficos com facilidade. No entanto, às vezes ficava aquém em metodologia e conhecimento específicos de domínio e era propenso a excesso de suposições. Com o Vital Skills, o Genie Code pontuou mais nas tarefas relevantes e não teve impacto negativo em tarefas que estavam fora do escopo do Vital Skills.

Genie Code
Pontuação média no BiomniBench (0–100), Genie Code com e sem Vital Skills. 3 execuções por tarefa, avaliadas às cegas por um juiz LLM.

Habilidades criadas por especialistas em saúde e ciências da vida, para saúde e ciências da vida

Cada habilidade começou com um engenheiro de campo que havia resolvido o problema várias vezes com clientes. Mantivemos três princípios:

  1. Pergunte antes de assumir. Quando a decisão cabe ao analista, por exemplo, um limite clínico, a habilidade pausa, oferece opções e deixa o usuário escolher.
  2. Confie em ferramentas testadas, não em código improvisado. Para trabalhos confidenciais, o Genie Code executa ferramentas e códigos testados em vez de escrever nova lógica a cada vez.
  3. Prove isso. Cada habilidade foi executada lado a lado com o Genie Code sem ela, nas mesmas tarefas.

Um catálogo que abrange a cadeia de valor de saúde e ciências da vida

O Vital Skills coloca o conhecimento prático de um bioestatístico, oficial de privacidade, bioinformata ou atuário diretamente nas mãos de cada analista, ajudando as equipes a avançarem mais rápido antes de envolver conhecimentos especializados adicionais. A equipe de campo de Saúde e Ciências da Vida do Databricks criou habilidades em todo o setor, abrangendo etapas importantes no processamento de dados, análise, gerenciamento do ciclo de vida do modelo, avaliação e geração de relatórios e slides.

Esses recursos podem ser usados diretamente ou personalizados ainda mais para atender às suas necessidades e aproveitar sua profunda experiência em sua disciplina. Esperamos que este conjunto inicial de habilidades cresça ao longo do tempo e aceitamos contribuições no repositório de código aberto.

HabilidadeO que faz
Bioinformática 
bulk-rnaseqEncontre os principais genes diferencialmente expressos a partir de contagens de RNA-seq em massa.
open-weight-modelsEmpacote, registre, valide e implante modelos HLS de peso aberto no Databricks, por exemplo, TEDDY e Geneformer.
pathway-enrichment-analysisEnriquecimento de vias para RNA-seq (ORA ou GSEA).
sc-rnaseqAnalise dados de RNA-seq de célula única a partir de arquivos .h5ad.
Clínica 
cohort-builderCrie uma coorte de pacientes reprodutível e com viabilidade verificada a partir de dados clínicos codificados + texto livre.
rwe-cohortstudyEfetividade comparativa (estudo de coorte) com ajuste de propensão (correspondência, IPW).
semantic-builderConstrua uma camada semântica como Metric Views usando 64 medidas comuns de prontuários eletrônicos (EHR) ou sinistros para que estejam prontas para painéis ou agentes
phi-deidentifierDesidentificação HIPAA Safe-Harbor de uma tabela do Unity Catalog (k-anonimato + visualização governada).
Outros 
presentation-builderCrie slides prontos para apresentação
report-writerMova seus métodos de análise e resultados para um relatório
acceleratorsEncaminhe para um acelerador ou biblioteca HLS relevante com as ferramentas certas para sua tarefa
skill-evalFaça o benchmark de uma habilidade: execuções pareadas com/sem ela, pontuação com MLflow genai.evaluate, taxonomia de vitórias/derrotas e falhas.

Vá dos dados aos resultados até um produto final sem esforço, tudo no Databricks

Vá de dados a um relatório finalizado, agente ou painel de forma integrada no Databricks.

Por exemplo, nossa skill semantic-builder define e computa métricas comumente usadas (por exemplo, tempo de permanência) em uma Metric View a partir de dados de sinistros ou registros eletrônicos de saúde. Assim que as Metric Views são definidas no Unity Catalog, você pode facilmente reutilizá-las em várias ferramentas, como painéis, Genie Agents, BI externo ou planilhas.

Semantic Builder Skill
Crie visualizações de métricas a partir de dados de sinistros e defina métricas padrão como o tempo de permanência. Uma vez definidas, reutilize-as em várias ferramentas, como painéis, Genie Agent e ferramentas externas como planilhas

Nas seções seguintes, vamos explorar algumas skills principais.

Cohort builder: comece com descrições em linguagem simples

Um analista descreve uma população em linguagem simples — "pacientes com diabetes tipo 2 e açúcar no sangue não controlado" — e a skill transforma isso em uma coorte que eles podem reproduzir, explicar e defender. A construção de coortes é um ponto de partida essencial para quase todos os esforços de análise: estudos de RWE (evidências do mundo real), viabilidade de ensaios clínicos, gerenciamento de cuidados de operadoras e pesquisas de resultados de saúde populacional.

Destaques:

  • Funciona com dados estruturados e/ou não estruturados. Ela encontra pacientes em registros codificados (diagnósticos, exames laboratoriais, medicamentos) e, opcionalmente, em anotações em texto livre e PDFs digitalizados.
  • Ela para para perguntar em pontos de decisão importantes em vez de adivinhar: qual valor de laboratório conta como "não controlado", como combinar dados estruturados e não estruturados e se deve entregar uma tabela, um notebook ou uma resposta diretamente na conversa.
  • Ela verifica a viabilidade primeiro, mostrando quantos pacientes se qualificam antes de criar qualquer coisa.
  • Ela explica sua lógica. Cada paciente vem com o motivo pelo qual foi incluído, sem expor notas clínicas brutas no resultado compartilhável.
  • Ela fornece consistentemente a mesma resposta. Em nossos testes, ela produziu a mesma coorte a cada execução; o Genie Code sem a skill escolheu uma definição diferente a cada vez. Em avaliações pareadas, o F1 de coorte em texto livre subiu de 0.62 para 1.00.
Cohort Builder
A skill cohort-builder inclui um recurso de visualização para apresentar opções de coorte e as cria de acordo com sua seleção

Depois de criar coortes, considere estudos de efetividade comparativa e compartilhe seus resultados usando o presentation-builder.

Open weight models: obtenha seu modelo de saúde favorito no Databricks

Algumas das aplicações de IA mais promissoras para ciências da vida são modelos fundamentais biológicos de código aberto que codificam transcriptômica de célula única (Geneformer, scGPT, Scimilarity, TEDDY) ou estrutura de proteínas (AlphaFold/OpenFold, Boltz2, etc.). Eles também são difíceis de colocar em execução, exigindo infraestrutura e habilidades especializadas. Como esta skill convoca o código, as bibliotecas e o provisionamento de GPU apropriados, um cientista pode ir de “preciso deste modelo" para a disponibilização de um modelo governado que pode ser realmente usado.

Ao longo do caminho, ela:

  • Pergunta em vez de adivinhar (por exemplo, como o modelo deve rodar: um endpoint em tempo real, trabalho em lote, aplicativo ou pipeline) para poder implantar o modelo adequadamente com raciocínio.
  • Torna o modelo reprodutível e auditável fixando o modelo e seus artefatos (por exemplo, código, pesos, bancos de dados de referência e licenças)
  • Disponibiliza um modelo governado que é registrado no Unity Catalog, implantado e testado com entradas científicas realistas antes da entrega.
  • Monitora o tráfego do modelo em tabelas de inferência e do sistema para rastreamento de uso/custo e, opcionalmente, aplica proteções para dados sensíveis.

Em uma tarefa de implantação de modelo de célula única TEDDY, o Genie Code sem a skill escreveu o código correto, mas perdeu etapas importantes de preparação para implantação — dependências fixadas, um teste rápido pós-registro e muito mais — concluindo 19 das 27 verificações. Com a skill, todas as 27 foram concluídas.

Avaliação: o Vital Skills aprimora os recursos de saúde e ciências da vida do Genie Code

Avaliação por skill

Incluímos uma skill para avaliar skills porque não há uma única "precisão" universal para fluxos de trabalho de saúde e ciências da vida. Para cada skill, ela cria um harness de avaliação personalizável, completo com tarefas, dados, pontuadores e resultados e comportamentos esperados apropriados, adaptados ao que cada skill foi projetada para alcançar. Nós executamos e pontuamos as tarefas de avaliação com e sem o Vital Skills.

Avaliação do BiomniBench

Também testamos o Genie Code com e sem o Vital Skills três vezes no BiomniBench, que selecionou tarefas dos principais artigos biomédicos revisados por pares.

  • Melhor onde as skills se aplicam. Nas 5 tarefas dentro do escopo das skills, a pontuação média do Genie Code em 3 tentativas subiu de 71.9 para 76.9 de 100.
  • Sem custo onde não se aplicam. Em 18 tarefas fora do escopo das skills, as pontuações se mantiveram estáveis — 69.1 sem as skills, 71.2 com elas — então as skills não atrapalham quando não são necessárias.
  • A skill certa, sempre. Com um ponteiro de uma linha para as skills nas instruções do Genie Code, ela abriu a skill correta em cada execução no escopo.

A skill certa torna os comportamentos corretos confiáveis. Em uma tarefa de coorte, a linha de base descartou silenciosamente metade dos pacientes elegíveis; com a skill, cada um deles foi recuperado.

Experimente o Genie Code com o Vital Skills

Pesquisas anteriores mostraram que o Genie Code é mais econômico do que outros agentes de código porque ele entende exclusivamente seus dados no Databricks, ignorando a típica busca aleatória.

Estenda o Genie Code com skills adicionais, como o Vital Skills para tarefas de saúde e ciências da vida. Juntas, é possível encadear uma infinidade de skills em tarefas complexas. Por exemplo, após implantar modelos de pesos abertos, crie e agende um trabalho de inferência em lote. Se for um modelo de embedding, solicite que o Genie Code crie um índice de busca vetorial.

Procure e instale as Vital Skills no Genie Code, Genie One ou Genie Code CLI. Publique essas skills no Unity Gateway para gerenciar e compartilhar com sua equipe. Experimente as que melhor se adaptam ao seu trabalho ou personalize-as de acordo com as suas necessidades. O Genie Code até ajuda você a criar novas skills. O Vital Skills é open source e aceita suas contribuições.

Blogs Relacionados da Databricks

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original

Tags relacionadas:

Soluções, Notícias, Práticas recomendadas, Saúde e ciências da vida e Aceleradores de solução

Receba os posts mais recentes na sua caixa de entrada

Assine nosso blog e receba os posts mais recentes diretamente na sua caixa de entrada.