Ir para o conteúdo principal
Engenharia

De correções pontuais a ganhos mensuráveis: melhorando a precisão da extração de documentos com ai_extract e o MLflow Prompt Registry

Como melhorar a precisão do ai_extract, versionar prompts e esquemas, avaliar resultados e como o Genie Code pode automatizar tudo isso para você

por Kristen Drexinger e Seshendranath Balla

  • Você não precisa fazer tudo sozinho: O Genie Code for document processing automatiza o essencial desse fluxo de trabalho, pontuando a extração campo a campo com base nos seus dados rotulados, propondo correções de esquema e instrução como diffs revisíveis e executando novamente a avaliação para mostrar os resultados de antes e depois.
  • Melhore a precisão do ai_extract com a alavanca certa: Use descrições de esquema para regras em nível de campo, prompts para lógica em nível de documento, modo de precisão para complexidade estrutural e citações para diagnosticar erros.
  • Faça o versionamento de prompts e esquemas com o MLflow Prompt Registry: Acompanhe a lógica de extração como artefatos versionados e implante ou reverta alterações por meio de aliases em vez de editar o código do pipeline.
  • Avalie as alterações antes da promoção: Compare candidatos com uma referência fixa revisada por humanos enquanto acompanha a precisão, a cobertura e a variação entre execuções.

A extração de documentos geralmente começa com um loop simples: identificar um campo incorreto, ajustar o prompt ou o esquema, reexecutar o documento e verificar o resultado.

Essa abordagem se torna instável à medida que campos e formatos de documentos se multiplicam. Uma alteração pode corrigir um campo enquanto introduz regressões em outro lugar, funcionar para um layout mas falhar em outro, ou parecer melhor simplesmente devido a variações normais entre as execuções de LLM.

Vimos isso em um projeto recente que extraiu cerca de 40 campos estruturados de documentos de pedidos enviados por parceiros em dezenas de layouts de PDF. Os revisores corrigiram e aprovaram os valores extraídos antes de seguirem no fluxo, fornecendo uma base de verdade revisada por humanos para avaliação.

O desafio não era fazer com que o ai_extract retornasse os campos. Era melhorar a extração sem degradar o sistema como um todo.

Por exemplo, o campo revision às vezes retornava termos de status como ORIGINAL em vez de um número revision ou em branco. Uma pequena alteração no esquema reduziu os erros para esse campo pela metade. Mas, em todos os campos, os erros totais de extração aumentaram 9%.

A lição foi clara: melhorar um campo não significa necessariamente melhorar o sistema de extração.

O pipeline já tinha a maioria das peças necessárias para avaliar alterações sistematicamente. Os documentos eram armazenados no object storage e passavam por um pipeline Lakeflow SDP usando o Auto Loader. O Bronze fazia o parsing dos documentos com ai_parse_document, o Silver extraía campos estruturados com ai_extract e o Gold publicava os resultados como uma materialized view. As predições eram sincronizadas com o Lakebase, onde um Databricks App permitia que os revisores corrigissem e aprovassem os campos, e o Lakebase CDC retornava essas aprovações para o lakehouse.

Pipeline de Extração de Documentos
Figura 1. Um pipeline de extração de documentos com revisão humana. Prompts e esquemas são codificados estaticamente no Silver, enquanto as correções dos revisores ainda não são usadas para avaliar as alterações de extração.

Duas peças estavam faltando no loop de feedback. As aprovações dos revisores estavam disponíveis, mas não eram reunidas em um dataset de avaliação reutilizável. Ao mesmo tempo, prompts e esquemas estavam incorporados diretamente no código do pipeline, então até mesmo uma pequena alteração na extração exigia um deploy de código.

Abordamos ambos os problemas criando um fluxo de trabalho em torno de três perguntas: O que devemos alterar? Como devemos versionar? E quais evidências são suficientes para promovê-lo?

Esta postagem cobre três partes desse fluxo de trabalho:

  • Melhore o ai_extract com a alavanca certa: Use esquemas para regras de campos, instruções globais para lógica de documentos, modo de precisão para estruturas difíceis e citações para diagnosticar erros.
  • Prompts e esquemas de versão: Armazene ambos no MLflow Prompt Registry e use aliases para fazer deploy ou reverter configurações sem editar o código do pipeline.
  • Avalie antes da promoção: Compare candidatos em uma base de verdade fixa e revisada por humanos, acompanhando acurácia, cobertura e variação entre execuções.

Juntas, essas etapas criam um caminho repetível de uma alteração de extração proposta para a produção, com evidências de que a alteração melhora o sistema como um todo.

Comece com o Genie Code

O resto desta postagem apresenta as práticas que recomendamos e por que cada uma delas é importante. Você não precisa implementar todas elas por conta própria. O Genie Code para processamento de documentos cria o job do Lakeflow (ai_parse_document, ai_classify e ai_extract com citações e scores de confiança) e automatiza o núcleo deste fluxo de trabalho com um loop de avaliação e subida de encosta:

  • Medir: Avalia o campo de extração atual, campo por campo, em comparação com sua tabela rotulada, para que você possa ver quais campos são fracos.
  • Melhorar: Propõe uma correção, geralmente uma descrição de campo mais precisa, como um diff revisável que você aprova antes que seja aplicado.
  • Reavaliar: Reexecuta o conjunto de avaliação após cada alteração aceita e mostra os resultados de antes e depois, para que as regressões fiquem tão visíveis quanto as melhorias.

Por exemplo, você pode perguntar ao Genie Code: "Avalie a extração em relação à minha tabela rotulada e me diga quais campos são mais fracos", seguido de "A acurácia no campo de revisão pode ser maior. Melhore iterativamente o esquema e as instruções, reexecute a avaliação e mostre-me o antes e o depois."

Compreender os fundamentos ainda é importante. Isso ajuda você a julgar as alterações propostas pelo Genie Code, decidir quando um resultado é bom o suficiente para promover e estender o fluxo de trabalho para produção, por exemplo, versionando prompts e esquemas no MLflow Prompt Registry. Cada seção abaixo explica uma prática recomendada e observa como o Genie Code pode lidar com ela para você.

Escolha a alavanca ai_extract certa

O ai_extract recebe três entradas: o documento processado, um esquema JSON e instruções globais opcionais.

O esquema e as instruções atendem a diferentes propósitos:

  • Esquema: Define campos de saída e regras de extração específicas de campos.
  • Instruções globais: Fornecem orientações que se aplicam a todo o documento.

O resultado é um valor estruturado com uma entrada para cada campo de esquema. Você pode acessar campos individuais diretamente, por exemplo: extracted:response.revision.value.

Coloque regras específicas de campos no esquema.

Comece com a estrutura do esquema. Quando um campo tiver um conjunto fechado de valores válidos, use uma restrição enum em vez de listar os valores permitidos na descrição. Use tipos numéricos para números e inteiros, e use arrays ou objetos aninhados para estruturas repetidas.

Em seguida, use descrições de esquema para regras que os tipos por si só não conseguem expressar, como:

  • Preservar zeros à esquerda em identificadores como 004
  • Excluir termos de status como ORIGINAL, NEW ou REVISED
  • Parar um identificador no primeiro caractere inválido
  • Retornar null quando um valor não estiver presente

CHAVE: Manter as regras de campo no esquema torna o contrato de extração mais fácil de inspecionar e evita que o prompt global se torne uma lista de exceções não relacionadas.

Use o prompt global para raciocínio em nível de documento

Reserve o prompt global para regras que se aplicam a todo o documento, incluindo:

  • Contexto do documento ou domínio
  • Prioridade de origem, como cabeçalhos sobre rodapés
  • Regras de consistência entre campos
  • Instruções para combinar linhas em arrays
  • Regiões do documento que não devem ser usadas como fontes

Por exemplo, se os nomes das entidades forem extraídos por engano de rodapés padrão ou blocos de contato de terceiros, uma instrução FORBIDDEN-SOURCES poderá dizer ao modelo para ignorar essas regiões.

Uma regra útil é: Se a regra define um campo, coloque-o no esquema. Se ela define como interpretar o documento, coloque-o no prompt.

Automatize com o Genie Code: O loop de subida de encosta segue o mesmo princípio. Suas correções propostas geralmente aprimoram a descrição de um campo no esquema e são exibidas como um diff para você aprovar antes de serem aplicadas.

Mantenha a formatação determinística no downstream.

Nem toda transformação precisa de um LLM. Trate maiúsculas/minúsculas, remoção de separadores, preenchimento com zeros e mapeamentos como TELEVISION para TV com SQL ou outra transformação determinística quando possível.

CHAVE: Use o modelo para interpretar o documento; use código para normalizar a saída.

Use o modo de precisão para problemas estruturais.

Às vezes, as instruções são claras, mas o documento é difícil de acompanhar. Esquemas grandes, itens de linha repetidos, tabelas complexas e layouts de várias páginas podem dificultar o alinhamento dos valores com as linhas corretas.

nesses casos, ai_extract a versão 2.1 oferece o modo de precisão:

O modo de precisão traz recursos avançados de extração para casos de uso mais exigentes. Com o prompt e o esquema mantidos constantes, ele tende a ajudar mais em estruturas repetidas e reduz a extração excessiva (quando o modelo retorna um valor onde a resposta correta está em branco).

Diagnostique a falha antes de alterar a configuração:

  • Se o modelo não entender o significado de um campo, altere o prompt ou o esquema.
  • Se ele entender o campo, mas tiver dificuldades com a estrutura de dados, teste o modo de precisão.

As abordagens são complementares. Em nossos testes, a regra de esquema corrigiu um campo que o modelo havia entendido mal, enquanto o modo de precisão melhorou a extração de campos em tabelas complexas.

Use citações para entender por que um campo está incorreto.

Quando um valor extraído está incorreto, as citações ajudam a mostrar onde o modelo encontrou a resposta:

As citações fornecem caixas delimitadoras em nível de campo que podem ser mapeadas de volta para intervalos de elementos no documento de origem. Isso ajuda a distinguir entre dois tipos diferentes de erros:

  • Erro de extração: O modelo selecionou a região incorreta, entendeu mal o campo ou retornou um valor que não é suportado pela origem.
  • Divergência de rotulagem: O modelo fez a extração do local correto, mas a resposta esperada segue uma convenção de revisão diferente.

Estes exigem correções diferentes. Erros de extração podem exigir uma alteração no esquema ou no prompt. Divergências de rotulagem devem ser resolvidas definindo a convenção esperada nas diretrizes do revisor.

As pontuações de confiança também podem ajudar a priorizar a revisão humana:

Use-as como um sinal de ranqueamento, como revisar primeiro os campos com baixa confiança, em vez de um portão de qualidade automático. Um resultado com alta confiança ainda pode estar errado.

No Genie Code: As tarefas de extração que o Genie Code cria incluem citações e pontuações de confiança. Você pode pedir para "Definir limites de confiança por campo a partir dos resultados da avaliação e direcionar linhas de baixa confiança para revisão" e usar a interface do usuário de análise de documentos para depurar visualmente a análise e a extração.

Crie versões de prompts e esquemas juntos

Reduza o atrito de codificar prompts e esquemas rigidamente em notebooks, gerenciando-os como definições configuráveis e reutilizáveis fora do código do pipeline. Uma pequena alteração na redação exige uma implantação de código, versões anteriores são difíceis de reconstruir e não há evidências de que a nova versão seja melhor do que a antiga.

O MLflow Prompt Registry permite criar versões dessas entradas separadamente do código do pipeline. Crie versões do prompt e do esquema: as descrições dos campos influenciam a extração da mesma forma que as instruções globais. Se você criar a versão apenas do prompt, metade da sua lógica de extração ainda continuará trafegando como uma alteração de código não rastreada.

Além do loop do Genie Code: O Genie Code ajuda você a encontrar o prompt e o esquema certos. Quando você leva essa configuração para produção, o versionamento permite promover e reverter alterações sem precisar implantar código.

Uma estratégia de alias simples pode usar:

  • @prod para a versão aprovada atualmente
  • @candidate para a versão sob avaliação
  • @scr_* para versões experimentais que estão sendo comparadas em paralelo

O pipeline carrega as versões ativas pelo alias:

O prompt e o esquema resolvidos são passados para ai_extract.

Quando um candidato é aprovado, mlflow.genai.set_prompt_alias pode mover @prod para a nova versão. O pipeline o resolve na próxima execução sem alterar o código do pipeline. Para reverter, restaure ambos os aliases para as versões anteriores registradas. As versões subjacentes permanecem no registro.

Isso separa a configuração de extração do código que a executa. A Figura 2 também adiciona a outra peça que faltava: a verdade de campo (ground truth) reutilizável.

Silver lê prompts e esquemas aprovados
Figura 2. O Silver lê prompts e esquemas aprovados do registro. As aprovações de revisores alimentam uma visualização de verdade de campo (ground truth).

A visualização de verdade de campo (ground truth) emparelha rótulos aprovados com documentos de origem e previsões, criando o conjunto de dados de referência para medir alterações.

Avalie candidatos em relação a uma verdade de campo (ground truth) fixa.

O histórico de versões informa o que mudou. Ele não diz se a alteração foi melhor. Crie uma coorte fixa a partir de resultados aprovados por revisores; a nossa era composta por várias centenas de PDFs cobrindo uma ampla variedade de layouts. Pontue o prompt de produção e cada prompt candidato em relação ao mesmo conjunto de teste.

Para cada versão, acompanhe métricas como:

  • Precisão geral e em nível de campo
  • Cobertura da verdade de campo (ground truth)
  • Desempenho por tipo de documento
  • Variação entre execuções

Mantenha os documentos e as definições de métricas consistentes entre as comparações. Caso contrário, uma alteração na pontuação pode refletir um conjunto de teste diferente ou uma regra de pontuação diferente, e não uma configuração de extração diferente.

No Genie Code: Aponte o Genie Code para a sua tabela rotulada, como a visualização de verdade de campo (ground truth) na Figura 2, e peça para ele avaliar a extração. Ele pontua cada campo e executa novamente o mesmo conjunto de avaliação após cada alteração aceita, de modo que as comparações de antes e depois usam os mesmos documentos. As verificações de limite de ruído, cobertura e veredito abaixo são salvaguardas úteis para adicionar ao levar uma alteração para produção.

Leve em conta a variação normal de LLM

Um candidato pontuar um pouco mais alto uma vez não significa que ele seja melhor. Execute a configuração de produção de 3 a 5 vezes no conjunto de teste congelado e calcule sua precisão média e desvio padrão (σ). Esse σ é o seu limite de ruído. Sua política pode exigir que a melhoria de um candidato exceda 2σ antes de tratá-la como significativa; qualquer valor dentro dessa faixa é inconclusivo, e não uma vitória.

Acompanhe a cobertura junto com a precisão

A precisão também pode ser enganosa se você ignorar previsões ausentes.

Imagine que você pontue apenas os campos onde o modelo e o revisor forneceram um valor. Um candidato que deixa campos difíceis em branco pode parecer mais preciso porque esses erros desaparecem do denominador. O inverso também pode acontecer. Quando pontuamos o campo revision apenas em documentos onde o revisor forneceu um valor revision, nossa correção pareceu melhorar a precisão em menos de 3 pontos percentuais. Mas quando contamos todos os erros, incluindo os casos em que a resposta correta estava em branco, a correção reduziu os erros de revision pela metade. A maior parte da melhoria veio de retornar corretamente a ausência de valor onde ele não pertencia.

É por isso que a cobertura deve ser relatada junto com a precisão. Defina-a explicitamente, por exemplo, como a proporção de campos de verdade de campo (ground truth) não nulos para os quais o modelo retorna uma previsão. Se a precisão subir, mas a cobertura cair substancialmente, investigue antes de promover o candidato.

O processo resultante segue uma sequência repetível: congelar o conjunto de teste, estabelecer a linha de base de produção, registrar um candidato em um alias de triagem, executar avaliações repetidas e comparar precisão, cobertura e estabilidade.

Sequência de avaliação
Figura 3: A sequência de avaliação: congelar o conjunto de teste, medir a linha de base de produção, fazer a triagem de um candidato e comparar precisão, cobertura e estabilidade.

Resuma cada avaliação como um veredito.

Depois de medir a acurácia, a cobertura e a variação entre execuções, o seu harness de avaliação pode reduzir essas métricas a um pequeno conjunto de resultados:

  • MELHOR: A acurácia atinge o limite predefinido, a cobertura se mantém e os resultados ficam estáveis.
  • SUSPEITO: A acurácia melhora, mas a cobertura cai consideravelmente.
  • INSTÁVEL: Os resultados variam demais entre as execuções.
  • INCONCLUSIVO: A diferença é pequena demais para ser distinguida da variação normal.
  • PIOR: A acurácia diminui significativamente.

Esses vereditos fornecem uma maneira consistente de resumir uma avaliação antes de decidir se o candidato deve ser promovido para produção.

Acompanhando a mudança de revisão

Pontuamos cada candidato três vezes no mesmo conjunto de teste, contando os erros em cada campo em relação ao prompt e ao esquema originais.

Mudançarevision errosErros em todos os camposVeredito
revision apenas correção de esquema-49%+9%TARGET_IMPROVED_WITH_REGRESSION
Prompt e esquema reestruturados-57%-16%BETTER
Apenas modo de precisão, sem alteração de prompt ou esquema-10%-24%BETTER
Prompt e esquema reestruturados + modo de precisão-64%-32%BETTER

A correção pontual fez o que queríamos para revision, mas o modelo começou a inventar valores em campos de itens de linha não relacionados, como detalhes de agendamento. Editar a descrição de um campo não é um experimento de campo único: o modelo lê o esquema como um todo.

Portanto, não o lançamos.

Em vez disso, removemos as regras específicas de campo do prompt global e as colocamos nas descrições do esquema, incluindo a mesma regra de revision. O prompt acabou ficando com menos da metade do seu comprimento original, e os erros caíram 16% no geral, com os erros de estimate caindo 30%.

Dois campos pioraram e foram incluídos na lista de alvos para a próxima rodada.

O modo de precisão contou uma história diferente. Sem nenhuma alteração de prompt ou esquema, ele reduziu os erros em 24%, principalmente por parar de inventar valores em campos de itens de linha repetidos. No entanto, ele mal alterou os erros de revision porque esse era um problema de definição, e apenas a regra de esquema o corrigiu.

Combinados, eles se acumulam: o modo de precisão sobre o prompt e o esquema reestruturados removeu outros 19% dos erros restantes. No geral, os erros caíram cerca de um terço (32%), e os erros de revision caíram quase dois terços (64%).

Este é o loop de regressão que o Genie Code foi feito para revelar. Como cada alteração aceita executa novamente o conjunto completo de avaliação, uma correção pontual que ajuda a revisão, mas prejudica os campos de itens de linha, aparece nos resultados de antes e depois em vez de ir para a produção.

MLflow
Figura 4. As três execuções de cada candidato ao lado da configuração original no MLflow. Cada execução é registrada com sua versão de prompt, versão de esquema e engine, para que cada resultado possa ser rastreado até a configuração exata que o produziu.

Transforme a avaliação em uma decisão de promoção.

Um veredito é um ponto de partida, não a decisão final.

Um candidato anterior reduziu os erros de estimativa em cerca de um terço e foi considerado apenas INCONCLUSIVO no geral. Mas ele também começou a preencher um sinal de sim/não em quase todos os documentos, enquanto os revisores haviam marcado esse campo em apenas alguns documentos.

Uma regressão severa em um campo pode impedir a promoção, mesmo quando as métricas agregadas parecem aceitáveis. Portanto, a promoção deve continuar sob controle humano.

Se um candidato for classificado como BETTER, um proprietário pode atualizar o alias de @prod e registrar a versão do candidato, as métricas de avaliação, o autor e o carimbo de data/hora.

Também pode haver motivos válidos para promover uma alteração INCONCLUSIVE, como implementar uma convenção de negócios importante que não seja totalmente capturada pela acurácia agregada. Nesses casos, registrar o motivo da substituição preserva a lógica por trás da decisão.

Com essa revisão e atualização de alias, o loop de feedback é concluído:

Fresh Pipeline Initialization Loads
Figura 5. O loop completo: as aprovações do revisor se tornam a verdade básica, o harness avalia um candidato e um proprietário promove um par de prompt e esquema aprovado. Uma nova inicialização do pipeline carrega as novas versões.

Crie um fluxo de trabalho de extração repetível.

A extração confiável de documentos não se trata de encontrar um prompt perfeito. Trata-se de escolher a alteração apropriada, rastrear o que mudou e testar se o resultado melhorou.

Com ai_extract, isso significa usar descrições de esquema para o comportamento em nível de campo, instruções globais para o raciocínio em nível de documento, o modo de precisão quando a estrutura for o gargalo e citações quando você precisar entender por que uma extração falhou.

O MLflow Prompt Registry fornece um caminho versionado para gerenciar prompts e esquemas, enquanto um conjunto de testes de avaliação fixo fornece evidências para decidir o que deve chegar à produção.

Juntas, essas peças transformam a iteração de prompts de uma série de edições pontuais em um fluxo de trabalho de engenharia repetível.

Genie Code for document processing automatiza o núcleo desse loop (medir, melhorar, reavaliar), para que a maioria das equipes possa começar por aí e, em seguida, adicionar o versionamento do Prompt Registry, verificações de piso de ruído e portões de promoção à medida que o pipeline avança para a produção.

Explore a documentação do Databricks AI Functions para saber mais sobre ai_extract e consulte a documentação do MLflow Prompt Registry para versionamento de prompts e gerenciamento de aliases. Experimente o Genie Code para processamento de documentos. Abra o Genie Code em Jobs and Pipelines, aponte-o para seus documentos e para uma tabela rotulada e peça a ele que avalie e melhore sua extração.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original

Tags relacionadas:

Soluções, Clientes, Práticas recomendadas, Mídia e entretenimento e Data Science e ML

Receba os posts mais recentes na sua caixa de entrada

Assine nosso blog e receba os posts mais recentes diretamente na sua caixa de entrada.