Revenir au contenu principal
Ingénierie

Des correctifs ponctuels aux gains mesurés : améliorer la précision de l'extraction de documents avec ai_extract et MLflow Prompt Registry

Comment améliorer la précision de ai_extract, versionner les invites et les schémas, évaluer les résultats et laisser Genie Code les automatiser pour vous

par Kristen Drexinger et Seshendranath Balla

  • Vous n'avez pas à tout faire vous-même : Genie Code for document processing automatise l'essentiel de ce workflow en évaluant l'extraction champ par champ par rapport à vos données étiquetées, en proposant des corrections de schémas et d'instructions sous forme de diffs examinables, et en relançant l'évaluation pour afficher les résultats avant et après.
  • Améliorez la précision de ai_extract avec le bon levier : Utilisez des descriptions de schémas pour les règles au niveau des champs, des invites pour la logique au niveau des documents, le mode de précision pour la complexité structurelle, et des citations pour diagnostiquer les erreurs.
  • Versionnez les invites et les schémas avec MLflow Prompt Registry : Suivez la logique d'extraction sous forme d'artefacts versionnés et déployez ou annulez des modifications via des alias au lieu de modifier le code du pipeline.
  • Évaluez les modifications avant le déploiement : Comparez les candidats à une référence fixe vérifiée par l'humain tout en suivant la précision, la couverture et la variation d'une exécution à l'autre.

L'extraction de documents commence souvent par une boucle simple : repérer un champ incorrect, ajuster le prompt ou le schéma, relancer le document et vérifier le résultat.

Cette approche devient peu fiable à mesure que les champs et les formats de documents se multiplient. Une modification peut corriger un champ tout en introduisant des régressions ailleurs, fonctionner pour une mise en page mais échouer sur une autre, ou paraître meilleure simplement en raison d'une variation normale entre les exécutions de LLM.

Nous avons constaté cela lors d'un projet récent qui extrayait environ 40 champs structurés à partir de documents de commande soumis par des partenaires et répartis dans des dizaines de mises en page PDF. Les réviseurs ont corrigé et approuvé les valeurs extraites avant qu'elles ne soient transmises en aval, nous fournissant ainsi une référence validée par l'humain pour l'évaluation.

Le défi ne consistait pas à amener ai_extract à renvoyer les champs. Il s'agissait d'améliorer l'extraction sans dégrader les performances globales du système.

Par exemple, le champ revision renvoyait parfois des termes de statut tels que ORIGINAL au lieu d'un nombre revision ou d'un champ vide. Une modification mineure du schéma a réduit les erreurs pour ce champ de moitié environ. Mais sur l'ensemble des champs, les erreurs d'extraction totales ont augmenté de 9 %.

La leçon était claire : améliorer un champ n'améliore pas nécessairement le système d'extraction.

Le pipeline disposait déjà de la plupart des éléments nécessaires pour évaluer systématiquement les modifications. Les documents arrivaient dans le stockage d'objets et transitaient par un pipeline Lakeflow SDP à l'aide d'Auto Loader. Bronze analysait les documents avec ai_parse_document, Silver extrayait les champs structurés avec ai_extract, et Gold publiait les résultats sous forme de vue matérialisée. Les prédictions étaient synchronisées avec Lakebase, où une application Databricks permettait aux réviseurs de corriger et d'approuver les champs, et Lakebase CDC renvoyait ces approbations vers le lakehouse.

Pipeline d'extraction de documents
Figure 1. Un pipeline d'extraction de documents avec révision humaine. Les prompts et les schémas sont codés en dur dans Silver, tandis que les corrections des réviseurs ne sont pas encore utilisées pour évaluer les modifications d'extraction.

Deux éléments manquaient dans la boucle de rétroaction. Les approbations des réviseurs étaient disponibles, mais elles n'étaient pas assemblées dans un jeu de données d'évaluation réutilisable. Parallèlement, les prompts et les schémas étaient intégrés directement dans le code du pipeline, de sorte que même une modification mineure de l'extraction nécessitait un déploiement de code.

Nous avons résolu ces deux problèmes en élaborant un flux de travail articulé autour de trois questions : Que devons-nous modifier ? Comment devons-nous le versionner ? Et quelles preuves suffisent pour le promouvoir ?

Cet article aborde trois aspects de ce flux de travail :

  • Améliorer ai_extract avec le bon levier : Utiliser des schémas pour les règles de champs, des instructions globales pour la logique des documents, le mode de précision pour les structures complexes et des citations pour diagnostiquer les erreurs.
  • Versionner les prompts et les schémas : Les stocker tous les deux dans MLflow Prompt Registry et utiliser des alias pour déployer ou restaurer des configurations sans modifier le code du pipeline.
  • Évaluer avant la promotion : Comparer les candidats sur une base de référence fixe et examinée par des humains, en suivant l'précision, la couverture et la variation d'une exécution à l'autre.

Ensemble, ces étapes créent un chemin reproductible d'une modification d'extraction proposée vers la production, avec la preuve que la modification améliore le système dans son ensemble.

Commencer avec Genie Code

Le reste de cet article détaille les pratiques que nous recommandons et l'importance de chacune d'elles. Vous n'avez pas besoin de toutes les implémenter par vous-même. Genie Code pour le traitement de documents crée le travail Lakeflow (ai_parse_document, ai_classify et ai_extract avec des citations et des scores de confiance) et automatise le cœur de ce flux de travail avec une boucle d'évaluation et d'optimisation :

  • Mesurer : Évalue le champ d'extraction actuel champ par champ par rapport à votre table étiquetée, afin que vous puissiez identifier les champs faibles.
  • Améliorer : Propose une correction, le plus souvent une description de champ plus précise, sous forme de diff vérifiable que vous approuvez avant son application.
  • Réévaluer : Relance l'ensemble d'évaluation après chaque modification acceptée et affiche les résultats avant et après, afin que les régressions soient aussi visibles que les améliorations.

Par exemple, vous pouvez demander à Genie Code : "Évalue l'extraction par rapport à ma table étiquetée et indique-moi quels sont les champs les plus faibles", suivi de "L'exactitude sur le champ de révision pourrait être meilleure. Améliore de manière itérative le schéma et les instructions, relance l'évaluation et montre-moi le avant et le après."

Il reste important de comprendre les principes fondamentaux. Cela vous aide à juger des modifications proposées par Genie Code, à décider quand un résultat est suffisamment bon pour être promu et à étendre le flux de travail pour la production, par exemple en versionnant les prompts et les schémas dans MLflow Prompt Registry. Chaque section ci-dessous explique une pratique recommandée et indique comment Genie Code peut la prendre en charge pour vous.

Choisir le bon levier ai_extract

ai_extract prend trois entrées : le document analysé, un schéma JSON et des instructions globales facultatives.

Le schéma et les instructions ont des objectifs différents :

  • Schéma : Définit les champs de sortie et les règles d'extraction spécifiques à chaque champ.
  • Instructions globales : Fournissent des directives qui s'appliquent à l'ensemble du document.

Le résultat est une valeur structurée avec une entrée pour chaque champ du schéma. Vous pouvez accéder directement aux champs individuels, par exemple : extracted:response.revision.value.

Placer les règles spécifiques aux champs dans le schéma.

Commencez par la structure du schéma. Lorsqu'un champ possède un ensemble fermé de valeurs valides, utilisez une contrainte d'énumération plutôt que de lister les valeurs autorisées dans la description. Utilisez des types numériques pour les nombres et les entiers, et utilisez des tableaux ou des objets imbriqués pour les structures répétées.

Utilisez ensuite les descriptions de schémas pour les règles que les types ne peuvent pas exprimer à eux seuls, telles que :

  • Conserver les zéros non significatifs dans les identifiants tels que 004
  • Exclure les termes de statut tels que ORIGINAL, NEW ou REVISED
  • Arrêter un identifiant au premier caractère non valide
  • Renvoyer null lorsqu'une valeur n'est pas présente

CLÉ: Conserver les règles de champ dans le schéma rend le contrat d'extraction plus facile à inspecter et évite que le prompt global ne devienne une liste d'exceptions sans rapport.

Utiliser le prompt global pour le raisonnement au niveau du document

Réservez le prompt global aux règles qui s'appliquent à l'ensemble du document, notamment :

  • Le contexte du document ou du domaine
  • La priorité des sources, comme les en-têtes par rapport aux pieds de page
  • Les règles de cohérence inter-champs
  • Les instructions pour combiner des lignes en tableaux
  • Les zones du document qui ne doivent pas être utilisées comme sources

Par exemple, si des noms d'entités sont extraits par erreur de pieds de page types ou de blocs de contact tiers, une instruction FORBIDDEN-SOURCES peut indiquer au modèle d'ignorer ces zones.

Une règle utile est : Si la règle définit un seul champ, mettez-la dans le schéma. Si elle définit la manière d'interpréter le document, mettez-la dans le prompt.

Automatisez avec Genie Code: La boucle d'optimisation suit le même principe. Ses corrections proposées affinent le plus souvent la description d'un champ dans le schéma et s'affichent sous forme de diff que vous pouvez approuver avant son application.

Maintenir le formatage déterministe en aval.

Toutes les transformations ne nécessitent pas un LLM. Gérez la mise en majuscules/minuscules, la suppression des séparateurs, le remplissage par des zéros et les correspondances telles que TÉLÉVISION vers TV à l'aide de SQL ou d'une autre transformation déterministe lorsque cela est possible.

CLÉ : Utilisez le modèle pour interpréter le document ; utilisez du code pour normaliser la sortie.

Utilisez le mode de précision pour les problèmes structurels.

Parfois, les instructions sont claires, mais le document est difficile à suivre. De grands schémas, des éléments de ligne répétés, des tableaux complexes et des mises en page sur plusieurs pages peuvent rendre difficile l'alignement des valeurs sur les bonnes lignes.

Dans ces cas-là, ai_extract version 2.1 propose le mode de précision :

Le mode de précision apporte des capacités d'extraction de pointe pour les cas d'utilisation les plus exigeants. Avec le prompt et le schéma maintenus constants, il aide généralement le plus sur les structures répétées et réduit la sur-extraction (le modèle renvoyant une valeur là où la bonne réponse est vide).

Diagnostiquez l'échec avant de modifier la configuration :

  • Si le modèle comprend mal ce que signifie un champ, modifiez le prompt ou le schéma.
  • S'il comprend le champ mais a du mal avec la structure des données, testez le mode de précision.

Les approches sont complémentaires. Lors de nos tests, la règle du schéma a corrigé un champ mal compris par le modèle, tandis que le mode de précision a amélioré l'extraction de champs issus de tableaux complexes.

Utilisez les citations pour comprendre pourquoi un champ est erroné.

Lorsqu'une valeur extraite est fausse, les citations aident à montrer où le modèle a trouvé sa réponse :

Les citations fournissent des boîtes englobantes au niveau du champ qui peuvent être mappées aux étendues d'éléments dans le document source. Cela aide à distinguer deux types d'erreurs différents :

  • Erreur d'extraction : Le modèle a sélectionné la mauvaise région, a mal compris le champ ou a renvoyé une valeur qui n'est pas prise en charge par la source.
  • Désaccord de étiquetage : Le modèle a extrait à partir du bon emplacement, mais la réponse attendue suit une convention de révision différente.

Celles-ci nécessitent des correctifs différents. Les erreurs d'extraction peuvent nécessiter une modification du schéma ou du prompt. Les désaccords d'étiquetage doivent être résolus en définissant la convention attendue dans les directives du réviseur.

Les scores de confiance peuvent également aider à prioriser la révision humaine :

Utilisez-les comme un signal de classement, tel que la révision des champs à faible confiance en premier, plutôt que comme un filtre de qualité automatique. Un résultat à haute confiance peut toujours être faux.

Dans Genie Code : Les tâches d'extraction créées par Genie Code incluent des citations et des scores de confiance. Vous pouvez lui demander de "Définir des seuils de confiance par champ à partir des résultats d'évaluation et d'acheminer les lignes à faible confiance vers la révision", et utiliser l'interface utilisateur de parsing de documents pour déboguer visuellement le parsing et l'extraction.

Versionnez ensemble les prompts et les schémas

Réduisez la friction du codage en dur des prompts et des schémas dans les notebooks en les gérant comme des définitions configurables et réutilisables en dehors du code du pipeline. Un petit changement de formulation nécessite un déploiement de code, les versions précédentes sont difficiles à reconstruire, et rien ne prouve que la nouvelle version est meilleure que l'ancienne.

MLflow Prompt Registry vous permet de versionner ces entrées séparément du code du pipeline. Versionnez à la fois le prompt et le schéma : les descriptions de champs influencent l'extraction tout comme les instructions globales. Si vous ne versionnez que le prompt, la moitié de votre logique d'extraction continue de voyager sous forme de modification de code non suivie.

Au-delà de la boucle Genie Code : Genie Code vous aide à trouver le bon prompt et le bon schéma. Lorsque vous passez cette configuration en production, le versionnage vous permet de promouvoir et de rétablir des modifications sans déploiement de code.

Une stratégie d'alias simple peut utiliser :

  • @prod pour la version actuellement approuvée
  • @candidate pour la version en cours d'évaluation
  • @scr_* pour les versions expérimentales comparées en parallèle

Le pipeline charge ensuite les versions actives par alias :

Le prompt et le schéma résolus sont ensuite transmis à ai_extract.

Lorsqu'un candidat est approuvé, mlflow.genai.set_prompt_alias peut déplacer @prod vers la nouvelle version. Le pipeline la résout lors de la prochaine exécution sans modifier le code du pipeline. Pour effectuer un retour arrière, restaurez les deux alias aux versions enregistrées précédentes. Les versions sous-jacentes restent dans le registre.

Cela sépare la configuration d'extraction du code qui l'exécute. La figure 2 ajoute également l'autre pièce manquante : la vérité terrain réutilisable.

Silver lit les prompts et les schémas approuvés
Figure 2. Silver lit les prompts et les schémas approuvés à partir du registre. Les validations des réviseurs alimentent une vue de vérité terrain.

La vue de vérité terrain associe les étiquettes approuvées aux documents sources et aux prédictions, créant ainsi le jeu de données de référence pour mesurer les changements.

Évaluez les candidats par rapport à une vérité terrain fixe.

L'historique des versions vous indique ce qui a changé. Il ne vous dit pas si le changement était meilleur. Créez une cohorte fixe à partir de résultats approuvés par les réviseurs ; la nôtre comprenait plusieurs centaines de PDF couvrant un large éventail de mises en page. Notez le prompt de production et chaque prompt candidat par rapport au même jeu de test.

Pour chaque version, suivez des métriques telles que :

  • La précision globale et au niveau du champ
  • La couverture de la vérité terrain
  • Les performances par type de document
  • La variation d'une exécution à l'autre

Maintenez à la fois les documents et les définitions de métriques cohérents d'une comparaison à l'autre. Sinon, un changement de score pourrait refléter un jeu de test ou une règle de notation différente plutôt qu'une configuration d'extraction différente.

Dans Genie Code : Pointez Genie Code vers votre tableau étiqueté, tel que la vue de vérité terrain de la figure 2, et demandez-lui d'évaluer l'extraction. Il note chaque champ et réexécute le même jeu d'évaluation après chaque modification acceptée, de sorte que les comparaisons avant/après utilisent les mêmes documents. Les contrôles de bruit de fond, de couverture et de verdict ci-dessous constituent des garde-fous utiles à ajouter lorsque vous passez un changement en production.

Tenez compte de la variation normale des LLM

Un candidat obtenant un score légèrement supérieur une fois ne signifie pas qu'il est meilleur. Exécutez la configuration de production au moins 3 à 5 fois sur le jeu de test gelé et calculez sa précision moyenne et son écart-type (σ). Ce σ est votre bruit de fond. Votre politique peut exiger que l'amélioration d'un candidat dépasse 2σ avant de la considérer comme significative ; tout ce qui se trouve dans cette bande est non concluant plutôt qu'une victoire.

Suivez la couverture en même temps que la précision

La précision peut également être trompeuse si vous ignorez les prédictions manquantes.

Supposons que vous ne notiez que les champs pour lesquels le modèle et le réviseur ont fourni une valeur. Un candidat qui laisse les champs difficiles vides peut sembler plus précis parce que ces oublis disparaissent du dénominateur. L'inverse peut également se produire. Lorsque nous avons noté le champ revision uniquement sur les documents où le réviseur a fourni une valeur revision, notre correctif a semblé améliorer la précision de moins de 3 points de pourcentage. Mais lorsque nous avons compté toutes les erreurs, y compris les cas où la bonne réponse était vide, le correctif a réduit les erreurs revision de moitié environ. La majeure partie de l'amélioration provenait du retour correct de l'absence de valeur là où elle n'avait pas sa place.

C'est pourquoi la couverture doit être signalée en même temps que la précision. Définissez-la explicitement, par exemple, comme la part des champs de vérité terrain non nuls pour lesquels le modèle renvoie une prédiction. Si la précision augmente mais que la couverture chute de manière significative, investiguez avant de promouvoir le candidat.

Le harnais résultant suit une séquence répétable : geler le jeu de test, établir la base de référence de production, enregistrer un candidat sur un alias de filtrage, exécuter des évaluations répétées et comparer la précision, la couverture et la stabilité.

Séquence d'évaluation
Figure 3 : La séquence d'évaluation : geler le jeu de test, mesurer la base de référence de production, filtrer un candidat et comparer la précision, la couverture et la stabilité.

Résumez chaque évaluation sous forme de verdict.

Une fois que vous avez mesuré l'exactitude, la couverture et la variation d'une exécution à l'autre, votre banc d'évaluation peut réduire ces métriques à un petit ensemble de résultats :

  • MEILLEUR : L'exactitude dépasse le seuil prédéfini, la couverture se maintient et les résultats sont stables.
  • SUSPECT : L'exactitude s'améliore, mais la couverture chute de manière significative.
  • INSTABLE : Les résultats varient trop d'une exécution à l'autre.
  • NON CONCLUANT : La différence est trop minime pour être distinguée d'une variation normale.
  • PIRE : L'exactitude diminue de façon significative.

Ces verdicts offrent une méthode cohérente pour résumer une évaluation avant de décider si le modèle candidat doit être promu en production.

Suivi du changement de révision

Nous avons évalué chaque candidat à trois reprises sur le même jeu de test, en comptant les erreurs dans chaque champ par rapport au prompt et au schéma d'origine.

ChangementErreurs de révisionErreurs sur l'ensemble des champsVerdict
revision correction de schéma uniquement-49%+9%TARGET_IMPROVED_WITH_REGRESSION
Prompt et schéma restructurés-57%-16%BETTER
Mode précision uniquement, sans modification du prompt ni du schéma-10%-24%BETTER
Prompt et schéma restructurés + mode précision-64%-32%BETTER

La correction ciblée a donné le résultat escompté pour revision, mais le modèle s'est mis à inventer des valeurs dans des champs de postes non liés, tels que les détails du calendrier. Modifier la description d'un seul champ n'est pas une expérience à champ unique : le modèle lit le schéma dans son ensemble.

Nous avons donc décidé de ne pas le déployer.

À la place, nous avons déplacé les règles spécifiques aux champs du prompt global vers les descriptions de schéma, y compris la même règle revision. Le prompt a fini par représenter moins de la moitié de sa longueur initiale, et les erreurs ont chuté de 16 % au total, les erreurs liées à estimate diminuant de 30 %.

Deux champs ont vu leurs performances se dégrader, et ils ont été ajoutés à la liste des cibles pour le tour suivant.

Le mode précision a raconté une autre histoire. Sans modification du prompt ni du schéma, il a réduit les erreurs de 24 %, principalement en cessant d'inventer des valeurs dans des champs de postes répétés. En revanche, il a à peine modifié les erreurs liées à revision, car il s'agissait d'un problème de définition, et seule la règle de schéma a pu le résoudre.

Combinés, leurs effets s'additionnent : le mode précision appliqué par-dessus le prompt et le schéma restructurés a éliminé 19 % supplémentaires des erreurs restantes. Globalement, les erreurs ont diminué d'environ un tiers (32 %), et les erreurs liées à revision de près de deux tiers (64%).

C'est précisément le type de régression que la boucle de Genie Code est conçue pour détecter. Comme chaque modification acceptée relance l'ensemble du jeu d'évaluation complet, une correction ciblée qui aide la révision mais nuit aux champs de postes apparaît dans les résultats comparatifs avant/après plutôt qu'en production.

MLflow
Figure 4. Les trois exécutions de chaque candidat à côté de la configuration d'origine dans MLflow. Chaque exécution est consignée avec sa version de prompt, sa version de schéma et son moteur, de sorte que chaque résultat remonte à la configuration exacte qui l'a produit.

Transformer l'évaluation en décision de promotion.

Un verdict est un point de départ, pas la décision finale.

Un candidat précédent avait réduit les erreurs d'estimation d'environ un tiers et affichait un résultat globalement NON CONCLUANT. Mais il s'était également mis à renseigner un indicateur oui/non sur la quasi-totalité des documents, alors que les examinateurs n'avaient marqué ce champ que sur une poignée d'entre eux.

Une régression sévère sur un seul champ peut empêcher la promotion, même lorsque les métriques agrégées semblent acceptables. La promotion doit donc rester sous le contrôle de l'humain.

Si un candidat est classé comme BETTER, un responsable peut mettre à jour l'alias @prod et enregistrer la version du candidat, les métriques d'évaluation, l'auteur ainsi que l'horodatage.

Il peut également y avoir des raisons valables de promouvoir une modification INCONCLUSIVE, comme la mise en œuvre d'une convention métier importante qui n'est pas entièrement capturée par l'exactitude agrégée. Dans ces cas-là, l'enregistrement du motif de la dérogation permet de conserver la logique de la décision.

Une fois cette révision et cette mise à jour d'alias effectuées, la boucle de rétroaction est bouclée :

Chargements lors de l'initialisation d'un nouveau pipeline
Figure 5. La boucle complète : les approbations des examinateurs deviennent la source de vérité, le banc d'évaluation évalue un candidat et un responsable promeut une paire de prompt et de schéma approuvée. L'initialisation d'un nouveau pipeline charge les nouvelles versions.

Créer un flux de travail d'extraction reproductible.

L'extraction de documents fiable ne consiste pas à trouver un prompt parfait unique. Il s'agit de choisir le changement approprié, de suivre ce qui a été modifié et de tester si le résultat s'est amélioré.

Avec ai_extract, cela signifie utiliser les descriptions de schéma pour le comportement au niveau du champ, les instructions globales pour le raisonnement au niveau du document, le mode précision lorsque la structure constitue le goulet d'étranglement, et les citations lorsque vous devez comprendre pourquoi une extraction a échoué.

MLflow Prompt Registry vous offre ensuite un chemin versionné pour gérer les prompts et les schémas, tandis qu'un jeu de test d'évaluation fixe vous fournit des preuves pour décider ce qui doit être mis en production.

Ensemble, ces éléments transforment l'itération des prompts d'une série de modifications ponctuelles en un flux de travail d'ingénierie reproductible.

Genie Code pour le traitement de documents automatise le cœur de cette boucle (mesurer, améliorer, réévaluer), permettant ainsi à la plupart des équipes de commencer par là, puis d'ajouter le versionnement avec Prompt Registry, les vérifications de plancher de bruit et les barrières de promotion à mesure que le pipeline passe en production.

Explorez la documentation des fonctions IA de Databricks pour en savoir plus sur ai_extract, et consultez la documentation de MLflow Prompt Registry pour la gestion du versionnement des prompts et des alias. Essayez Genie Code pour le traitement de documents. Ouvrez Genie Code depuis Jobs et Pipelines, pointez-le vers vos documents et une table étiquetée, et demandez-lui d'évaluer et d'améliorer votre extraction.

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original

Tags associés:

Solutions, Clients, Bonnes pratiques, Médias et divertissement et Data Science et ML

Recevez les derniers articles dans votre boîte mail

Abonnez-vous à notre blog et recevez les derniers articles directement dans votre boîte mail.