Ir al contenido principal
Ingeniería

De correcciones puntuales a mejoras cuantificadas: mejora de la precisión en la extracción de documentos con ai_extract y el registro de prompts de MLflow

Cómo mejorar la precisión de ai_extract, versionar prompts y esquemas, evaluar resultados y cómo Genie Code puede automatizarlo por ti

por Kristen Drexinger y Seshendranath Balla

  • No tienes que hacerlo todo tú solo: Genie Code para procesamiento de documentos automatiza la base de este flujo de trabajo, evaluando la extracción campo por campo con tus datos etiquetados, proponiendo correcciones de esquemas e instrucciones como diferencias revisables, y volviendo a ejecutar la evaluación para mostrar los resultados de antes y después.
  • Mejora la precisión de ai_extract con la herramienta adecuada: Usa descripciones de esquemas para reglas a nivel de campo, prompts para lógica a nivel de documento, el modo de precisión para complejidad estructural y citas para diagnosticar errores.
  • Controla las versiones de tus prompts y esquemas con MLflow Prompt Registry: Registra la lógica de extracción como artefactos versionados y despliega o revierte cambios mediante alias en lugar de editar el código del pipeline.
  • Evalúa los cambios antes de implementarlos: Compara opciones con datos reales fijos y revisados por personas mientras haces un seguimiento de la precisión, la cobertura y la variación entre ejecuciones.

La extracción de documentos a menudo comienza con un bucle sencillo: identificar un campo incorrecto, ajustar el prompt o el esquema, volver a ejecutar el documento y comprobar el resultado.

Este enfoque deja de ser fiable a medida que se multiplican los campos y los formatos de documentos. Un cambio puede corregir un campo mientras introduce regresiones en otro lugar, funcionar para un diseño pero fallar en otro, o parecer mejor simplemente debido a la variación normal entre las ejecuciones de LLM.

Vimos esto en un proyecto reciente que extraía aproximadamente 40 campos estructurados de documentos de pedidos enviados por socios en decenas de diseños de PDF. Los revisores corrigieron y aprobaron los valores extraídos antes de que pasaran a las siguientes fases, lo que nos proporcionó datos reales verificados por humanos para la evaluación.

El reto no era conseguir que ai_extract devolviera los campos. Consistía en mejorar la extracción sin degradar el sistema en general.

Por ejemplo, el campo revision a veces devolvía términos de estado como ORIGINAL en lugar de un número de revision o estar en blanco. Un pequeño cambio en el esquema redujo los errores de ese campo casi a la mitad. Sin embargo, en todos los campos, los errores totales de extracción aumentaron un 9%.

La lección fue clara: mejorar un campo no mejora necesariamente el sistema de extracción.

La canalización ya contaba con la mayoría de las piezas necesarias para evaluar los cambios de forma sistemática. Los documentos llegaban al almacenamiento de objetos y fluían a través de una canalización de Lakeflow SDP utilizando Auto Loader. Bronze analizaba los documentos con ai_parse_document, Silver extraía campos estructurados con ai_extract y Gold publicaba los resultados como una vista materializada. Las predicciones se sincronizaban con Lakebase, donde una aplicación de Databricks permitía a los revisores corregir y aprobar campos, y Lakebase CDC devolvía dichas aprobaciones al lakehouse.

Canalización de extracción de documentos
Figura 1. Una canalización de extracción de documentos con revisión humana. Los prompts y esquemas están integrados en código en Silver, mientras que las correcciones de los revisores aún no se utilizan para evaluar los cambios de extracción.

Faltaban dos piezas en el bucle de retroalimentación. Las aprobaciones de los revisores estaban disponibles, pero no se agrupaban en un conjunto de datos de evaluación reutilizable. Al mismo tiempo, los prompts y los esquemas estaban integrados directamente en el código de la canalización, por lo que incluso un pequeño cambio en la extracción requería un despliegue de código.

Abordamos ambos problemas construyendo un flujo de trabajo en torno a tres preguntas: ¿Qué debemos cambiar? ¿Cómo debemos versionarlo? ¿Y qué evidencia es suficiente para promocionarlo?

Esta publicación abarca tres partes de ese flujo de trabajo:

  • Mejora ai_extract con la palanca adecuada: utiliza esquemas para las reglas de los campos, instrucciones globales para la lógica de los documentos, el modo de precisión para estructuras difíciles y citas para diagnosticar errores.
  • Versiona prompts y esquemas: almacena ambos en MLflow Prompt Registry y usa alias para desplegar o revertir configuraciones sin editar el código de la canalización.
  • Evalúa antes de la promoción: compara candidatos en datos reales fijos y revisados por humanos, haciendo un seguimiento de la precisión, la cobertura y la variación entre ejecuciones.

En conjunto, estos pasos crean un camino repetible desde un cambio de extracción propuesto hasta producción, con evidencias de que el cambio mejora el sistema en su conjunto.

Empieza con Genie Code

El resto de esta publicación recorre las prácticas que recomendamos y por qué cada una de ellas es importante. No tienes que implementarlas todas por tu cuenta. Genie Code para procesamiento de documentos crea el trabajo de Lakeflow (ai_parse_document, ai_classify y ai_extract con citas y puntuaciones de confianza) y automatiza el núcleo de este flujo de trabajo con un bucle de evaluación y optimización iterativa:

  • Mide: califica el campo de extracción actual campo por campo frente a tu tabla etiquetada, para que puedas ver qué campos son débiles.
  • Mejora: propone una solución, la mayoría de las veces una descripción de campo más precisa, como una diferencia (diff) revisable que apruebas antes de que se aplique.
  • Vuelve a evaluar: vuelve a ejecutar el conjunto de evaluación después de cada cambio aceptado y muestra los resultados antes y después, para que las regresiones sean tan visibles como las mejoras.

Por ejemplo, puedes preguntarle a Genie Code: "Evalúa la extracción frente a mi tabla etiquetada y dime qué campos son los más débiles", seguido de "La precisión en el campo de revisión podría ser mayor. Mejora iterativamente el esquema y las instrucciones, vuelve a ejecutar la evaluación y muéstrame el antes y el después".

Comprender los fundamentos sigue siendo importante. Te ayuda a juzgar los cambios propuestos por Genie Code, a decidir cuándo un resultado es lo suficientemente bueno como para promocionarlo y a ampliar el flujo de trabajo para producción, por ejemplo, versionando prompts y esquemas en MLflow Prompt Registry. Cada sección a continuación explica una práctica recomendada e indica cómo Genie Code puede gestionarla por ti.

Elige la palanca adecuada para ai_extract

ai_extract acepta tres entradas: el documento analizado, un esquema JSON y opcionalmente instrucciones globales.

El esquema y las instrucciones tienen propósitos diferentes:

  • Esquema: define los campos de salida y las reglas de extracción específicas de cada campo.
  • Instrucciones globales: proporcionan directrices que se aplican a todo el documento.

El resultado es un valor estructurado con una entrada para cada campo del esquema. Puedes acceder a los campos individuales directamente, por ejemplo: extracted:response.revision.value.

Coloca las reglas específicas de los campos en el esquema.

Empieza por la estructura del esquema. Cuando un campo tiene un conjunto cerrado de valores válidos, utiliza una restricción enum en lugar de enumerar los valores permitidos en la descripción. Utiliza tipos numéricos para números y enteros, y utiliza matrices (arrays) u objetos anidados para estructuras repetidas.

Luego, utiliza las descripciones de los esquemas para reglas que los tipos por sí solos no pueden expresar, tales como:

  • Conservar los ceros a la izquierda en identificadores como 004
  • Excluir términos de estado como ORIGINAL, NEW o REVISED
  • Detener un identificador en el primer carácter no válido
  • Devolver null cuando un valor no esté presente

CLAVE: mantener las reglas de los campos en el esquema hace que el contrato de extracción sea más fácil de inspeccionar y evita que el prompt global se convierta en una lista de excepciones no relacionadas.

Usa el prompt global para el razonamiento a nivel de documento

Reserva el prompt global para reglas que se apliquen en todo el documento, incluyendo:

  • Contexto del documento o dominio
  • Prioridad de origen, como los encabezados sobre los pies de página
  • Reglas de coherencia entre campos
  • Instrucciones para combinar filas en matrices
  • Regiones del documento que no deben utilizarse como fuentes

Por ejemplo, si los nombres de las entidades se extraen por error de pies de página genéricos o bloques de contacto de terceros, una instrucción FORBIDDEN-SOURCES puede indicarle al modelo que ignore esas regiones.

Una regla útil es: si la regla define un campo, ponla en el esquema. Si define cómo interpretar el documento, ponla en el prompt.

Automatízalo con Genie Code: el bucle de optimización iterativa sigue el mismo principio. Sus correcciones propuestas suelen precisar la descripción de un campo en el esquema y se muestran como una diferencia para que las apruebes antes de que se apliquen.

Mantén el formato determinista en las siguientes fases.

No todas las transformaciones necesitan un LLM. Gestiona las mayúsculas y minúsculas, la eliminación de separadores, el relleno de ceros y las asignaciones como TELEVISION a TV con SQL u otra transformación determinista cuando sea posible.

CLAVE: Usa el modelo para interpretar el documento; usa código para normalizar la salida.

Usa el modo de precisión para problemas estructurales.

A veces las instrucciones son claras, pero el documento es difícil de seguir. Los esquemas grandes, las líneas de elementos repetidas, las tablas complejas y los diseños de varias páginas pueden dificultar mantener los valores alineados con las filas correctas.

Para estos casos, ai_extract la versión 2.1 ofrece el modo de precisión:

El modo de precisión aporta capacidades de extracción de vanguardia para casos de uso más exigentes. Con el prompt y el esquema constantes, suele ayudar más en estructuras repetidas y reduce la extracción excesiva (cuando el modelo devuelve un valor donde la respuesta correcta está en blanco).

Diagnostica el error antes de cambiar la configuración:

  • Si el modelo malinterpreta qué significa un campo, cambia el prompt o el esquema.
  • Si entiende el campo pero tiene problemas con la estructura de datos, prueba el modo de precisión.

Los enfoques son complementarios. En nuestras pruebas, la regla del esquema corrigió un campo que el modelo malinterpretó, mientras que el modo de precisión mejoró la extracción de campos de tablas complejas.

Usa citas para entender por qué un campo es erróneo.

Cuando un valor extraído es incorrecto, las citas ayudan a mostrar dónde encontró el modelo su respuesta:

Las citas proporcionan cuadros delimitadores a nivel de campo que se pueden mapear de vuelta a los fragmentos de elementos en el documento fuente. Esto ayuda a distinguir entre dos tipos diferentes de errores:

  • Error de extracción: El modelo seleccionó la región incorrecta, malinterpretó el campo o devolvió un valor que no está respaldado por la fuente.
  • Desacuerdo de etiquetado: El modelo extrajo desde la ubicación correcta, pero la respuesta esperada sigue una convención de revisión diferente.

Estos requieren soluciones distintas. Los errores de extracción pueden requerir un cambio en el esquema o en el prompt. Los desacuerdos de etiquetado deben resolverse definiendo la convención esperada en las directrices de los revisores.

Las puntuaciones de confianza también pueden ayudar a priorizar la revisión humana:

Úsalas como una señal de clasificación, como revisar primero los campos de baja confianza, en lugar de como una puerta de calidad automática. Un resultado de alta confianza aún puede ser incorrecto.

En Genie Code: Las tareas de extracción que crea Genie Code incluyen citas y puntuaciones de confianza. Puedes pedirle que "Establezca umbrales de confianza por campo a partir de los resultados de evaluación y derive las filas de baja confianza a revisión", y usar la interfaz de usuario de análisis de documentos para depurar visualmente el análisis y la extracción.

Versiona los prompts y esquemas juntos

Reduce la fricción de codificar prompts y esquemas rígidamente en los notebooks gestionándolos como definiciones configurables y reutilizables fuera del código del pipeline. Un pequeño cambio en la redacción requiere un despliegue de código, las versiones anteriores son difíciles de reconstruir y no hay evidencia de que la nueva versión sea mejor que la anterior.

MLflow Prompt Registry te permite versionar esas entradas por separado del código del pipeline. Versiona tanto el prompt como el esquema: las descripciones de los campos influyen en la extracción al igual que las instrucciones globales. Si solo versionas el prompt, la mitad de tu lógica de extracción sigue viajando como un cambio de código sin seguimiento.

Más allá del bucle de Genie Code: Genie Code te ayuda a encontrar el prompt y el esquema correctos. Cuando llevas esa configuración a producción, versionarla te permite promover y revertir cambios sin necesidad de un despliegue de código.

Una estrategia de alias sencilla podría usar:

  • @prod para la versión aprobada actualmente
  • @candidate para la versión bajo evaluación
  • @scr_* para versiones experimentales que se comparan en paralelo

El pipeline carga entonces las versiones activas por alias:

El prompt y el esquema resueltos se pasan a ai_extract.

Cuando se aprueba un candidato, mlflow.genai.set_prompt_alias puede mover @prod a la nueva versión. El pipeline la resuelve en la siguiente ejecución sin cambiar el código del pipeline. Para revertir, restaura ambos alias a las versiones registradas anteriores. Las versiones subyacentes permanecen en el registro.

Esto separa la configuración de extracción del código que la ejecuta. La Figura 2 también añade la otra pieza faltante: la verdad de terreno reutilizable.

Silver lee los prompts y esquemas aprobados
Figura 2. Silver lee los prompts y esquemas aprobados desde el registro. Las aprobaciones de los revisores alimentan una vista de la verdad de terreno.

La vista de la verdad de terreno empareja las etiquetas aprobadas con los documentos fuente y las predicciones, creando el conjunto de datos de referencia para medir los cambios.

Evalúa a los candidatos frente a una verdad de terreno fija.

El historial de versiones te dice qué cambió. No te dice si el cambio fue mejor. Construye una cohorte fija a partir de los resultados aprobados por los revisores; la nuestra fue de varios cientos de PDFs que cubren una amplia gama de diseños. Puntúa el prompt de producción y cada prompt candidato frente al mismo conjunto de prueba.

Para cada versión, realiza un seguimiento de métricas tales como:

  • Precisión general y a nivel de campo
  • Cobertura de la verdad de terreno
  • Rendimiento por tipo de documento
  • Variación entre ejecuciones

Mantén tanto los documentos como las definiciones de métricas consistentes en las comparaciones. De lo contrario, un cambio en la puntuación podría reflejar un conjunto de prueba o una regla de puntuación diferente en lugar de una configuración de extracción diferente.

En Genie Code: Apunta Genie Code a tu tabla etiquetada, como la vista de la verdad de terreno en la Figura 2, y pídele que evalúe la extracción. Puntúa cada campo y vuelve a ejecutar el mismo conjunto de evaluación después de cada cambio aceptado, de modo que las comparaciones de antes y después utilicen los mismos documentos. Las comprobaciones del nivel de ruido, cobertura y veredicto a continuación son barreras de protección útiles que se deben agregar cuando lleves un cambio a producción.

Ten en cuenta la variación normal de los LLM

Que un candidato obtenga una puntuación ligeramente superior una vez no significa que sea mejor. Ejecuta la configuración de producción al menos entre 3 y 5 veces en el conjunto de prueba congelado y calcula su precisión media y desviación estándar (σ). Esa σ es tu nivel de ruido. Tu política puede requerir que la mejora de un candidato supere 2σ antes de considerarla significativa; cualquier valor dentro de esa banda no es concluyente en lugar de una victoria.

Realiza un seguimiento de la cobertura junto con la precisión

La precisión también puede ser engañosa si ignoras las predicciones faltantes.

Supongamos que puntúas solo los campos en los que tanto el modelo como el revisor proporcionaron un valor. Un candidato que deja los campos difíciles en blanco puede parecer más preciso porque esos errores desaparecen del denominador. Lo contrario también puede suceder. Cuando puntuamos el campo revision solo en documentos donde el revisor proporcionó un valor revision, nuestra solución pareció mejorar la precisión en menos de 3 puntos porcentuales. Pero cuando contamos todos los errores, incluidos los casos en los que la respuesta correcta estaba en blanco, la solución redujo los errores de revision aproximadamente a la mitad. La mayor parte de la mejora provino de devolver correctamente la ausencia de valor cuando no correspondía ninguno.

Es por eso que la cobertura debe informarse junto con la precisión. Defínela explícitamente, por ejemplo, como la proporción de campos de la verdad de terreno no nulos para los cuales el modelo devuelve una predicción. Si la precisión aumenta pero la cobertura cae sustancialmente, investiga antes de promover al candidato.

El proceso resultante sigue una secuencia repetible: congelar el conjunto de prueba, establecer la línea base de producción, registrar un candidato en un alias de filtrado, ejecutar evaluaciones repetidas y comparar la precisión, la cobertura y la estabilidad.

Secuencia de evaluación
Figura 3: La secuencia de evaluación: congelar el conjunto de prueba, medir la línea base de producción, filtrar un candidato y comparar la precisión, la cobertura y la estabilidad.

Resume cada evaluación como un veredicto.

Una vez que mides la precisión, la cobertura y la variación entre ejecuciones, tu entorno de evaluación puede reducir esas métricas a un pequeño conjunto de resultados:

  • MEJOR: La precisión supera el umbral predefinido, la cobertura se mantiene y los resultados son estables.
  • SOSPECHOSO: La precisión mejora, pero la cobertura baja considerablemente.
  • INESTABLE: Los resultados varían demasiado entre ejecuciones.
  • NO CONCLUYENTE: La diferencia es demasiado pequeña para distinguirla de la variación normal.
  • PEOR: La precisión disminuye de manera significativa.

Estos veredictos proporcionan una forma coherente de resumir una evaluación antes de decidir si el candidato debe pasar a producción.

Seguimiento del cambio de revisión

Evaluamos a cada candidato tres veces en el mismo conjunto de prueba, contando los errores en cada campo en comparación con el prompt y el esquema originales.

Cambiorevision erroresErrores en todos los camposVeredicto
revision solo corrección de esquema-49%+9%TARGET_IMPROVED_WITH_REGRESSION
Prompt y esquema reestructurados-57%-16%BETTER
Solo modo de precisión, sin cambios en el prompt o esquema-10%-24%BETTER
Prompt y esquema reestructurados + modo de precisión-64%-32%BETTER

La corrección puntual hizo lo que queríamos para revision, pero el modelo comenzó a inventar valores en campos de partidas no relacionados, como los detalles del cronograma. Editar la descripción de un campo no es un experimento de un solo campo: el modelo lee el esquema en su totalidad.

Así que no lo lanzamos.

En su lugar, trasladamos las reglas específicas de campo del prompt global a las descripciones del esquema, incluida la misma regla de revision. El prompt terminó midiendo menos de la mitad de su longitud original y los errores disminuyeron un 16% en general, con los errores de estimate reducidos en un 30%.

Dos campos empeoraron y pasaron a la lista de objetivos para la siguiente ronda.

El modo de precisión contó una historia diferente. Sin cambios en el prompt ni en el esquema, redujo los errores en un 24%, principalmente al dejar de inventar valores en campos de partidas repetidas. Pero apenas cambió los errores de revision porque eso era un problema de definición, y solo la regla del esquema lo solucionó.

Combinados, se acumulan: el modo de precisión sobre el prompt y el esquema reestructurados eliminó otro 19% de los errores restantes. En general, los errores disminuyeron aproximadamente un tercio (32%) y los errores de revision casi dos tercios (64%).

Este es el ciclo de regresión que Genie Code está diseñado para mostrar. Como cada cambio aceptado vuelve a ejecutar el conjunto de evaluación completo, una corrección puntual que ayuda a la revisión pero perjudica a los campos de partidas aparece en los resultados de antes y después en lugar de en producción.

MLflow
Figura 4. Las tres ejecuciones de cada candidato junto con la configuración original en MLflow. Cada ejecución se registra con su versión de prompt, versión de esquema y motor, por lo que cada resultado se puede rastrear hasta la configuración exacta que lo produjo.

Convierte la evaluación en una decisión de promoción.

Un veredicto es un punto de partida, no la decisión final.

Un candidato anterior redujo los errores de estimación en aproximadamente un tercio y su resultado general fue solo NO CONCLUYENTE. Pero también había comenzado a rellenar un indicador de sí/no en casi todos los documentos, mientras que los revisores solo habían marcado ese campo en unos pocos documentos.

Una regresión grave en un campo puede impedir la promoción incluso cuando las métricas agregadas parecen aceptables. Por lo tanto, la promoción debe seguir bajo el control humano.

Si un candidato se clasifica como BETTER, un propietario puede actualizar el alias de @prod y registrar la versión del candidato, las métricas de evaluación, el autor y la marca de tiempo.

También puede haber razones válidas para promover un cambio INCONCLUSIVE, como implementar una convención de negocio importante que no esté totalmente capturada por la precisión agregada. En esos casos, registrar el motivo de la anulación preserva la justificación detrás de la decisión.

Con esa revisión y actualización de alias, el ciclo de retroalimentación se cierra:

Cargas de inicialización de pipeline nuevo
Figura 5. El ciclo completo: las aprobaciones de los revisores se convierten en la verdad fundamental, el entorno evalúa a un candidato y un propietario promueve un par de prompt y esquema aprobado. Una inicialización de pipeline nueva carga las nuevas versiones.

Construye un flujo de trabajo de extracción repetible.

La extracción confiable de documentos no consiste en encontrar un prompt perfecto. Consiste en elegir el cambio adecuado, realizar un seguimiento de lo que cambió y probar si el resultado mejoró.

Con ai_extract, eso significa usar descripciones de esquemas para el comportamiento a nivel de campo, instrucciones globales para el razonamiento a nivel de documento, el modo de precisión cuando la estructura es el cuelloella y citas cuando necesitas entender por qué falló una extracción.

MLflow Prompt Registry te ofrece una ruta versionada para administrar prompts y esquemas, mientras que un conjunto de pruebas de evaluación fijo te proporciona evidencia para decidir qué debe llegar a producción.

Juntas, esas piezas transforman la iteración de prompts de una serie de ediciones aisladas en un flujo de trabajo de ingeniería repetible.

Genie Code para el procesamiento de documentos automatiza el núcleo de este ciclo (medir, mejorar, reevaluar), por lo que la mayoría de los equipos pueden empezar por ahí y luego agregar el versionado de Prompt Registry, comprobaciones de umbral de ruido y puertas de promoción a medida que el pipeline pasa a producción.

Explora la documentación de Databricks AI Functions para obtener más información sobre ai_extract, y consulta la documentación de MLflow Prompt Registry para el versionado de prompts y la gestión de alias. Prueba Genie Code para el procesamiento de documentos. Abre Genie Code desde Jobs y Pipelines, asígnale tus documentos y una tabla etiquetada, y pídele que evalúe y mejore tu extracción.

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original

Etiquetas relacionadas:

Soluciones, Clientes, MEJORES PRÁCTICAS, Medios y entretenimiento y Ciencia de Datos y ML

Recibe las últimas publicaciones en tu bandeja de entrada

Suscríbete a nuestro blog y recibe las últimas publicaciones directamente en tu bandeja de entrada.