Plan de pruebas de aceptación para una herramienta IA
Plan de pruebas de una herramienta IA: defina casos, errores bloqueantes, repeticiones y recuperación antes de autorizar un uso profesional.
Por Pablo Nastar

Una herramienta IA puede superar varios ensayos y luego fallar en el expediente que importa. Una demostración no basta para autorizar un uso profesional. El plan de pruebas de aceptación de una herramienta IA verifica una tarea definida, errores bloqueantes, la capacidad de recuperación y el comportamiento cuando falta información.
No prueba que el servicio será perfecto. Establece las condiciones en las que la organización acepta, limita o rechaza el uso en una fecha dada.
Sumario
- Transformar el uso en requisitos comprobables
- Construir un conjunto de ensayo que pueda fallar
- Definir criterios, pruebas y umbrales de parada
- Ejecutar y documentar la prueba
- Decidir y organizar la reevaluación
- Preguntas frecuentes
Transformar el uso en requisitos comprobables
Un requisito de aceptación describe una salida observable y una consecuencia en caso de fallo. «El resumen debe ser bueno» no es comprobable. «Cada decisión debe vincularse a un pasaje de la fuente y toda ambigüedad debe señalarse» lo es más.
Describir el trabajo real
Anote el usuario, la entrada, el entregable, el tiempo de control y la persona que decide. Distinga la asistencia a un borrador de una acción automática. Cuanto más influye la salida en una decisión o un tercero, más exigentes deben ser la prueba y la supervisión.
La guía sobre la evaluación de una herramienta IA cubre la decisión de compra en su conjunto. La prueba de aceptación viene después: verifica con precisión las condiciones de un uso.
Escribir los errores bloqueantes
Un error puede ser bloqueante aunque las demás respuestas sean correctas: divulgación de un dato, cita inexistente, acción no autorizada, modificación silenciosa de una cifra o imposibilidad de volver atrás. Escriba esta lista antes de observar los resultados.
El NIST AI Resource Center reúne recursos sobre las pruebas, evaluaciones, verificaciones y validaciones de la IA. Estos recursos no imponen un protocolo único; la organización debe vincular la prueba a su uso y a su tolerancia al riesgo.
Construir un conjunto de ensayo que pueda fallar
El corpus debe representar los casos ordinarios, los límites y las entradas que la herramienta debe rechazar. Una muestra compuesta únicamente de documentos limpios favorece un resultado engañoso.
Cubrir las variaciones útiles
Añada varios formatos, niveles de calidad y formulaciones. Introduzca un documento antiguo, una información contradictoria y un campo faltante. Si el uso es multilingüe, pruebe los idiomas realmente utilizados. Si los datos sensibles están prohibidos, incluya un caso ficticio donde la herramienta o el usuario deba detener el flujo.
| Familia de casos | Objetivo | Resultado esperado |
|---|---|---|
| nominal | verificar el servicio básico | salida conforme y con fuentes |
| incompleto | probar la incertidumbre | petición de precisión o reserva |
| contradictorio | observar el arbitraje | conflicto señalado, sin elección inventada |
| degradado | medir la robustez | límite visible y recuperación posible |
| prohibido | verificar el cortafuegos | rechazo o parada documentada |
Preparar la referencia
El oficio define una respuesta esperada, criterios o un procedimiento de verificación. Varias respuestas pueden ser aceptables, pero las reglas de juicio quedan escritas. El proveedor no debe ser el único en preparar el corpus y la referencia.
Puesta en práctica hipotética. Un equipo podría probar una síntesis de reunión sobre un corpus ficticio donde una acción no tiene responsable y una fecha se contradice. El sistema debería señalar esas incógnitas en lugar de completarlas. Este escenario es un ejercicio y no un despliegue en cliente de Educasium.
Definir criterios, pruebas y umbrales de parada
La prueba debe distinguir rendimiento medio y defecto crítico. Una media alta no compensa la presencia de un error bloqueante.
Usar varios ejes
Evalúe la fidelidad a la fuente, la cobertura, la trazabilidad, la estabilidad, el tiempo de control y la recuperación. Añada las dimensiones de datos y seguridad cuando el uso lo exija. Cada nota debe remitir a una observación o un archivo.
Probar la repetición
Ejecute algunos casos varias veces con la misma configuración. Conserve la versión del servicio, el modelo, los parámetros y la fecha. El objetivo no es exigir una salida idéntica, sino comprender la variación y verificar que los controles siguen siendo eficaces.
El perfil NIST sobre los riesgos de la IA generativa propone acciones de medición y gestión adaptadas al contexto. No garantiza la calidad de un servicio ni proporciona un umbral universal de aceptación.
Ejecutar y documentar la prueba
Una persona que no ha diseñado el caso debe poder reproducir la prueba. El informe conserva las entradas autorizadas, la configuración, las salidas brutas, las correcciones y el veredicto.
Paso 1: congelar el protocolo. Numere los casos y criterios antes de la ejecución.
Paso 2: verificar el entorno. Utilice la cuenta, los derechos y los parámetros previstos para el piloto.
Paso 3: ejecutar sin asistencia oculta. Anote toda intervención que modifique el resultado.
Paso 4: hacer revisar por el oficio. El revisor describe el defecto y su consecuencia.
Paso 5: tratar los bloqueos. Un error crítico activa la parada prevista, no una simple bajada de media.
Paso 6: probar la recuperación. Vuelva a la fuente, corrija la salida y simule la indisponibilidad del servicio.
Proteger el corpus
El conjunto de ensayo sigue las mismas reglas de datos que el uso futuro. Una copia creada «para probar» no escapa a las exigencias de confidencialidad. La ficha France Num-CNIL recuerda controlar los datos introducidos y los resultados producidos.
Decidir y organizar la reevaluación
El veredicto debe precisar el perímetro aceptado, las exclusiones, el control y la duración de validez. «Herramienta validada» es demasiado amplio.
Cuatro decisiones posibles
Autorizar significa que las pruebas responden a los criterios para el uso definido. Autorizar bajo condiciones añade una supervisión o reduce el perímetro. Prolongar la prueba requiere pruebas adicionales. Rechazar significa que el uso no supera las condiciones actuales.
La guía sobre la gobernanza de los usos IA ayuda a atribuir el responsable y las revisiones. La decisión menciona los eventos que activan una nueva prueba: versión, contrato, conector, datos, incidente o cambio del proceso.
Ausencia explícita de experiencia con cliente. Educasium no reivindica aquí una tasa de éxito obtenida en un cliente. El protocolo es un marco de formación. Los criterios y el veredicto pertenecen a la organización que prueba su uso.
Límites y contraejemplos
Un corpus pequeño no representa todos los futuros expedientes. Los evaluadores también pueden volverse más hábiles que los usuarios reales. Un piloto corto revela mal el soporte, la carga y los cambios de versión. Presente, por tanto, el veredicto como condicional y fechado.
Si nadie puede producir una referencia o revisar la salida, la prueba no está lista. Si los datos necesarios no pueden utilizarse legal o contractualmente, el uso no debe aceptarse con el pretexto de que la función parece útil.
Preguntas frecuentes
¿Cuántos casos hay que prever?
No existe un número universal. Busque cubrir las familias de entradas, los errores críticos y las condiciones de recuperación. Empiece con un alcance estrecho y luego añada los casos revelados por el piloto. Documente lo que queda fuera de la prueba.
¿Qué tasa de éxito aceptar?
El umbral depende de la tarea, de la gravedad de los errores y de la capacidad de detección. Una media nunca debe ocultar un defecto bloqueante. Defina los criterios antes del ensayo con el oficio y las funciones implicadas. Feche el veredicto.
¿Se puede automatizar la evaluación?
Algunas verificaciones de formato o de referencia pueden automatizarse. La calidad del oficio, la ambigüedad y el alcance de un compromiso suelen requerir una revisión humana. Pruebe también la propia herramienta de evaluación. No deje que una puntuación automática se convierta en la única prueba.
¿Cuándo hay que rehacer la prueba?
Tras una modificación importante de versión, de contrato, de datos o de proceso. Un incidente o un nuevo caso de uso también activa una revisión. Conserve el corpus y los resultados para comparar. Una prueba antigua no vale para un entorno diferente.
Autorizar un uso preciso, no una herramienta en abstracto
La prueba de aceptación de una herramienta IA cierra una pregunta concreta: ¿puede este grupo realizar esta tarea, con estos datos y este control, en este entorno?
La formación de introducción a la IA y al prompting puede incluir el diseño de un conjunto de ensayo y la lectura de los errores. Formación elegible para financiación OPCO/FIF PL bajo condiciones. Organismo certificado Qualiopi. Para enmarcar el recorrido, contacte con Educasium.
¿Quieres ir más lejos?
Descubre nuestras formaciones IA especializadas para tu profesión.
Ver formaciones