Aller au contenu
← Retour au blog
6 min de lecture

Cahier de recette pour un outil IA

Cahier de recette d'un outil IA : définissez cas, erreurs bloquantes, répétitions et reprise avant d'autoriser un usage métier.

Par Pablo Nastar

formation-ia-test-acceptation-outil-educasium-qualiopi

Un outil IA peut réussir plusieurs essais puis échouer sur le dossier qui compte. Une démonstration ne suffit pas pour autoriser un usage métier. Le cahier de recette d'un outil IA vérifie une tâche définie, des erreurs bloquantes, la capacité de reprise et le comportement lorsque l'information manque.

Il ne prouve pas que le service sera parfait. Il établit les conditions dans lesquelles l'organisation accepte, limite ou refuse l'usage à une date donnée.

Sommaire

  1. Transformer l'usage en exigences testables
  2. Construire un jeu d'essai qui peut échouer
  3. Définir critères, preuves et seuils d'arrêt
  4. Exécuter et documenter le test
  5. Décider et organiser la réévaluation
  6. Questions fréquentes

Transformer l'usage en exigences testables

Une exigence d'acceptation décrit une sortie observable et une conséquence en cas d'échec. « Le résumé doit être bon » n'est pas testable. « Chaque décision doit être reliée à un passage de la source et toute ambiguïté doit être signalée » l'est davantage.

Décrire le travail réel

Notez l'utilisateur, l'entrée, le livrable, le temps de contrôle et la personne qui décide. Distinguez l'assistance à un brouillon d'une action automatique. Plus la sortie influence une décision ou un tiers, plus le test et la supervision doivent être exigeants.

Le guide sur l'évaluation d'un outil IA couvre la décision d'achat dans son ensemble. Le test d'acceptation vient ensuite : il vérifie précisément les conditions d'un usage.

Écrire les erreurs bloquantes

Une erreur peut être bloquante même si les autres réponses sont correctes : divulgation d'une donnée, citation inexistante, action non autorisée, modification silencieuse d'un chiffre ou impossibilité de revenir en arrière. Écrivez cette liste avant d'observer les résultats.

Le NIST AI Resource Center regroupe des ressources sur les tests, évaluations, vérifications et validations de l'IA. Ces ressources n'imposent pas un protocole unique ; l'organisation doit relier le test à son usage et à sa tolérance au risque.

Construire un jeu d'essai qui peut échouer

Le corpus doit représenter les cas ordinaires, les limites et les entrées que l'outil doit refuser. Un échantillon composé uniquement de documents propres favorise un résultat trompeur.

Couvrir les variations utiles

Ajoutez plusieurs formats, niveaux de qualité et formulations. Introduisez un document ancien, une information contradictoire et un champ manquant. Si l'usage est multilingue, testez les langues réellement utilisées. Si les données sensibles sont interdites, incluez un cas factice où l'outil ou l'utilisateur doit arrêter le flux.

Famille de casButRésultat attendu
nominalvérifier le service de basesortie conforme et sourcée
incomplettester l'incertitudedemande de précision ou réserve
contradictoireobserver l'arbitrageconflit signalé, pas de choix inventé
dégradémesurer la robustesselimite visible et reprise possible
interditvérifier le garde-fourefus ou arrêt documenté

Préparer la référence

Le métier définit une réponse attendue, des critères ou une procédure de vérification. Plusieurs réponses peuvent être acceptables, mais les règles de jugement restent écrites. Le fournisseur ne doit pas être le seul à préparer le corpus et la référence.

Mise en œuvre hypothétique. Une équipe pourrait tester une synthèse de réunion sur un corpus factice où une action n'a pas de responsable et une date se contredit. Le système devrait signaler ces inconnues plutôt que les compléter. Ce scénario est un exercice et non un déploiement client Educasium.

Définir critères, preuves et seuils d'arrêt

Le test doit distinguer performance moyenne et défaut critique. Une moyenne élevée ne compense pas la présence d'une erreur bloquante.

Utiliser plusieurs axes

Évaluez la fidélité à la source, la couverture, la traçabilité, la stabilité, le temps de contrôle et la reprise. Ajoutez les dimensions de données et sécurité lorsque l'usage l'exige. Chaque note doit renvoyer à une observation ou un fichier.

Tester la répétition

Exécutez certains cas plusieurs fois avec la même configuration. Conservez la version du service, le modèle, les paramètres et la date. L'objectif n'est pas d'exiger une sortie identique, mais de comprendre la variation et de vérifier que les contrôles restent efficaces.

Le profil NIST sur les risques de l'IA générative propose des actions de mesure et de gestion adaptées au contexte. Il ne garantit pas la qualité d'un service ni ne fournit un seuil universel d'acceptation.

Exécuter et documenter le test

Une personne qui n'a pas conçu le cas doit pouvoir reproduire le test. Le compte rendu conserve les entrées autorisées, la configuration, les sorties brutes, les corrections et le verdict.

Étape 1 : geler le protocole. Numérotez les cas et critères avant l'exécution.

Étape 2 : vérifier l'environnement. Utilisez le compte, les droits et les paramètres envisagés pour le pilote.

Étape 3 : exécuter sans assistance cachée. Notez toute intervention qui modifie le résultat.

Étape 4 : faire relire par le métier. Le relecteur décrit le défaut et sa conséquence.

Étape 5 : traiter les blocages. Une erreur critique déclenche l'arrêt prévu, pas une simple baisse de moyenne.

Étape 6 : tester la reprise. Revenez à la source, corrigez la sortie et simulez l'indisponibilité du service.

Protéger le corpus

Le jeu d'essai suit les mêmes règles de données que l'usage futur. Une copie créée « pour tester » n'échappe pas aux exigences de confidentialité. La fiche France Num-CNIL rappelle de contrôler les données introduites et les résultats produits.

Décider et organiser la réévaluation

Le verdict doit préciser le périmètre accepté, les exclusions, le contrôle et la durée de validité. « Outil validé » est trop large.

Quatre décisions possibles

Autoriser signifie que les preuves répondent aux critères pour l'usage défini. Autoriser sous conditions ajoute une supervision ou réduit le périmètre. Prolonger le test demande des preuves supplémentaires. Refuser signifie que l'usage ne franchit pas les conditions actuelles.

Le guide sur la gouvernance des usages IA aide à attribuer le propriétaire et les revues. La décision mentionne les événements qui déclenchent un nouveau test : version, contrat, connecteur, données, incident ou changement du processus.

Absence explicite d'expérience client. Educasium ne revendique pas ici un taux de réussite obtenu chez un client. Le protocole est un cadre de formation. Les critères et le verdict appartiennent à l'organisation qui teste son usage.

Limites et contre-cas

Un petit corpus ne représente pas tous les futurs dossiers. Les testeurs peuvent aussi devenir plus habiles que les utilisateurs réels. Un pilote court révèle mal le support, la charge et les changements de version. Présentez donc le verdict comme conditionnel et daté.

Si personne ne peut produire une référence ou relire la sortie, le test n'est pas prêt. Si les données nécessaires ne peuvent pas être utilisées légalement ou contractuellement, l'usage ne doit pas être accepté sous prétexte que la fonction semble utile.

Questions fréquentes

Combien de cas faut-il prévoir ?

Il n'existe pas de nombre universel. Cherchez à couvrir les familles d'entrées, les erreurs critiques et les conditions de reprise. Commencez avec un périmètre étroit, puis ajoutez les cas révélés par le pilote. Documentez ce qui reste hors test.

Quel taux de réussite accepter ?

Le seuil dépend de la tâche, de la gravité des erreurs et de la capacité de détection. Une moyenne ne doit jamais masquer un défaut bloquant. Définissez les critères avant l'essai avec le métier et les fonctions concernées. Datez le verdict.

Peut-on automatiser l'évaluation ?

Certaines vérifications de format ou de référence peuvent être automatisées. La qualité métier, l'ambiguïté et la portée d'un engagement demandent souvent une revue humaine. Testez aussi l'outil d'évaluation lui-même. Ne laissez pas un score automatique devenir la seule preuve.

Quand faut-il refaire le test ?

Après une modification importante de version, de contrat, de données ou de processus. Un incident ou un nouveau cas d'usage déclenche aussi une révision. Conservez le corpus et les résultats pour comparer. Un test ancien ne vaut pas pour un environnement différent.

Autoriser un usage précis, pas un outil dans l'absolu

Le test d'acceptation d'un outil IA ferme une question concrète : ce groupe peut-il réaliser cette tâche, avec ces données et ce contrôle, dans cet environnement ?

La formation d'introduction à l'IA et au prompting peut inclure la conception d'un jeu d'essai et la lecture des erreurs. Formation éligible à une prise en charge OPCO/FIF PL sous conditions. Organisme certifié Qualiopi. Pour cadrer le parcours, contactez Educasium.

testqualiteevaluationintelligence-artificielle

Envie d'aller plus loin ?

Découvrez nos formations IA spécialisées pour votre métier.

Voir les formations