D6 · Verifying and Evaluating Output

Ce domaine pèse 14 % de l’examen blanc — soit environ 8 des 60 items. C’est là que l’avertissement du domaine 2 (« la fluidité n’est pas l’exactitude ») devient une routine. Il teste si vous traitez chaque sortie exploitable comme un brouillon à vérifier, si vous ajustez la vérification aux enjeux, et si vous savez remonter une affirmation jusqu’à sa source et vérifier une citation correctement. Presque chaque item se ramène à une seule question : qu’est-ce qui pourrait être faux ici, et comment le saurais-je ?

Ce qu’il faut savoir

Parce que le modèle génère du texte probable plutôt qu’une vérité vérifiée, vous êtes responsable de l’exactitude de tout ce sur quoi vous agissez. La vérification devrait être proportionnelle aux enjeux : un brouillon à faibles enjeux nécessite une lecture de bon sens, une sortie à forts enjeux, externe ou réglementée nécessite une vérification ligne par ligne et une étape de revue humaine. Le test de provenance demande d’où vient chaque affirmation et choisit le contrôle suffisant le moins coûteux. Les citations doivent être ouvertes, non crues sur la foi d’un nom au son réaliste. Les erreurs de cohérence interne (totaux, contradictions) sont les moins coûteuses à détecter et ne nécessitent jamais de source externe.

Objectifs d’apprentissage

À la fin de cette page, vous devriez être capable de :

1. Appliquer un protocole de vérification proportionnel aux enjeux.
2. Utiliser le test de provenance pour choisir le contrôle suffisant le moins coûteux pour une affirmation.
3. Vérifier les citations correctement au lieu de faire confiance à leur apparence.
4. Détecter les défaillances de cohérence interne sans sources externes.
5. Décider quand une revue humaine est obligatoire avant d’agir.
6. Éviter les faibles méthodes de « vérification » qui ne sont que des simulacres de contrôle.

6.1 Vérification proportionnelle aux enjeux

Toutes les sorties n’exigent pas la même rigueur. Ajustez l’effort aux conséquences.

Stakes ───────────────────────────────────────────────────────►
Low                      Medium                        High
brainstorm, first        internal memo, customer       external publication,
draft, personal note     email draft, slide deck       legal/medical/financial,
                                                        regulatory filing, pricing
Sanity-read; fix         Verify every number, name,    Line-by-line check;
obvious errors           date, citation; check         independent expert review;
                         internal consistency          documented sign-off

Signaux dans un énoncé qui poussent vers une rigueur élevée : « sera publié », « régulateur », « destiné au client », « contrat », « conformité », « médical », « chiffres financiers », « communiqué de presse », « irréversible », « décision d’embauche ».

6.2 Le test de provenance

Pour toute affirmation qui compte, demandez d’où cela vient-il ? — puis utilisez le contrôle le moins coûteux adapté à la source.

a claim you will act on
   │
   ├─ came from supplied text? ── check the passage
   ├─ came with a citation? ───── open the source
   ├─ came from model memory? ─── verify independently
   ├─ was computed? ──────────── recompute with a tool
   └─ internal (totals)? ─────── recompute; no web needed

Le test de provenance prévient deux erreurs opposées : recourir au web pour vérifier une arithmétique (sur-ingénierie), et faire confiance à une affirmation de mémoire du modèle sans aucune source indépendante (sous-vérification).

6.3 Vérifier les citations

Une citation hallucinée mélange des éléments au son réaliste — un titre plausible, des auteurs d’apparence réelle, un nom de revue réel — autour d’une affirmation que la source peut ne pas étayer, ou qui peut ne pas exister du tout. Le seul contrôle valide est d’ouvrir la source et de confirmer qu’elle existe et dit réellement ce que le modèle affirme.

Une seule citation fabriquée est un drapeau rouge pour l’ensemble de la sortie : dès qu’une échoue, passez du contrôle par sondage à la vérification de chaque citation et de toute affirmation qui en dépend.

6.4 Cohérence interne — le contrôle le moins coûteux

Certaines erreurs ne nécessitent aucune source externe : vous comparez seulement la sortie avec elle-même et ses entrées.

Comme ces contrôles sont gratuits et rapides, ils sont généralement le premier geste sur toute sortie sur laquelle vous allez agir — les attraper avant de dépenser de l’effort en vérification externe.

6.5 Quand une revue humaine est requise

La revue humaine est obligatoire, non optionnelle, dès que l’une de ces conditions est vraie :

1. Irréversibilité — envoyer, publier, payer, supprimer.
2. Domaine réglementé — conseil juridique, médical, financier, RH/embauche, instructions critiques pour la sécurité.
3. Public externe — clients, presse, régulateurs, le public.
4. Données personnelles ou caractéristiques protégées — tout ce qui touche aux PII ou à l’équité.
5. La politique organisationnelle l’exige — de nombreuses politiques d’usage de l’IA nomment des étapes de revue.
6. Contenu nouveau ou à forte incertitude — le modèle opère hors des sentiers battus.

La revue humaine est optionnelle pour le brainstorming interne, les premiers brouillons que vous réécrirez, et la remise en forme de votre propre contenu.

6.6 Faibles contrôles qui ne font que ressembler à une vérification

Plusieurs « contrôles » populaires ne font rien et apparaissent constamment comme distracteurs.

Cadre de décision

Utilisez le protocole enjeux-et-provenance : fixez d’abord les enjeux, puis, pour chaque affirmation, appliquez le test de provenance au niveau suffisant le moins coûteux, et acheminez les sorties à forts enjeux par une étape humaine.

La valeur : il stoppe à la fois la sous-vérification (livrer une sortie à forts enjeux non vérifiée) et la sur-vérification (chercher sur le web pour vérifier une arithmétique), et il commence toujours par les contrôles internes gratuits.

Erreurs fréquentes

Mise en situation

Scénario. Lena rédige un rapport trimestriel destiné au client avec ChatGPT. Il se lit magnifiquement : un tableau récapitulatif des revenus par segment, une recommandation de miser sur le segment B, et quatre sources sectorielles citées. Elle remarque que les lignes des segments totalisent un chiffre différent du total en tête, et que l’une des quatre citations est un rapport qu’elle ne parvient à localiser nulle part. Un coéquipier dit : « ça se lit super bien et on est en retard — envoie-le simplement. » Le rapport part au client et éclaire ses dépenses.

Trace de raisonnement d’expert.

1. Fixer les enjeux. Destiné au client, orientant une décision, difficile à rétracter — c’est une rigueur élevée avec une étape de revue humaine obligatoire. « Ça se lit bien, envoie-le » est le piège de la fluidité et est rejeté d’emblée.
2. Faire d’abord les contrôles gratuits. Le fait que les lignes ne totalisent pas le total en tête est une défaillance de cohérence interne, vérifiable sans source externe — recalculer. À lui seul, cela signifie que le tableau ne peut pas être cru tel quel.
3. Appliquer le test de provenance aux citations. Le rapport introuvable est une probable fabrication ; parce qu’une citation a échoué, la confiance fondée sur l’échantillon s’effondre, donc chaque citation et les affirmations qui en dépendent doivent être vérifiées — pas seulement le mauvais paragraphe.
4. Rejeter les faibles contrôles. Demander au chat « êtes-vous sûr des chiffres ? » réutilise le raisonnement biaisé ; régénérer teste la stabilité, pas la vérité ; baisser la température change la variance, pas l’ancrage.
5. Acheminer l’étape de contrôle. Même après correction, un rapport destiné au client nécessite une validation humaine/experte avant diffusion, et Lena devrait consigner ce qu’elle a vérifié car le client s’y fiera.

Résultat conforme à l’examen : recalculer les totaux, vérifier chaque citation (en traitant toute la sortie comme non vérifiée dès qu’une a échoué), corriger ou retirer les affirmations non étayées, et passer une étape de revue humaine avant l’envoi — sans faire confiance à la fluidité, à une auto-vérification en même conversation, ou à une régénération.

Pièges de l’évaluation

Questions d’entraînement

À retenir

• Vous êtes responsable de l’exactitude de tout ce sur quoi vous agissez ; vérifiez proportionnellement aux enjeux.
• Faites d’abord les contrôles de cohérence interne gratuits — recalculez les totaux, comparez le résumé au corps.
• Utilisez le test de provenance : texte fourni → passage ; citation → l’ouvrir ; mémoire → source indépendante ; calculé → recalculer.
• Ouvrez les citations ; un nom au son réaliste ne prouve rien, et une fabrication invalide l’échantillon.
• Les sorties irréversibles, réglementées, externes ou à données personnelles requièrent une étape de revue humaine.
• L’auto-revue en même conversation, deux IA qui concordent, la régénération et la baisse de température ne sont pas des vérifications.
• Les enjeux suivent l’usage en aval, non l’étiquette « interne » ; sur-vérifier les jetables est aussi une erreur.