D2 · Output Evaluation and Validation

C’est le domaine le plus lourd de l’examen Associate — environ 13 items sur 60. Il évalue si vous traitez la sortie de Claude comme un brouillon à vérifier plutôt que comme un fait à transmettre. Presque chaque item repose sur une question : qu’est-ce qui pourrait être faux ici, et comment le saurais-je ?

Objectifs d’apprentissage

À la fin de cette page, vous devriez être capable de :

1. Évaluer une sortie sur son exactitude, sa complétude, sa pertinence et sa cohérence.
2. Reconnaître les signatures de l’hallucination, de l’incohérence interne et du biais.
3. Choisir une stratégie de vérification des faits proportionnée aux enjeux.
4. Décider quand la revue humaine est obligatoire plutôt que facultative.
5. Adapter une sortie à un public précis et choisir le bon format de sortie (texte en ligne, artifact, données structurées).

2.1 The four evaluation lenses

Toute sortie peut être auditée sur quatre axes. Les items d’examen ciblent généralement un axe et utilisent les autres comme distracteurs.

2.2 Hallucination – what it is and how it looks

Une hallucination est un contenu fluide et plausible mais non ancré dans l’entrée ni dans la réalité. Les LLM génèrent la continuation la plus probable, pas la plus vérifiée. Les hallucinations se regroupent dans des endroits prévisibles :

• Valeurs numériques précises — pourcentages, dates, prix, décomptes, surtout pour des sujets de niche.
• Citations — titres d’articles, auteurs, URL, jurisprudence, ISBN. Souvent un mélange à consonance réelle d’éléments réels.
• Noms propres — noms de produits, de personnes, de projets internes que le modèle n’a jamais vus.
• Faits de longue traîne — tout ce qui est rare dans les données d’entraînement.
• Combler les lacunes — quand le document source ne contient pas la réponse, le modèle peut malgré tout en produire une.

Le test de provenance

Pour toute affirmation qui compte, demandez : d’où vient-elle ?

Heuristiques pratiques de détection

1. Demandez des sources, puis vérifiez-les. Une citation fabriquée est un signal d’alerte pour le paragraphe environnant aussi.
2. Posez la même question de deux façons. Des réponses divergentes indiquent un faible ancrage.
3. Demandez « qu’est-ce que la matière fournie soutient cela ? » Un modèle ancré pointe vers le texte ; un modèle non ancré répète l’affirmation.
4. Cherchez une précision excessive sur des sujets obscurs. « L’adoption a augmenté de 37,4 % au T3 2019 » à propos d’une petite entreprise est suspect.
5. Comparez les dates à la date de coupure des connaissances du modèle. Les affirmations sur des événements très récents sans recherche web sont suspectes.

2.3 Internal inconsistency

L’incohérence est moins coûteuse à détecter que l’hallucination car vous n’avez pas besoin de sources externes — il suffit de comparer la sortie avec elle-même et avec ses entrées.

Motifs fréquents :

• Un tableau récapitulatif dont les totaux ne sont pas égaux à la somme des lignes.
• Un résumé exécutif recommandant l’option A alors que le corps de l’analyse favorise l’option B.
• Un document traduit où un terme défini est rendu de trois façons différentes.
• Une chronologie où un effet précède sa cause.
• Une liste de « trois risques » comportant quatre items ou deux.

Tactique : demandez à Claude de produire un tableau d’auto-vérification (affirmations vs emplacement des preuves) puis vérifiez ce tableau vous-même. Le tableau rend les incohérences visibles ; votre vérification boucle la boucle.

2.4 Bias

Le biais dans les sorties se manifeste par un cadrage biaisé, des exemples non représentatifs, des hypothèses stéréotypées ou un traitement asymétrique des groupes, fournisseurs ou options.

L’examen attend de vous que vous sachiez que la mitigation du biais est une responsabilité partagée : la conception du prompt le réduit, la revue humaine capte le reste, et des processus de revue organisationnels existent pour le contenu destiné à l’externe.

2.5 Fact-checking proportional to stakes

Toutes les sorties n’exigent pas la même rigueur. Faites correspondre l’effort aux conséquences.

Enjeux ────────────────────────────────────────────────────►
Faibles                 Moyens                        Élevés
brainstorm, premier     note interne, jeu de          publication externe,
jet, chat interne       diapositives, brouillon       juridique/médical/financier,
                        d’e-mail client               dépôt réglementaire, tarifs
Sondage des erreurs     Vérifier tous les chiffres    Vérification ligne par ligne,
évidentes ; lecture     et noms ; ouvrir 1–2 sources  revue SME indépendante,
de bon sens                                           validation documentée

Signaux dans un énoncé qui poussent vers une rigueur élevée : « sera publié », « régulateur », « destiné au client », « contrat », « conformité », « médical », « chiffres financiers », « communiqué de presse », « irréversible ».

2.6 When human review is required

La revue humaine est obligatoire (pas simplement conseillée) dès que l’une de ces conditions est vraie :

1. Irréversibilité — l’action ne peut être annulée (envoyer, publier, payer, supprimer).
2. Domaine réglementé — conseil juridique, médical, financier, décisions RH, instructions critiques pour la sécurité.
3. Public externe — clients, presse, régulateurs, grand public.
4. Données personnelles ou caractéristiques protégées — tout ce qui touche aux PII ou à l’équité.
5. La politique de l’organisation l’exige — beaucoup de politiques d’usage de l’IA nomment explicitement des points de contrôle de revue.
6. Contenu nouveau ou à forte incertitude — le modèle opère hors des connaissances bien établies.

La revue humaine est facultative pour : le brainstorming interne, les premiers jets que vous réécrirez, le formatage ou la restructuration de votre propre contenu, l’analyse exploratoire que vous relancerez.

2.7 Adapting output for an audience

La même analyse a besoin de formes différentes pour des lecteurs différents. L’évaluation inclut la vérification de l’adéquation.

Questions d’évaluation à poser : le niveau de lecture est-il correct ? Le ton est-il correct ? La longueur est-elle correcte ? L’appel à l’action est-il clair ? Y a-t-il surenchère ?

2.8 Choosing the output format

Règle empirique pour l’examen : livrable itératif → artifact ; consommé par une machine → données structurées ; conversationnel → en ligne.

2.9 A repeatable evaluation checklist

Utilisez-la sur tout ce sur quoi vous allez agir :

1. Relisez le brief. La sortie a-t-elle traité chaque partie ? (Complétude)
2. Entourez chaque nombre, nom, date, citation et référence. Vérifiez chacun contre une source proportionnée aux enjeux. (Exactitude)
3. Vérifiez l’accord interne — totaux, résumé vs corps, termes définis. (Cohérence)
4. Vérifiez l’adéquation — public, ton, longueur, format, appel à l’action. (Pertinence)
5. Vérifiez l’équité — traitement symétrique, exemples représentatifs. (Biais)
6. Décidez le point de contrôle de revue — est-ce irréversible, réglementé, externe ou porteur de données personnelles ? Si oui, routez vers une revue humaine avant usage.
7. Consignez ce que vous avez vérifié si la sortie alimente une décision sur laquelle d’autres s’appuieront.

2.10 A verification decision tree

Face à une sortie, un expert la fait passer par un petit nombre de questions. L’arbre ci-dessous transforme les quatre prismes en un tri reproductible.

Vais-je AGIR sur cette sortie (envoyer, publier, décider, payer) ?
│
├─ Non ─► Enjeux faibles. Lecture de bon sens ; corriger les erreurs évidentes ; continuer.
│
└─ Oui ─► L’action est-elle irréversible, réglementée, externe, ou
          touchant des données personnelles / caractéristiques protégées ?
          │
          ├─ Oui ─► Enjeux ÉLEVÉS : vérifier chaque affirmation ; router vers un
          │         point de contrôle de revue humain/SME ; documenter la validation.
          │
          └─ Non ─► Enjeux MOYENS : vérifier tous les nombres, noms,
                    dates, citations ; vérifier la cohérence interne ;
                    un second relecteur pour le ton.

Ensuite, pour chaque affirmation vérifiable, appliquez le test de provenance :

2.11 Completeness and relevance in depth

L’exactitude attire l’attention, mais les défaillances de complétude et de pertinence sont tout aussi fréquentes et plus faciles à manquer parce que le texte se lit bien.

Avant/après — un brief exécutif exact mais non pertinent :

Avant :  Une analyse de 3 pages, lourde en méthode, avec la recommandation en page 3.
         Chaque fait est correct, mais le CFO ne trouve pas la décision.
Contrôle : échec de pertinence + adéquation au public — l’exactitude passe mais pas l’utilité.
Après :  Une page, recommandation et demande dans les deux premières lignes, trois
         puces d’appui, méthode en courte annexe. Mêmes faits, exploitable.

2.12 Common misconceptions

2.13 Scenario walkthrough – a board pack under time pressure

Scénario. Marcus a 90 minutes avant la remise d’un dossier de conseil d’administration. Claude a produit une analyse de marché soignée : un tableau récapitulatif des tailles de segments, cinq sources citées et une recommandation d’entrer sur le Segment C. La prose est fluide et les totaux « ont l’air justes ». Deux des cinq citations renvoient à des rapports à consonance sérieuse. Un collègue dit « ça se lit très bien, envoie-le simplement ». Marcus remarque que les lignes du tableau de segments donnent un total différent du chiffre en tête, et qu’une citation renvoie à un rapport qu’il ne trouve nulle part.

Trace de raisonnement d’expert.

1. Poser les enjeux. C’est destiné à l’externe, cela oriente une décision, et c’est difficile à annuler une fois que le conseil agit. Cela impose une vérification à rigueur ÉLEVÉE et un point de contrôle de revue — « ça se lit très bien, envoie » (le piège de la fluidité) est rejeté d’emblée.
2. Attaquer d’abord la cohérence interne — c’est gratuit. Le fait que les lignes ne totalisent pas le chiffre en tête est une défaillance de cohérence vérifiable sans aucune source : recalculez. Cela seul signifie que le tableau ne peut être cru tel quel.
3. Appliquer le test de provenance aux citations. Le rapport introuvable est une fabrication probable ; une citation fabriquée invalide la confiance par échantillonnage, donc chaque citation et les affirmations qui en dépendent doivent être vérifiées, pas seulement le mauvais paragraphe (rejet de « retirer seulement le mauvais paragraphe »).
4. Rejeter l’auto-vérification en même session. Demander au chat « es-tu sûr de ces chiffres ? » réutilise le raisonnement qui les a produits ; la vérification doit être indépendante (recalculer, ouvrir les sources).
5. Rejeter « baisser la température et régénérer ». Cela change la variance, pas l’ancrage, et gaspille les 90 minutes.
6. Router le point de contrôle. Parce que c’est destiné au conseil, le dossier corrigé nécessite encore une validation humaine/SME avant diffusion.

Décision correcte à l’examen : recalculer les totaux indépendamment, vérifier chaque citation (en traitant toute la sortie comme non vérifiée dès qu’une échoue), corriger ou retirer les affirmations non étayées, et passer un point de contrôle de revue humaine avant l’envoi. Pas faire confiance à la fluidité, pas une auto-vérification en même session, pas un changement de température, pas une correction partielle du seul paragraphe signalé.

Pièges de l’examen dans ce domaine

Questions d’entraînement

Chaque item indique combien de réponses sélectionner. Tentez avant de révéler.

À retenir

• La fluidité n’est pas l’exactitude. Vérifiez tout ce sur quoi vous allez agir, proportionnellement aux enjeux.
• Les hallucinations se regroupent dans les nombres, les citations, les noms propres et les faits de longue traîne.
• Utilisez le test de provenance : document fourni → vérifier le texte ; citation de recherche → l’ouvrir ; connaissances du modèle → vérifier indépendamment.
• Vérifiez la cohérence par rapport aux entrées et au sein de la sortie ; c’est la vérification la moins coûteuse.
• Le biais se mitige par un prompting neutre, des structures symétriques et une revue humaine.
• Les sorties irréversibles, réglementées, externes ou porteuses de données personnelles exigent une revue humaine.
• Le format suit l’usage : artifact pour les livrables itératifs, données structurées pour les machines, en ligne pour la conversation.
• Choisissez la vérification la moins coûteuse et suffisante ; les erreurs de cohérence interne n’ont jamais besoin de sources externes.
• Une sortie exacte peut tout de même échouer sur la complétude ou la pertinence — vérifiez contre le brief et le public.
• Les enjeux suivent l’usage aval ; deux outils d’IA d’accord n’est pas une vérification indépendante.