# Bibliothèque de KPI et de métriques

Un catalogue de KPI IA mesurables par fonction métier avec formules, références et risques de détournement, plus bénéfices tangibles vs intangibles, paires leading vs lagging, métriques d’adoption, un arbre de KPI, des méthodes de construction de référence et des vanity metrics à éviter — pour l’AIB-C01.

import { Tabs, TabItem } from '@prosefly/astro-components';

Voici un catalogue de travail pour la mesure que teste le Domaine 2 (tâches 2.2.1–2.2.4) : des KPI par fonction métier, bénéfices tangibles versus intangibles, indicateurs avancés versus retardés, métriques d’adoption et de santé, un arbre de KPI, et comment bâtir une référence quand il n’en existe aucune. C’est une préparation indépendante. L’examen bêta AIB-C01 ne vous demande pas d’instrumenter quoi que ce soit ; il vous demande de choisir la bonne métrique, de définir une référence défendable, et de repérer une métrique qui mesure l’activité au lieu de la valeur. Chaque formule ici reste à ce niveau de décision.

:::tip[La référence avant le déploiement]
Le discriminant le plus répété du Domaine 2 : une valeur que vous n’avez pas mise en référence est une valeur que vous ne pouvez pas revendiquer. Quand un énoncé dit qu’une équipe veut prouver le ROI *après* le lancement et n’a jamais mesuré l’état antérieur, la bonne réponse reconstruit une référence (§9) — un chiffre d’après seulement n’est pas une preuve.
:::

## Comment les métriques s’articulent

```text
   BUSINESS OBJECTIVE  (e.g. cut cost-to-serve 15%)
          │
          ▼
   VALUE KPI (lagging)  ── cost per contact, ROI, revenue
          │
          ▼
   OPERATIONAL KPI ──── handle time, containment, rework rate
          │
          ▼
   ADOPTION / HEALTH (leading) ── activation, weekly active use,
          │                        task completion, quality score
          ▼
   INSTRUMENTED SIGNAL ── events you can actually count
```

Lisez-le de haut en bas pour concevoir, de bas en haut pour expliquer. Les dirigeants s’intéressent à l’objectif ; les indicateurs avancés près du bas sont ce qui vous dit, au bout de trois semaines, si la valeur retardée du haut arrivera un jour.

## 1. KPI par fonction métier

Chaque KPI ci-dessous porte une définition, une formule, d’où vient la référence, comment fixer une cible, et la façon dont il se fait détourner. Choisissez le plus petit ensemble qui se rattache à l’objectif ; plus de métriques n’est pas plus d’intelligence.

<Tabs>
  <TabItem label="Customer operations">

| KPI | Définition / formule | Source de la référence | Conseil de cible | Risque de détournement |
| --- | --- | --- | --- | --- |
| Containment rate | Contacts résolus sans humain `/` total des contacts | Journaux de self-service actuels | Fixer sous 100 % ; le sur-containment piège les clients | Rediriger les cas difficiles vers une impasse pour gonfler le ratio |
| Average handle time (AHT) | Temps de traitement total `/` contacts traités | Horodatages historiques du CRM | Minutes économisées réalistes, pas zéro | Bâcler la clôture, nuisant à la qualité de résolution |
| First-contact resolution | Résolus au premier contact `/` total | Échantillonnage QA | Améliorer, pas maximiser au détriment de la précision | Marquer les problèmes rouverts comme nouveaux |
| CSAT / CES | Score d’enquête après un contact traité par l’IA | Moyenne d’enquête pré-IA | Égaler ou battre la référence humaine | Sélectionner qui est enquêté |

  </TabItem>
  <TabItem label="Sales &amp; marketing">

| KPI | Définition / formule | Source de la référence | Conseil de cible | Risque de détournement |
| --- | --- | --- | --- | --- |
| Lead conversion | Gagnés `/` leads qualifiés | Cohorte historique du CRM | Gain sur cohorte appariée | Réétiqueter les leads faibles comme non qualifiés |
| Content throughput | Assets produits par période | Production du trimestre précédent | Volume avec un portillon qualité | Volume de brouillons à faible valeur |
| Campaign ROI | (Revenu − coût) `/` coût | Campagne antérieure comparable | Battre la campagne de contrôle | Attribuer un revenu organique à l’IA |
| Cycle time to publish | Jours du brief à la publication | Moyenne historique | Jours économisés | Sauter la revue pour raccourcir le cycle |

  </TabItem>
  <TabItem label="R&amp;D">

| KPI | Définition / formule | Source de la référence | Conseil de cible | Risque de détournement |
| --- | --- | --- | --- | --- |
| Time-to-insight | Jours de la question au résultat validé | Journaux de projet historiques | Réduire, avec vérification de validité | Compter des sorties non validées |
| Experiments per quarter | Expériences terminées par période | Cadence de l’année précédente | Augmenter le débit | Découper une expérience en plusieurs |
| Literature-review time | Heures par revue | Échantillon de time-and-motion | Heures économisées | Revues superficielles pour gagner des heures |

  </TabItem>
  <TabItem label="Software development">

| KPI | Définition / formule | Source de la référence | Conseil de cible | Risque de détournement |
| --- | --- | --- | --- | --- |
| Cycle time | Temps du commit au deploy | Référence DORA | Réduire sans hausse de défauts | Merger du code non relu |
| Change failure rate | Changements en échec `/` total | Historique d’incidents | Maintenir ou réduire | Reclasser les échecs |
| Review throughput | PR relues par période | Moyenne du sprint précédent | Augmenter avec un portillon qualité | Valider les revues sans les lire |
| Defect escape rate | Défauts trouvés en prod `/` total | Historique QA | Réduire | Sous-déclarer les défauts en prod |

  </TabItem>
  <TabItem label="Finance">

| KPI | Définition / formule | Source de la référence | Conseil de cible | Risque de détournement |
| --- | --- | --- | --- | --- |
| Cost per transaction | Coût de traitement `/` transactions | Données du GL et des effectifs | Réduire le coût unitaire | Déplacer le coût vers une autre ligne |
| Close cycle time | Jours pour clôturer les comptes | Journaux de clôture historiques | Réduire les jours | Reporter les rapprochements |
| Forecast accuracy | 1 − `\|`réel − prévision`\|` `/` réel | Erreur de prévision antérieure | Améliorer la précision | Gonfler les prévisions pour paraître précis |
| Invoice exception rate | Exceptions `/` factures | Historique du système AP | Réduire les exceptions | Auto-approuver pour réduire les exceptions |

  </TabItem>
  <TabItem label="HR &amp; supply chain">

| KPI | Définition / formule | Source de la référence | Conseil de cible | Risque de détournement |
| --- | --- | --- | --- | --- |
| Time-to-hire | Jours de la demande à l’acceptation | Historique de l’ATS | Réduire, surveiller la qualité de l’embauche | Baisser le niveau pour combler vite |
| Onboarding time-to-productive | Jours de montée en charge | Référence d’évaluation par le manager | Réduire | Déclarer la montée en charge trop tôt |
| Forecast error (demand) | MAPE vs réel | Données de demande historiques | Réduire le MAPE | Lisser pour masquer les ratés |
| On-time-in-full (OTIF) | Commandes livrées à temps et complètes `/` total | Historique de l’ERP | Améliorer | Assouplir la fenêtre de ponctualité |

  </TabItem>
</Tabs>

Chaque tableau partage une règle : la source de la référence est un chiffre *d’avant*, et chaque KPI a un risque de détournement. Un KPI sans colonne de risque de détournement est un KPI auquel vous n’avez pas assez réfléchi.

## 2. Bénéfices tangibles vs intangibles

La tâche 2.2.1 sépare explicitement les bénéfices. Les bénéfices tangibles se convertissent directement en monnaie ; les intangibles non, c’est pourquoi ils sont écartés des dossiers métier — et pourquoi l’erreur est de ne pas les rendre défendables.

| Type | Exemples | Comment le défendre |
| --- | --- | --- |
| **Tangible** | Réduction des coûts, croissance du chiffre d’affaires, heures économisées × taux chargé, coût d’erreur évité | Rattacher à une ligne du GL ou à un taux d’effectif ; montrer l’avant et l’après |
| **Intangible** | Satisfaction client, productivité des employés, confiance dans la marque, rapidité de décision, réduction du risque | Le remplacer par un proxy : delta CSAT, gain de rétention, temps économisé mesuré par enquête, incidents évités × coût attendu |

La technique pour les intangibles est d’attacher un **proxy mesurable** et, si possible, un pont monétaire prudent. « Les employés sont plus heureux » n’est pas défendable ; « l’eNPS a augmenté de 8 points et l’attrition regrettée a baissé de 3 points, valant environ un remplacement évité par trimestre à £X » l’est. Marquez toujours de tels chiffres comme *indicatifs*.

| Intangible | Proxy défendable | Pont monétaire (prudent) |
| --- | --- | --- |
| Productivité des employés | Heures auto-déclarées + échantillonnées économisées par semaine | Heures × taux horaire chargé × utilisateurs actifs |
| Satisfaction client | Delta CSAT / CES / NPS sur les interactions traitées par l’IA | Gain de rétention × valeur vie client |
| Qualité/rapidité de décision | Temps jusqu’à la décision ; taux de reprise | Valeur d’un cycle plus rapide ; coût de la reprise évitée |
| Réduction du risque | Incidents évités vs taux de référence | Perte attendue évitée × probabilité |

## 3. Indicateurs avancés vs retardés

La tâche 2.2.4 vous demande d’identifier les indicateurs avancés qui *prédisent* le succès. Les indicateurs retardés confirment la valeur après coup ; les indicateurs avancés vous disent tôt si elle arrive. Appariez-les.

| Objectif de programme | Indicateur avancé (précoce, prédictif) | Indicateur retardé (confirme la valeur) |
| --- | --- | --- |
| Réduction du coût de support | Agents actifs hebdomadaires utilisant l’assistant ; taux d’achèvement des tâches | Coût par contact ; AHT ; CSAT |
| Croissance des ventes | Commerciaux adoptant l’outil ; opportunités assistées créées | Taux de conversion ; revenu par commercial |
| Vélocité développeur | Suggestions acceptées ; PR assistées | Cycle time ; change-failure rate |
| Programme de contenu | Brouillons démarrés avec l’IA ; taux de passage en revue | Cycle de publication ; campaign ROI |

Si un indicateur avancé est plat au bout de trois semaines, la valeur retardée n’arrivera pas — c’est tout l’intérêt de le surveiller. Un programme qui ne rapporte que des métriques retardées l’apprend trop tard.

## 4. Métriques d’adoption et de santé

La valeur nécessite l’usage. Ces métriques vous disent si l’outil est réellement bien adopté, et ce sont les indicateurs avancés que la plupart des programmes oublient d’instrumenter.

| Métrique | Définition | Ce dont elle vous avertit |
| --- | --- | --- |
| Activation | Utilisateurs ayant atteint un premier usage réussi `/` provisionnés | Friction d’onboarding ; licences achetées mais inutilisées |
| Weekly active use | Utilisateurs distincts l’utilisant sur une semaine glissante `/` utilisateurs cibles | Enthousiasme du pilote qui s’estompe ; aucune habitude ne se forme |
| Task completion rate | Tâches terminées avec l’IA `/` tâches démarrées | L’outil échoue sur le vrai travail, pas les démos |
| Containment rate | Traité sans transfert humain `/` total | Sur- ou sous-automatisation |
| Escalation rate | Transferts vers un humain `/` total | Là où l’outil atteint ses limites |
| Rework rate | Sorties nécessitant une correction `/` total | Problème de qualité déguisé en productivité |
| Quality sampling score | Échantillon noté par un humain contre une grille | Le chiffre que le CSAT peut masquer |

Le containment et l’escalade sont les deux faces d’une même pièce : lisez-les ensemble, car un taux de containment élevé avec un taux de reprise en hausse signifie que vous piégez les utilisateurs au lieu de les aider.

## 5. Un arbre de KPI travaillé

Partez de l’objectif et décomposez jusqu’à atteindre quelque chose que vous pouvez compter. C’est l’artefact qui relie un objectif de direction à un signal instrumenté, et c’est la forme que l’examen récompense.

```text
OBJECTIVE:  Reduce cost-to-serve in support by 15% in 12 months
   │
   ├── Value KPI:  Cost per contact  (lagging)
   │      │
   │      ├── Driver:  Contacts handled without a human  → Containment rate
   │      ├── Driver:  Time per human-handled contact    → AHT
   │      └── Guardrail: Customer satisfaction            → CSAT (must not fall)
   │
   └── Leading indicators (weeks 1–6):
          ├── Weekly active agents using the assistant
          ├── Task-completion rate on real tickets
          └── Escalation rate trend  (falling = tool coping)
```

Arithmétique travaillée : 500 000 contacts/an à £6.00 chacun = £3.0m. Un taux de containment de 30 % à £0.40 par contact contenu, avec les 70 % restants à un coût réduit ajusté à l’AHT de £5.40, donne 500 000 × (0,30 × 0,40 + 0,70 × 5,40) = 500 000 × (0,12 + 3,78) = £1.95m — une réduction de coût de 35 % *si* le CSAT tient. La métrique garde-fou est la raison pour laquelle l’arbre inclut le CSAT : un gain de coût qui fait chuter la satisfaction n’est pas un gain.

## 6. Références : en construire une quand il n’en existe aucune

La tâche 2.2.2 exige une référence *avant* la mise en œuvre, mais le blocage courant dans la réalité est qu’aucune référence n’a jamais été enregistrée. Il y a quatre façons défendables d’en bâtir une ; choisissez selon la disponibilité des données et le coût.

| Méthode | Comment | Quand l’utiliser | Faiblesse |
| --- | --- | --- | --- |
| **Échantillon de time-and-motion** | Observer/mesurer un échantillon représentatif du processus actuel | Aucun journal historique n’existe | Biais d’échantillonnage ; effet d’observateur |
| **Proxy historique** | Utiliser les journaux système existants (CRM, ERP, ATS) comme état antérieur | Horodatages/enregistrements déjà capturés | Le proxy peut ne pas correspondre à la métrique exacte |
| **Groupe de contrôle** | Faire tourner l’IA pour un groupe, en laisser un autre inchangé, comparer | Vous pouvez répartir de façon juste et éthique | Contamination ; comparabilité des groupes |
| **Déploiement par étapes** | Comparer des cohortes avant et après l’activation progressive | Un lancement big-bang est risqué de toute façon | Les tendances temporelles brouillent la comparaison |

La réponse préférée de l’examen à « nous n’avons pas de référence » est *en construire une maintenant* par la méthode crédible la moins chère — jamais « mesurer après le lancement et supposer que l’écart est l’IA ». Un groupe de contrôle ou un déploiement par étapes est le plus fort car il isole l’effet de l’IA du changement de fond.

## 7. Des métriques qui font bonne figure et ne signifient rien

Les vanity metrics donnent l’impression de progrès et ne prédisent rien. Les reconnaître est une compétence directement testée à l’examen.

| Vanity metric | Pourquoi elle est tentante | Remplacer par |
| --- | --- | --- |
| Nombre de prompts / requêtes exécutés | Grand chiffre, facile à sortir | Task-completion rate ; value KPI |
| Licences achetées | Ressemble à de l’adoption | Weekly active use ; activation |
| Précision du modèle isolément | Technique et impressionnante | Le résultat métier que la précision sert |
| Total des sorties générées | Montre que l’outil est « occupé » | Sorties ayant passé la revue ; rework rate |
| NPS du pilote issu de volontaires | Adopteurs précoces enthousiastes | Score de qualité échantillonné sur tous les utilisateurs |

Le signe d’une vanity metric : elle peut monter tandis que le résultat métier est plat ou en baisse. Si une métrique peut augmenter tandis que le coût par contact et le CSAT ne bougent pas, elle mesure l’activité, pas la valeur.

## Points clés

- Choisissez le plus petit ensemble de KPI qui se rattache à l’objectif ; chaque KPI a besoin d’une formule, d’une référence d’avant et d’un risque de détournement reconnu.
- Rendez les bénéfices intangibles défendables avec un proxy mesurable et un pont monétaire prudent et clairement étiqueté — ne les écartez pas.
- Appariez un indicateur avancé (adoption, achèvement des tâches) à chaque KPI de valeur retardé pour apprendre tôt, pas tard.
- Lisez le containment face à l’escalade et à la reprise ; un taux de containment élevé avec une reprise en hausse signifie que vous piégez les utilisateurs.
- Bâtissez l’arbre de KPI de l’objectif au signal instrumenté, et gardez une métrique garde-fou (comme le CSAT) pour qu’un gain de coût ne détruise pas discrètement la qualité.
- Sans référence, construisez-en une maintenant — time-and-motion, proxy historique, groupe de contrôle ou déploiement par étapes — ne mesurez jamais après le lancement en supposant que le delta est l’IA.
- Une métrique qui peut monter tandis que le résultat métier est plat est une vanity metric ; remplacez-la.