// INTELLIGENCE ARTIFICIELLE
Mesurer l’hallucination : construire un jeu d’évaluation
7 min de lecturenijitech
« Le modèle invente parfois » est une observation, pas une mesure. On ne peut pas prétendre avoir corrigé un problème qu’on ne mesure pas. Une méthode pratique.
Article complet
L’une des phrases les plus répandues dans les projets d’IA est celle-ci : « le modèle invente parfois ». C’est une observation, pas une mesure. Elle ne dit ni à quelle fréquence il invente, ni sur quel type de question, ni si le changement d’hier a amélioré ou dégradé la situation.
Or on ne peut pas prétendre avoir corrigé un problème qu’on ne sait pas mesurer. Un jeu d’évaluation — un eval, en abrégé — comble cet écart : une suite de tests faite de questions connues et de réponses attendues, exécutée après chaque changement.
1. Les exemples doivent être réels, pas représentatifs
La première erreur d’un jeu d’évaluation se commet généralement ici : les questions sont inventées au bureau. Ce qui a sa place dans le jeu, c’est l’entrée que le système rencontre vraiment — de vraies questions écrites par des utilisateurs, de vrais documents arrivés, de vrais cas limites survenus.
Ce que contient un bon jeu
- Les cas courants et normaux — c’est là qu’est le gros du volume
- Les cas limites connus : champ manquant, format inattendu, entrée très longue
- Les exemples dont on sait qu’ils ont échoué — chaque bogue corrigé rejoint le jeu
- Les questions dont la réponse devrait être « je ne sais pas »
Ce dernier point est le plus souvent négligé et le plus utile. Qu’un modèle sache quand se taire compte autant que sa capacité à donner la bonne réponse.
2. La réponse attendue doit être écrite
Pour chaque exemple, la bonne réponse est écrite à l’avance. Dans les systèmes qui produisent du texte libre cela paraît difficile, mais dans la plupart des cas ce que l’on peut définir n’est pas la réponse entière : ce sont les éléments qu’elle doit et ne doit pas contenir — « doit donner ce chiffre », « doit citer cette source », « ne doit pas engager sur un prix ».
3. La notation ne doit pas se réduire à un seul chiffre
Un pourcentage de réussite unique est rassurant, et trompeur. Quatre-vingt-dix pour cent ne dit pas dans quels types de question les dix pour cent restants se sont concentrés. Découpez le jeu en catégories et notez chacune séparément : l’endroit de la chute devient visible.
L’hallucination demande une mesure à part : de l’information a-t-elle été produite sans source ? Ce n’est pas la même chose que « la réponse était fausse ». Une réponse fausse est un problème de justesse ; une réponse sans source est un problème de confiance.
4. Le jeu doit tourner après chaque changement
La vraie valeur d’un jeu d’évaluation n’apparaît pas au premier passage mais au second. Quand le modèle change, que l’invite est mise à jour ou que le contexte est élagué, le jeu retourne et vous dit quelle catégorie a régressé.
C’est la même chose que les tests de non-régression en logiciel, à une différence près : en logiciel la même entrée donne la même sortie, avec un modèle ce n’est pas garanti. Le seuil doit donc regarder la moyenne de plusieurs passages, pas un seul.
Par où commencer
Faisable dès la première semaine
- Réunir trente entrées réelles du mois écoulé
- Pour chacune, écrire ce que la réponse attendue doit et ne doit pas contenir
- Répartir les exemples en trois ou quatre catégories
- Le lancer une fois ; ce chiffre n’est ni bon ni mauvais, c’est votre point de départ
Trente exemples paraît peu, mais c’est infiniment mieux que zéro. Le vrai gain commence au second passage.
Produits cités dans cet article
Du glossaire : Hallucination · Jeu d'évaluation (eval)