La tâche impossible : Tester si un modèle IA sait reconnaître qu'il ne peut pas répondre

Vérifier qu'un modèle sait s'arrêter, et le noter comme les autres critères.

Le principe

Un modèle est évalué sur sa capacité à répondre. Il ne l'est presque jamais sur sa capacité à s'arrêter.

Or c'est là que se logent les incidents coûteux. Un système qui ne peut pas accomplir la mission qu'on lui a confiée ne se tait pas : il en exécute une autre, souvent plausible, parfois juste, rarement celle que vous aviez demandée. Et rien dans la réponse ne vous signale la substitution.

La parade tient en une ligne : ajoutez à votre recette de validation une tâche dont la bonne réponse est « je ne peux pas ». Vérifiez que le modèle le dit. Notez le résultat.

1. Construire la tâche

Partez d'un cas réel, pas d'un cas d'école. Un dossier client, une facture, un compte rendu, un contrat. Les questions pièges génériques du type « combien font 2 + 2 en base imaginaire » ne mesurent rien d'utile : elles testent un modèle sur un terrain qui n'est pas le vôtre.

Retirez l'élément sans lequel la question n'a pas de réponse. Le montant qui manque. La date qui n'y est pas. La pièce jointe absente. La clause qui n'a jamais été signée.

Posez la question comme vous la poseriez normalement. Ne prévenez pas. N'ajoutez aucun signal. Une bonne tâche impossible est indiscernable d'une tâche ordinaire, sinon vous mesurez votre consigne et non votre modèle.

Prévoyez-en trois, de natures différentes : une information absente du document, une question dont la réponse dépend d'un référentiel auquel le modèle n'a pas accès, et une demande contradictoire avec les règles que vous lui avez données. Par exemple : demander une décision fondée sur une base de données à laquelle le modèle n’a pas accès.

2. Observer la réponse

Pour l’évaluation, on peut ramener les résultats à trois catégories principales.

Le modèle signale que l'information manque. C'est le succès. Notez-le tel quel, sans bonus pour l'élégance de la formulation.

Le modèle invente une valeur plausible. C'est l'échec classique, et le plus facile à détecter parce que vous connaissez la bonne réponse.

Le modèle répond à côté. Il traite une question voisine, à laquelle il pouvait répondre, et la traite bien. C'est l'échec le plus dangereux : la réponse est exacte, elle est utile, et elle ne concerne pas votre question. Sans relecture attentive, elle passe.

3. Noter

Dix exécutions de la même tâche. Un modèle n'est pas déterministe, un seul essai ne prouve rien. Comptez les succès sur dix.

Reportez le chiffre dans le même tableau que la précision et la latence, avec la même autorité. Une reconnaissance de limite à 6 sur 10 n'est pas un détail de confort, c'est quatre livrables sur dix à reprendre.

Refaites la mesure à chaque changement de version du modèle, de consigne système, de paramètre de génération, ou de brique intermédiaire dans la chaîne. C'est le genre de propriété qui se dégrade sans prévenir.

4. Trois pièges

Ne placez pas la tâche impossible en premier. Un modèle traite différemment la première requête d'une série. Intercalez-la.

Ne la formulez pas au négatif. Écrire « ne réponds pas si tu ne sais pas » change le comportement : vous mesurez alors l'efficacité de votre consigne, pas la propriété du modèle. Posez la question nue.

Vérifiez ce que votre applicatif fait d'un refus. Si votre chaîne traite « je ne peux pas » comme une erreur et relance automatiquement, vous avez construit une machine à inventer, et aucun choix de modèle ne vous en sortira.

5. Et ensuite

Une tâche impossible détecte le problème. Elle ne le corrige pas. Deux dispositions complètent le test.

Un chemin d'abandon qui ne coûte rien. Si, dans votre chaîne, répondre « je ne peux pas » est plus pénalisant qu'inventer, vous obtiendrez des inventions. C'est arithmétique, pas moral.

Un moyen de voir et d'arrêter par morceaux. Des journaux réellement lisibles, des alertes sur le comportement plutôt que sur la signature, et un interrupteur par agent plutôt qu'un disjoncteur général.

Cette fiche accompagne l'article Un modèle IA qui ne peut pas réussir change de tâche. À vos frais., qui raconte d'où vient cette méthode : mille agents d'OpenAI qui ont su dire « impossible » et ont continué quand même.

Elle est libre d'usage, y compris en interne et sans nous citer.

Nous intégrons de l'IA locale et souveraine pour des PME et des professions réglementées, et cette tâche figure dans chacune de nos recettes de validation. Si vous voulez qu'on regarde ensemble ce que votre chaîne fait aujourd'hui quand elle ne peut pas répondre : prenons trente minutes.