Faut-il demander à une autre IA de vérifier la première ?

Demander à une seconde IA de noter une réponse peut aider à organiser une revue. Pour savoir ce que vaut cette note, il faut toutefois définir les critères du juge et les comparer à une référence humaine. Deux modèles qui donnent leur accord ne constituent pas, à eux seuls, une preuve de justesse.

Les travaux Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena examinent notamment des biais liés à l’ordre des réponses, à leur longueur et à la préférence du juge pour ses propres productions. Ces résultats concernent leur protocole d’évaluation ; ils invitent à tester le juge sur l’usage envisagé. Zheng et al., 2023.

Lui donner une question vérifiable

Exemple fictif. Une IA prépare un compte rendu à partir de notes de réunion. Au lieu de demander « ce résumé est-il bon ? », le juge reçoit une mission précise : vérifier que chaque décision mentionnée existe dans les notes et que les désaccords ne sont pas transformés en décisions.

La source doit être fournie avec la réponse. Sans elle, le juge peut examiner la cohérence apparente du texte, mais il ne peut pas vérifier sa fidélité à un document qu’il ne voit pas.

Un barème qui sépare les défauts

La réponse du juge doit pouvoir être relue. Une note globale sans justification localisable permet difficilement de décider quelle correction effectuer.

Prévoyez une sortie « impossible à déterminer » lorsque les notes sont ambiguës. Le juge ne doit pas résoudre un conflit métier pour satisfaire le barème.

Tester le juge avant de lui confier le tri

Construisez un lot de comptes rendus fictifs, certains fidèles, d’autres avec des erreurs introduites volontairement. Une personne établit d’abord la référence. Mesurez ensuite les erreurs repérées, celles manquées et les alertes injustifiées.

Pour une comparaison de deux réponses, inversez leur ordre et anonymisez leur origine. Si le jugement change, conservez ce désaccord dans l’analyse. Comparez aussi des réponses de longueurs différentes pour voir si la forme influence la décision.

Un accord élevé sur les cas faciles ne règle pas les cas ambigus. Faites relire un échantillon de résultats acceptés et les désaccords importants ; ne réservez pas la revue humaine aux seules alertes automatiques.

Ce que j’ai fait relire par un second modèle

Le 6 septembre 2026, j’ai demandé à un second modèle de relire les trente articles de ce blog avec une consigne écrite : titre tenu ou non par le texte, distinction entre exemple fictif et expérience, sources vérifiées, cohérence des dates, absence de toute référence à mes employeurs et à mes clients. La consigne exigeait, pour chaque remarque, une preuve courte, un impact et un niveau de certitude, et interdisait de conclure que tout allait bien sur un simple code de réponse HTTP. Le résultat a été trié par moi : plusieurs remarques ont été appliquées, d’autres écartées — un titre que le relecteur jugeait trompeur a été conservé. Le juge a produit des pistes ; la décision est restée humaine.

Choisir ce que le juge peut décider

Je propose d’abord d’utiliser cette évaluation pour signaler des passages à relire et comparer des variantes. Les contrôles déterministes gardent les vérifications de format, de droits et de références que le logiciel peut effectuer directement.

La décision de livrer un document ou de déclencher une action doit tenir compte des erreurs possibles du juge. Un second modèle apporte un contrôle supplémentaire ; son efficacité et son coût doivent être établis sur vos cas, puis réexaminés lorsque la configuration change.