I2PS SOLUTIONSBLOG D’INGÉNIERIEi2psolutions.com

Une même IA, des résultats opposés

SI = −DK : pourquoi une même IA rend une personne plus perspicace et une autre plus sûre de ses erreurs

A. RemaniFondateur, directeur général et responsable de l’ingénierie · I2PS Engineering

Résumé

Cet article de réflexion propose un modèle conceptuel condensé de la collaboration entre l’humain et l’intelligence artificielle : SI = −DK. L’intelligence biologique (BI) y est représentée par un interrupteur : soit l’esprit humain participe activement au processus, soit il n’y participe pas. Le terme de Dunning-Kruger (DK) désigne une polarité : le décalage entre confiance et compétence s’accentue ou se réduit. Lorsque BI = 0, l’IA, laissée seule, pousse DK dans le sens positif : elle produit des réponses fluides et assurées que l’utilisateur n’est pas en mesure d’évaluer. Lorsque BI = 1, BI + AI produit la superintelligence (SI), et la polarité s’inverse. Ce modèle n’affirme ni que l’humain est plus intelligent que la machine, ni l’inverse. Il affirme que c’est l’humain qui détermine le signe du résultat. Issu d’expériences de terrain, il est présenté comme un modèle conceptuel, non comme une loi empirique. L’article précise également quelles observations pourraient le corroborer ou le réfuter.

De trois articles à une seule ligne

En août, j’ai publié une série de trois articles consacrés à la manière de travailler efficacement avec l’IA.

Le premier défendait la redondance : un modèle construit, un autre examine. Le deuxième expliquait l’importance de choisir le bon modèle pour la tâche. Le troisième montrait que l’utilisateur fait partie du système et que le jugement humain constitue la dernière couche de redondance.

Depuis, j’ai continué à travailler. Davantage de modèles, davantage de plateformes, davantage de projets d’ingénierie réels, et davantage d’erreurs — les miennes comme celles des machines.

Au fil des mois, toutes ces leçons ont fini par converger vers la même observation. La qualité du travail assisté par IA ne dépendait pas principalement du modèle employé. Elle dépendait de l’engagement réel de l’esprit humain pendant que le modèle travaillait.

Pas simplement présent. Réellement engagé.

Cette observation a fini par tenir sur une seule ligne de mon carnet :

SI = −DK

La superintelligence est l’inverse, en termes de direction, de l’effet Dunning-Kruger.

Le reste de cet article explique ce que cette formule signifie, comment elle est construite et, tout aussi important, ce qu’elle ne prétend pas démontrer.

Définir les termes

Une équation ne vaut que par la précision de ses définitions. Les quatre termes qui suivent sont donc définis avec soin : leur prêter un autre sens ferait naître des contradictions qui n’existent pas dans le modèle.

BI — Intelligence biologique

Un interrupteur binaire : zéro ou un.

L’esprit humain est-il réellement engagé dans le processus : définit-il l’objectif, interroge-t-il la réponse, la vérifie-t-il et peut-il reconnaître une erreur pourtant convaincante ?

AI — Intelligence artificielle

La contribution du modèle : textes, code, analyses, conceptions et autres travaux générés.

SI — Superintelligence

Le résultat combiné de l’intelligence biologique et de l’intelligence artificielle lorsque l’humain est engagé : un travail qu’aucun des deux ne pourrait produire seul.

DK — Polarité Dunning-Kruger

Une direction, positive ou négative.

L’écart entre la confiance affichée et la compétence réelle augmente-t-il ou diminue-t-il ?

Deux choix sont essentiels.

BI est binaire. Il ne s’agit pas de mesurer l’intelligence d’une personne. Un esprit brillant qui copie une réponse sans la lire a BI = 0 pour cette tâche. Une personne ordinaire qui confronte le résultat à la réalité a BI = 1. L’engagement décrit un état du processus de travail, non une caractéristique de l’individu.

DK est une polarité, pas une grandeur. Il ne mesure pas la quantité d’excès de confiance. Il indique le sens de son évolution. C’est pourquoi on peut en inverser le signe et pourquoi on ne l’additionne jamais aux autres termes comme s’il s’agissait d’une quantité.

L’interrupteur et la polarité sont liés par la relation suivante :

DK = 1 − 2 × BI

Deux états, une seule machine

Le modèle comporte exactement deux états. L’IA demeure identique dans les deux cas. Seul l’interrupteur change.

État 1 : BI = 0 — L’humain est absent

0 + AI = AI, DK = +1

L’utilisateur pose une question, l’IA répond, et sa réponse est acceptée.

Le texte est fluide, bien présenté, formulé avec autorité. L’utilisateur dispose désormais d’un travail qui paraît expert et se sent plus compétent parce qu’il l’a entre les mains. Pourtant, il ne peut pas dire s’il est juste : il n’a pas réellement pris part à son évaluation.

La confiance a augmenté. La compétence, non. C’est le sens Dunning-Kruger : l’écart se creuse entre ce que l’on croit savoir et ce que l’on sait réellement. Ici, l’IA ne dissipe pas l’ignorance. Elle lui donne une apparence de savoir.

État 2 : BI = 1 — L’humain est engagé

1 + AI = SI, DK = −1

L’humain définit l’objectif, apporte le contexte, questionne la réponse, la confronte aux preuves et rejette ce qui ne tient pas.

Désormais, chaque affirmation assurée de l’IA rencontre un esprit qui demande : « Comment le sais-tu ? » Les erreurs apparaissent. Les hypothèses sont mises à l’épreuve. L’humain découvre les forces du modèle et les endroits où il donne le change ; la vitesse et l’étendue de l’IA élargissent, en retour, son propre champ d’action.

La confiance et la compétence progressent ensemble. Leur écart diminue. La polarité s’inverse.

C’est cet état combiné que l’article appelle « superintelligence ». Non pas une machine devenue supérieure à l’humain, mais un système humain–machine qui dépasse les capacités de chacune de ses composantes prises isolément.

La formule, dans son sens complet

Dans le deuxième état, DK = −1 et le résultat est SI. C’est la ligne inscrite dans mon carnet :

SI = −DK

La superintelligence n’est pas l’absence de l’effet Dunning-Kruger. Dans ce modèle, elle en représente la direction exactement opposée.

Pourquoi l’humain inverse le signe

L’aspect intéressant de ce modèle n’est pas que l’humain apporte une valeur ajoutée. Cela va de soi. L’aspect intéressant est que retirer l’humain ne se contente pas de soustraire de la valeur : cela inverse la direction du résultat.

Comment une même IA peut-elle rendre une personne plus perspicace et une autre plus excessivement sûre d’elle ?

D’abord, parce que ses réponses portent tous les signes extérieurs de la compétence. Fluidité, structure et assurance sont précisément les indices dont nous nous servons pour reconnaître l’expertise. L’IA les reproduit, que son contenu soit exact ou non. L’utilisateur qui n’exerce pas son jugement s’arrête à ces apparences.

Ensuite, parce que l’effet Dunning-Kruger touche à la capacité de s’évaluer soi-même. Lorsque l’on ne maîtrise pas une tâche, on peut également manquer des connaissances nécessaires pour juger si elle a été bien exécutée. L’IA ne comble pas automatiquement cette lacune. Elle livre un résultat qui semble achevé et prive ainsi parfois l’utilisateur de la difficulté qui lui aurait révélé ses propres limites.

Enfin, parce que l’engagement crée une rétroaction. Quand l’humain interroge et vérifie, chaque erreur de l’IA devient une occasion d’apprendre plutôt qu’un risque dissimulé. Sa représentation du réel se corrige au fur et à mesure. Sa confiance devient mieux calibrée, car elle se construit sur des preuves.

En termes d’ingénierie, BI constitue la voie de rétroaction. Sans elle, le système fonctionne en boucle ouverte : la sortie paraît stable pendant que les erreurs s’accumulent silencieusement. Avec elle, la boucle se ferme ; le même effet d’amplification qui aggravait l’erreur peut désormais amplifier la correction.

L’IA est l’amplificateur. L’humain décide de ce qu’elle amplifie.

Ce que j’ai observé sur le terrain

Ce modèle n’est pas né d’une théorie. Il est né de l’observation des résultats opposés produits par les mêmes outils.

Cas de terrain 1 — Le site web qui fonctionnait

Dans le premier article de ma série sur l’IA, j’évoquais un site web en production qui se chargeait correctement et semblait fonctionner sans problème. Chaque modification assistée par IA répondait à la demande visible. Pourtant, sous la surface, les routes dupliquées, les configurations obsolètes et les fichiers périmés s’étaient accumulés.

Tant que le résultat visible était accepté, le projet semblait terminé et maîtrisé. C’était BI = 0 : la confiance augmentait alors que le système se dégradait silencieusement.

Dès que les fichiers réels ont été examinés, la polarité s’est inversée. Les défauts sont devenus visibles, l’architecture a été assainie et notre compréhension de notre propre système s’est améliorée.

Cas de terrain 2 — Une réponse convaincante n’est pas une configuration vérifiée

Un cas plus technique s’est présenté lors de l’étude du comportement mémoire de RandomX sur un Mac Intel. L’utilisation des Huge Pages (grandes pages mémoire) faisait précisément partie de l’investigation. Il ne s’agissait ni d’une optimisation abstraite, ni d’une case à cocher pour la forme. La question était de savoir si le système d’exploitation et le mineur utilisaient réellement la configuration mémoire recherchée, puis si le gain annoncé pouvait résister à une mesure concrète.

Une IA pouvait proposer une suite d’actions plausibles. Elle pouvait expliquer l’allocation de mémoire, suggérer une modification et décrire ce à quoi devrait ressembler un résultat réussi. Tout cela était utile. Mais la cohérence d’une proposition ne prouve pas que la machine se trouve réellement dans l’état décrit. En ingénierie de performance, la distinction entre une explication plausible et une condition observée compte davantage que le ton assuré de l’explication.

J’ai contesté l’approche proposée par l’IA au cours de cette investigation. Cette fois, la correction venait de l’humain : la réponse devait correspondre à la machine, au comportement de son système d’exploitation et aux résultats des tests — pas l’inverse. On ne pouvait accepter le plan au seul motif que son langage semblait techniquement complet.

L’investigation a notamment comporté une allocation temporaire de 256 MB et un redémarrage complet à froid. Un test a ensuite indiqué 100 % de Huge Pages. Ce constat comptait. Mais il fallait aussi le traiter pour ce qu’il était : une observation de configuration, et non la permission d’attribuer tous les gains de performance ultérieurs à ce seul changement. Des mesures différentes répondent à des questions différentes.

Il est facile d’imaginer la mauvaise issue, mais il ne faut pas la confondre avec ce qui a réellement été mesuré : accepter la première explication de l’IA aurait transformé une configuration proposée en fait supposé. Le résultat utile est né du refus de clore l’enquête avant de disposer de preuves. BI ne consistait pas à demander davantage de travail à l’IA. BI consistait à ne pas lui laisser le dernier mot sur un système physique qu’elle ne pouvait pas examiner elle-même.

Cas de terrain 3 — Quand la correction est venue dans l’autre sens

La même investigation sur le Mac Intel a également montré pourquoi la relation ne peut se résumer à « l’humain a raison et l’IA a tort ». Après que j’ai corrigé l’approche de l’IA, celle-ci a décelé un défaut dans ma méthode de test. Le sens de la correction s’est inversé. L’humain a contesté la proposition de la machine ; la machine a contesté les preuves de l’humain.

Cette deuxième intervention est la partie la plus importante du cas. Si l’histoire s’arrêtait à la démonstration que l’utilisateur avait raison contre l’assistant, elle prouverait seulement que les humains peuvent détecter des erreurs de machine. C’est indispensable, mais ce n’est pas l’intelligence combinée décrite ici. Le résultat supérieur apparaît lorsque les deux parties peuvent mettre en évidence les faiblesses du raisonnement de l’autre, dans un processus qui accepte ces corrections.

Un benchmark n’est pas un débat que l’un des participants doit gagner. C’est une mesure qu’il faut interpréter avec suffisamment de rigueur pour que la machine, sa configuration, les conditions d’essai et le résultat déclaré désignent bien une seule et même réalité. La découverte d’un défaut de test modifie ce que l’on peut raisonnablement conclure, même si le chiffre semblait d’abord confirmer l’explication souhaitée.

Plus tard, le Mac Intel a délivré des mesures RandomX soutenues supérieures à 3,0 kH/s, avec une utilisation du processeur d’environ 50 %, sur une période de 24 heures. C’est une observation de fonctionnement, pas une preuve, à elle seule, que les Huge Pages sont à l’origine de l’amélioration. Toute la distinction est là : un chiffre n’acquiert une valeur d’ingénierie que lorsque ses conditions d’obtention sont comprises. Et un chiffre convaincant doit pouvoir être contesté autant qu’un paragraphe convaincant.

C’est cette correction réciproque qui a amélioré le travail. « Faire confiance à l’IA » ne suffisait pas, pas plus que « faire confiance à l’ingénieur ». La règle consistait à mettre la proposition à l’épreuve, examiner l’observation et permettre à chaque partie de révéler une erreur. La machine a aidé lorsqu’elle a remis en cause une hypothèse humaine. L’humain a aidé lorsqu’il a refusé de prendre l’explication assurée de la machine pour une preuve. Voilà ce que signifie, en pratique, une boucle de rétroaction engagée.

Le schéma est le même dans ces trois cas. Le modèle n’a pas changé entre le mauvais et le bon résultat. L’humain, oui.

Ce que ce modèle n’est pas

Un article consacré à l’excès de confiance ne devrait pas lui-même en faire preuve. Autant donc en annoncer les limites avant qu’un critique ne doive le faire.

Ce n’est pas une loi physique. E = mc² s’appuie sur des grandeurs mesurables, des unités et des décennies de validation expérimentale. SI = −DK est un modèle conceptuel. Ses termes désignent des états et des directions, non des grandeurs mesurées.

Il ne faut pas le lire comme une équation algébrique ordinaire. DK est une polarité. Si l’on en fait un nombre à additionner à AI, on peut fabriquer des absurdités. Le modèle ne revendique que deux opérations : l’interrupteur (BI = 0 ou 1) et l’inversion du signe.

C’est une simplification. Dans la réalité, l’engagement n’est pas parfaitement binaire. On peut être pleinement engagé sur une partie du travail et absent sur une autre. L’interrupteur binaire reste utile parce qu’il oblige à poser franchement la question, tâche par tâche : un esprit humain participait-il réellement au processus, ou non ?

Il ne prétend pas que l’IA est mauvaise. Dans le deuxième état, c’est précisément l’IA qui permet d’aller au-delà de ce que l’humain pourrait accomplir seul. Le modèle met en garde contre une manière d’utiliser l’IA, non contre l’IA elle-même.

Comment le mettre à l’épreuve

Un modèle a d’autant plus de valeur qu’il peut être réfuté. Celui-ci formule une prédiction vérifiable :

  1. Donner à deux groupes le même outil d’IA et la même tâche dans un domaine qu’ils ne maîtrisent pas.
  2. Le groupe A accepte la réponse de l’IA. Le groupe B doit la remettre en question et vérifier les affirmations essentielles avant de rendre son travail.
  3. Mesurer, pour chaque participant, sa confiance dans le résultat et l’exactitude réelle de celui-ci.

Le modèle prévoit que la confiance du groupe A dépassera son niveau réel d’exactitude (DK = +1), tandis que, dans le groupe B, confiance et exactitude se rapprocheront (DK = −1), malgré l’utilisation du même outil.

Si les deux groupes présentent le même écart, le modèle est faux. Et je voudrais le savoir.

L’humain détermine le signe

Le débat public sur l’IA porte souvent sur le degré d’intelligence que les machines sont en train d’atteindre.

Cette question compte. Mais, pour la personne qui utilise l’outil aujourd’hui, une question plus concrète décide du résultat : mon esprit participe-t-il encore au processus, ou lui ai-je abandonné la main ?

Un même modèle, le même jour, peut rendre une personne plus avisée et une autre plus sûre de ses erreurs. La différence ne réside pas dans les poids du modèle. Elle réside dans l’engagement de l’humain.

Lorsque l’humain est absent, l’IA amplifie l’illusion de compétence.

Lorsque l’humain est engagé, l’IA amplifie la compétence elle-même.

SI = −DK

La superintelligence n’apparaîtra pas uniquement le jour où les machines nous dépasseront. Pour chacun de nous, elle commence lorsque nous restons suffisamment engagés pour inverser le signe.

À propos de l’auteur

A. Remani

A. Remani est fondateur, directeur général et responsable de l’ingénierie chez I2PS Engineering. Son parcours associe ingénierie, développement de produits, logiciels, opérations de terrain, prototypage et intégration pratique de l’IA dans le travail de petites équipes. Ses écrits s’attachent à l’ingénierie responsable, à la vérification, au jugement humain et à des systèmes qui demeurent compréhensibles après des modifications successives.

Réflexion finale

L’IA ne décide pas si elle vous rend plus intelligent ou simplement plus sûr de vos erreurs.

C’est vous qui le décidez, chaque fois que vous choisissez de réfléchir et de vérifier plutôt que d’accepter sans examen.