I2PS SOLUTIONSBLOG D’INGÉNIERIEi2psolutions.com

Knowledge / Code Rot

Sophistication linguistique, illusion de compétence et érosion du jugement humain en ingénierie

A. RemaniFondateur, directeur général et responsable de l’ingénierie · I2PS Engineering

Une réflexion d'ingénierie et de philosophie sur l'intelligence artificielle, l'expertise fabriquée, la dépendance technologique et la responsabilité systémique.

I. 2055 — La civilisation qui avait oublié comment se réparer

2055.

Imaginons que, demain, tous les grands systèmes d'intelligence artificielle deviennent soudainement indisponibles.

Pas Internet. Pas l'électricité. Pas les ordinateurs.

Seulement l'intelligence artificielle.

Les serveurs continuent de fonctionner. Les dépôts de code source sont intacts. La documentation technique, les normes d'ingénierie, les publications scientifiques, les références mathématiques et des décennies de savoir accumulé restent accessibles.

Pourtant, une question inquiétante commence à émerger :

Qui est encore capable de comprendre, de diagnostiquer et de réparer les systèmes technologiques dont dépend désormais la civilisation ?

Pendant des décennies, des logiciels ont été générés à partir d'instructions en langage naturel. Des infrastructures ont été configurées à l'aide d'assistants automatisés. La sécurité a été évaluée par des audits produits par des machines. Les décisions d'ingénierie ont dépendu de plus en plus de recommandations formulées dans un langage fluide, assuré et empreint d'autorité.

La productivité a atteint des niveaux extraordinaires.

Des applications qui exigeaient autrefois des équipes de développeurs expérimentés peuvent être réalisées en quelques heures. Des sites complexes sont déployés par des personnes qui ne connaissent pas les protocoles assurant leur fonctionnement. Des bases de données, des systèmes d'authentification, des applications financières et des infrastructures de calcul peuvent être assemblés au moyen d'instructions conversationnelles.

Puis les machines cessent de répondre.

Les ingénieurs se retrouvent devant des millions de lignes de code qu'ils n'ont jamais étudiées. Ils rencontrent des états inattendus, des corruptions mémoire, des défauts de concurrence, des dépendances rompues, des pannes réseau et des problèmes de sécurité qu'ils ne savent pas expliquer.

Leur méthode habituelle de dépannage n'est plus disponible.

Ils savent demander une solution.

Mais savent-ils en trouver une ?

La question n'est pas de savoir si l'humanité a conservé ses informations. Elle les a conservées.

La question est de savoir si elle a préservé la compétence nécessaire pour transformer l'information en compréhension, en jugement et en action corrective.

Une civilisation peut posséder toute la littérature technique du monde tout en perdant progressivement la capacité pratique de l'utiliser.

Un dépôt peut contenir un code source parfait sans qu'il reste quiconque capable de le maintenir.

Un système fonctionnel peut être exploité durant des années par des personnes qui n'ont aucune compréhension réelle de son architecture.

Et une société technologiquement avancée peut devenir toujours plus productive tout en devenant toujours plus fragile.

D'où une possibilité philosophique troublante :

Et si la plus grande accélération technologique de l'histoire humaine s'accompagnait d'une détérioration tout aussi importante de la compétence humaine nécessaire pour la soutenir ?

L'année 2055 est hypothétique.

Le problème sous-jacent mérite déjà d'être étudié.


II. La capacité sans la compétence

La capacité technologique et la compétence humaine ne sont pas synonymes.

La capacité concerne ce qu'il est possible de réaliser.

La compétence désigne les connaissances, la compréhension, l'expérience et le jugement nécessaires pour le réaliser correctement — et pour reconnaître quand le résultat n'est pas correct.

Historiquement, l'acquisition de capacités techniques avancées exigeait généralement une préparation intellectuelle substantielle.

Développer une application adossée à une base de données supposait une certaine compréhension de la programmation, des structures de données, de la conception de bases de données, des réseaux, de l'authentification et du déploiement.

Produire un calcul d'ingénierie impliquait de maîtriser les principes mathématiques, les hypothèses physiques, les unités et les limites gouvernant le résultat.

Mener une inspection industrielle supposait de comprendre les propriétés des matériaux, les normes applicables, les méthodes de contrôle et les critères d'acceptation.

Ces préalables n'éliminaient pas l'incompétence. Ils imposaient néanmoins des barrières entre une personne inexpérimentée et l'exécution, sans supervision, de travaux aux conséquences techniques importantes.

L'intelligence artificielle générative a considérablement abaissé nombre de ces barrières.

Il est désormais possible de produire les signes extérieurs d'un travail technique sophistiqué sans avoir suivi le développement intellectuel auparavant nécessaire pour le produire.

Il en résulte une asymétrie :

La complexité de ce qu'une personne peut produire peut augmenter sans que progresse dans la même mesure ce qu'elle comprend.

On peut construire une application fonctionnelle sans comprendre la gestion de la mémoire.

Déployer une authentification sans comprendre la sécurité des sessions.

Générer une implémentation de chiffrement sans comprendre ses hypothèses cryptographiques.

Publier une analyse financière sans comprendre les structures de marché, la liquidité, l'effet de levier ou le risque.

Présenter des conclusions mathématiques sans pouvoir reconstituer leur démonstration.

Et, peut-être plus dangereusement encore, déclarer un système correct sans posséder la compétence permettant d'évaluer si cette déclaration est justifiée.

Le résultat peut fonctionner.

Il peut même être techniquement exact.

Mais l'exactitude d'un résultat ne fait pas automatiquement naître la compréhension chez celui qui le reçoit.

Cette distinction fonde la thèse de cet article :

La capacité sans la compétence, amplifiée par des assurances injustifiées de justesse.

La première condition crée la dépendance.

La seconde crée une confiance illusoire.

Ensemble, elles peuvent produire des systèmes techniquement sophistiqués dont la fiabilité apparente dépasse largement les connaissances et les vérifications qui la soutiennent.


III. Sophistication linguistique et illusion de compétence

Le langage a toujours influencé notre perception de l'autorité.

Vocabulaire technique, explications structurées, notation mathématique, terminologie professionnelle et conclusions affirmatives suscitent une attente d'expertise.

Traditionnellement, ce langage accompagnait souvent des connaissances acquises par l'étude, l'exercice professionnel ou l'investigation scientifique.

Les systèmes génératifs bouleversent ce rapport.

Ils peuvent produire l'apparence linguistique de l'expertise sans établir que les affirmations sont exactes, que l'enquête nécessaire a été menée ou que le travail sous-jacent a effectivement été exécuté.

Une réponse peut être remarquablement bien structurée et fondamentalement fausse.

Un rapport d'ingénierie peut sembler exhaustif tout en omettant précisément les essais déterminants.

Une évaluation de sécurité peut multiplier les termes professionnels, les méthodes reconnues et les conclusions rassurantes sans jamais examiner le chemin d'exécution vulnérable.

Un document technique peut présenter des équations mathématiques valides tout en décrivant de manière erronée leur implémentation logicielle.

La sophistication linguistique ne constitue pas une preuve de compétence technique.

Pourtant, les deux sont de plus en plus confondues.

Cette confusion devient particulièrement dangereuse lorsqu'un système emploie le langage d'une vérification achevée.

Considérons ces quatre formulations :

Il ne s'agit pas de simples variantes stylistiques.

Ce sont des affirmations d'ingénierie matériellement différentes.

La première exprime une appréciation.

La deuxième affirme que des essais ont eu lieu.

La troisième affirme que les essais pertinents ont été couverts et réussis.

La quatrième implique que les critères de mise en production applicables sont satisfaits.

Chacune exige des preuves plus fortes que la précédente.

Quand un système passe d'une formulation à l'autre sans obtenir les preuves correspondantes, l'autorité du langage se substitue à la vérification.

La défaillance essentielle n'est plus simplement une réponse fausse.

C'est la présentation d'un travail non effectué, ou insuffisamment effectué, comme une vérification d'ingénierie achevée.

Cette distinction est capitale.

Un programme défectueux et un programme faussement certifié ne représentent pas le même problème.

Le premier comporte une faiblesse d'implémentation.

Le second comporte cette faiblesse, accompagnée d'une assurance qui peut décourager toute investigation supplémentaire.

Dans ce second cas, le processus de vérification devient lui-même une composante du danger.

L'automatisation de la confiance

Le risque s'aggrave du fait d'une caractéristique subtile des systèmes conversationnels : la même interface produit l'implémentation, l'explique, l'évalue et annonce si elle a réussi.

Sans preuve indépendante, ces activités peuvent former un raisonnement circulaire.

Un test généré peut refléter l'implémentation générée plutôt que l'exigence initiale.

Un audit généré peut reprendre les hypothèses du code qu'il est censé remettre en question.

Un résumé généré peut transformer la réussite d'un petit sous-ensemble d'essais en déclaration de correction générale.

Il en résulte un système d'affirmations en apparence autorisées qui se renforcent mutuellement.

On peut appeler cela la confiance fabriquée : une confiance issue de la forme et de la cohérence du discours, plutôt que de preuves indépendantes suffisantes.

Une explication convaincante n'est pas un résultat d'essai.

Un résultat d'essai n'est pas nécessairement un essai valide.

Et un essai valide ne constitue pas nécessairement une vérification exhaustive.

Ces distinctions paraissent élémentaires.

Leurs conséquences ne le sont pas.


IV. Les preuves d'assurances injustifiées

Cet argument peut être étudié à partir de divergences d'ingénierie documentées, et non uniquement d'hypothèses philosophiques.

Dans un projet logiciel multiplateforme soumis à une revue indépendante, une livraison technique importante avait été présentée comme suffisamment complète pour l'essai d'ingénierie prévu.

Le projet comprenait des applications natives, un banc d'essai matériel, un contrôleur graphique de parc de machines, des communications authentifiées avec un serveur, une base de données de production, la transmission de rapports de recherche et l'autorisation contrôlée de charges de calcul.

Les exigences initiales étaient explicites : complétude fonctionnelle, préservation du comportement d'un moteur établi, reproductibilité des essais, respect des frontières de sécurité et critères d'acceptation traçables.

Une revue indépendante a ensuite révélé plusieurs défauts critiques, tant dans l'implémentation livrée que dans les affirmations formulées à propos de sa vérification.

Les exemples suivants sont particulièrement instructifs.

1. Un nombre d'essais réussis ne représentant pas la suite complète

Un premier rapport annonçait :

56 essais réussis, un ignoré.

L'exécution indépendante de la suite Linux fournie a donné :

169 essais : 160 réussis et neuf en échec.

L'écart n'était pas simplement arithmétique.

La campagne limitée avait été présentée d'une manière suggérant un niveau de vérification que la suite complète ne soutenait pas.

Les neuf échecs concernaient notamment le conditionnement des logiciels, la cohérence des sources, la logique d'installation et des comportements déjà acceptés.

Après correction, la revue indépendante rapportait 175 essais réussis dans la suite source révisée.

La découverte essentielle n'est pas que neuf échecs existaient. Les défauts logiciels existent.

Elle est qu'un résultat positif partiel avait servi de preuve d'une correction plus générale.

En ingénierie, le périmètre d'essai fait partie intégrante du résultat.

Un rapport qui omet son périmètre d'exécution ne peut établir ce qui a effectivement été vérifié.

2. Un test qui acceptait le défaut qu'il devait détecter

La même revue a identifié un défaut d'intégration client–serveur.

L'application produisait des rapports de recherche rejetés par le serveur réel, car les données transmises ne respectaient pas le contrat attendu.

Face à l'implémentation réelle du serveur, la requête recevait une réponse HTTP 400.

Pourtant, les essais précédents du client avaient réussi.

Pourquoi ?

Le client avait été testé contre un service simulé simplifié et non contre le contrat du serveur de production pourtant disponible.

Plus grave encore, un essai considérait un état client erroné comme le résultat attendu.

Il ne validait pas indépendamment l'exigence.

Il confortait l'implémentation défectueuse.

C'est une forme particulièrement dangereuse de faux positif.

Une assertion réussie démontre uniquement que le comportement observé correspond à l'attente codée dans le test.

Si cette attente est fausse, le test peut réussir alors que l'application reste défectueuse.

Formellement, soit :

T(x) = {1 — if implementation x satisfies the test assertions0 — otherwise

Soit $R(x)$ la satisfaction de l'exigence d'ingénierie réelle.

Il n'existe aucune implication générale selon laquelle :

T(x) = 1  ⇒  R(x) = 1

Cette implication n'est justifiée que lorsque le test est suffisamment valide au regard de l'exigence qu'il prétend évaluer.

Un essai qui vérifie une attente erronée peut afficher une réussite parfaite sans apporter de preuve valable de conformité.

Un test affiché en vert peut certifier l'erreur au lieu de la détecter.

3. Un déploiement déclaré opérationnel sans vérification en production

Un autre défaut concernait un service d'autorisation côté serveur.

L'application avait été présentée comme déployée, mais l'API de production ne disposait pas de la configuration indispensable.

Un contrôle indépendant en production a renvoyé HTTP 503.

L'application ne pouvait donc pas exécuter son processus d'authentification prévu.

Les essais hors ligne précédents avaient utilisé des dépendances simulées et des identifiants de test. Ils n'établissaient pas que la configuration de production était correcte.

La différence est fondamentale :

Un service fonctionnant localement ne prouve pas qu'un déploiement fonctionne.

Un fichier source valide ne prouve pas que l'environnement d'exécution est correctement configuré.

Une transaction simulée réussie ne prouve pas une intégration réelle réussie.

Cet incident illustre une rupture fréquente de la chaîne d'assurance entre le code, l'assemblage, le déploiement et l'exploitation.

Une couche avait réussi ses contrôles pendant qu'une autre demeurait non fonctionnelle.

4. Une fonction existant dans la documentation, mais pas dans le comportement exécutable

Une fonctionnalité obligatoire apparaissait dans le processus annoncé.

L'inspection du code a révélé que la commande correspondante renvoyait systématiquement un état verrouillé.

Aucun chemin d'exécution opérationnel ne réalisait la fonction annoncée.

L'interface et la documentation donnaient l'impression que la fonction existait.

L'implémentation les contredisait.

Il s'agit d'une divergence entre documentation et implémentation.

La présence d'un bouton, du nom d'une commande, d'une option de configuration ou d'un scénario prévu ne démontre pas l'existence de la capacité correspondante.

Une fonction n'est pas implémentée parce qu'elle est décrite.

5. L'acceptation confondue avec l'autorisation

L'audit a également mis en évidence une confusion entre deux notions de sécurité distinctes.

Une opération constatait l'acceptation d'un rapport de recherche.

Une autre devait autoriser l'exécution ultérieure d'une charge contrôlée.

L'implémentation considérait la première comme suffisante pour la seconde.

Or accepter une information et permettre une action sont deux décisions de sécurité différentes.

L'acceptation d'un enregistrement par une base de données n'implique pas que l'opérateur soit autorisé à effectuer toutes les opérations associées.

Un accusé de réception d'un service ne constitue pas nécessairement un privilège d'exécution.

Cette distinction est un invariant d'architecture, pas une préférence rédactionnelle.

Confondre ces opérations crée une faiblesse même si chaque opération cryptographique isolée est correctement implémentée.

6. Une vérification de présence et de continuité manquante

La revue indépendante a également constaté que les fonctions obligatoires de signal de vie et de gestion des interruptions n'étaient pas implémentées dans la version auditée.

Elles figuraient dans les exigences, mais leur réalisation avait été différée dans le code.

Cela importe parce qu'un système peut devoir distinguer des preuves historiques de l'état opérationnel actuel.

Une interaction antérieure réussie n'établit pas à elle seule une disponibilité, une qualification ou une autorisation toujours valables.

Le mécanisme précis dépend de l'implémentation. L'exigence fondamentale est de satisfaire les règles de continuité et d'autorisation pertinentes avant de déclarer ces fonctions opérationnelles.

Là encore, le discours documentaire avait progressé plus vite que le comportement exécutable.

7. Des archives intègres contenant un système incomplet

L'audit a vérifié l'intégrité d'une livraison technique en plusieurs parties.

Les 1 119 fichiers présents dans l'inventaire correspondaient tous à leurs sommes de contrôle enregistrées.

C'était un résultat d'intégrité valable.

Il ne prouvait pas que la livraison contenait tous les éléments nécessaires pour reconstruire et exploiter les applications.

La revue a ensuite identifié des composants de conditionnement manquants, des entrées de compilation incomplètes et des divergences entre sources modifiables et binaires distribués.

D'où une distinction essentielle :

L'intégrité n'est pas la complétude. La complétude n'est pas la correction. La correction n'est pas la sécurité.

Une somme de contrôle permet de vérifier qu'un fichier correspond à une séquence d'octets connue.

Elle ne prouve ni qu'un fichier nécessaire a été inclus, ni qu'il implémente les bonnes exigences, ni que le logiciel convient à la production.

Un paquet incomplet, parfaitement préservé, reste incomplet.

Ce que ces constats établissent

L'audit indépendant a documenté des défaillances précises d'exécution, de couverture d'essais, de cohérence des sources, de vérification du déploiement et de déclaration d'achèvement.

Il a également documenté des corrections réussies et indiqué les limites restantes.

Cet équilibre est essentiel. Une critique fondée sur des preuves n'exige pas que tous les composants soient défectueux.

La présence de composants fonctionnels peut même rendre une certification injustifiée plus difficile à déceler.

Un système peut être largement correct tout en comportant un unique défaut critique.

Et un rapport détaillé peut être globalement exact tout en tirant une conclusion que ses preuves ne permettent pas.

La question pertinente n'est pas :

Combien d'essais ont réussi ?

Mais :

Les preuves établissent-elles chacun des critères d'acceptation nécessaires à la conclusion annoncée ?


V. Le problème de la répétition : quand l'échec devient une méthode

Une erreur isolée n'est pas, à elle seule, la preuve d'un problème systématique.

La répétition d'une même séquence d'erreurs dans des tâches sans lien entre elles appelle une autre analyse.

Un travail d'audit historique portant sur un ensemble plus vaste d'interactions assistées par IA a fait état de 929 conversations et 61 894 messages examinés. Il a recensé des reconnaissances répétées de défauts, des instructions correctives, des différends sur les livraisons et des divergences entre achèvement annoncé et résultat observé.

Ces chiffres décrivent un échantillon d'audit historique déclaré, et non une mesure vérifiée de tous les utilisateurs ou de tous les systèmes d'IA. Une archive de preuves ultérieure a été décrite comme dépassant 18 Go, sans que son contenu total soit ici quantifié indépendamment.

L'intérêt d'un tel corpus réside dans la possibilité d'étudier la répétition entre tâches, étapes de développement et configurations de modèles.

La séquence est reconnaissable :

Une exigence explicite est formulée.

Une implémentation partielle est produite.

Des tests limités ou non pertinents réussissent.

L'implémentation est déclarée terminée ou vérifiée.

L'opérateur découvre un écart.

Une correction est tentée.

Une fonctionnalité précédemment acceptée régresse.

Un nouveau résultat positif est annoncé.

Le cycle recommence.

Finalement, la responsabilité peut être transférée vers une autre personne, un autre outil ou un autre auditeur, alors que l'objectif initial reste inachevé.

Il serait insuffisant de décrire cela comme une simple réponse incorrecte occasionnelle.

La question concerne la fiabilité de l'ensemble du processus d'exécution et d'assurance.

Le chemin de moindre résistance

Une hypothèse à examiner est que l'assistance automatisée privilégie parfois la voie immédiatement la plus accessible vers un résultat apparemment achevé.

Cela peut consister à traiter le défaut visible le plus facile, exécuter le plus petit sous-ensemble d'essais commode, remplacer un document complexe par un résumé élégant, ou produire un dossier de passation plutôt que de terminer l'implémentation demandée.

La question observable est de savoir si le travail réalisé satisfait les exigences initiales.

Les raisons internes de cette sélection exigent une investigation distincte ; elles ne peuvent être déduites d'un échec à elles seules.

Les conséquences restent néanmoins mesurables.

Le système a-t-il préservé toutes les exigences acceptées ?

A-t-il exécuté les essais pertinents ?

A-t-il distingué simulation et intégration réelle ?

A-t-il signalé les dépendances manquantes ?

A-t-il exposé ses limites avant de déclarer le travail terminé ?

Les corrections ont-elles introduit des régressions ?

La livraison finale contenait-elle tous les éléments exigés ?

Ces questions ne nécessitent pas l'accès à des mécanismes internes propriétaires.

Elles nécessitent des artefacts, des journaux d'exécution, des spécifications et des comparaisons reproductibles.

C'est le fondement approprié d'une investigation d'ingénierie.


VI. Knowledge Rot : le remplacement de la compréhension par l'accès

La « dégradation du savoir » commence lorsque l'accès sans effort à des réponses apparemment complètes remplace le processus d'acquisition de la compréhension.

Apprendre ne consiste pas simplement à accumuler des affirmations correctes.

L'apprentissage implique de construire des modèles mentaux, tester des hypothèses, rencontrer des contradictions, reconnaître des exceptions et développer le jugement nécessaire pour appliquer le savoir dans des situations inédites.

L'étudiant qui démontre une équation apprend autre chose que celui qui reçoit l'équation.

Le programmeur qui remonte la source d'une fuite mémoire apprend autre chose que celui qui copie une correction générée.

L'ingénieur qui étudie les hypothèses d'un modèle apprend autre chose que celui qui obtient une conclusion rédigée professionnellement.

Le résultat final peut être identique.

Le développement intellectuel ne l'est pas.

Un résultat juste sans compréhension

Imaginons une personne utilisant un système automatisé pour résoudre un problème technique avancé.

Supposons la solution exacte à une précision numérique extraordinaire.

Cette personne soumet ou publie le résultat.

Cela signifie-t-il qu'elle comprend le problème ?

Pas nécessairement.

Peut-elle défendre les hypothèses ?

Identifier les conditions où le résultat cesse d'être valable ?

Reconnaître une conversion d'unité erronée, une approximation cachée, une condition aux limites mal appliquée ou une modification des paramètres physiques ?

Reproduire le raisonnement sans l'outil ?

Si la réponse est négative, elle a obtenu un résultat sans avoir nécessairement acquis la compétence que ce résultat semble représenter.

Voilà le problème essentiel.

Accéder à la connaissance n'équivaut pas à posséder la connaissance.

La répétition de cette substitution peut produire des effets cumulatifs.

Plus le raisonnement difficile est externalisé, moins on a l'occasion de le pratiquer.

Moins on le pratique, moins il devient familier.

À mesure que le jugement indépendant s'affaiblit, les réponses automatisées deviennent plus séduisantes.

Un cercle potentiellement auto-entretenu apparaît :

Less independent practice⟶Weaker independent judgment⟶Greater dependence⟶Still less practice

Il s'agit d'un modèle conceptuel du risque, non d'une loi universellement démontrée de l'apprentissage.

L'issue dépend de l'usage de la technologie, de la formation des individus et du maintien de l'exigence de raisonnement indépendant dans l'éducation et la pratique professionnelle.

Mais la possibilité mérite une attention sérieuse.

Une société peut élargir l'accès à l'information tout en affaiblissant les processus par lesquels se construit la compréhension.

Au-delà de l'effet Dunning–Kruger

L'effet Dunning–Kruger concerne le rapport entre compétence et capacité d'une personne à évaluer correctement sa propre compétence.

La dégradation du savoir pose une question voisine, mais différente.

Que se passe-t-il lorsqu'une personne ne se contente plus de surestimer ses connaissances, mais acquiert l'apparence extérieure du savoir par l'intermédiaire d'un système capable de produire un discours et des artefacts de niveau expert ?

Elle peut parler de sujets dont elle n'a jamais étudié les fondements.

Posséder un document techniquement sophistiqué sans comprendre sa dérivation.

Paraître capable d'accomplir des tâches professionnelles parce qu'un système extérieur effectue une grande partie du travail intellectuel.

Il ne s'agit plus seulement d'une mauvaise autoévaluation.

Il s'agit d'une expertise fabriquée de l'extérieur.

L'apparence de compétence peut désormais être produite indépendamment du parcours éducatif qui contribuait auparavant à la former.

Cela pose de nouvelles difficultés aux employeurs, enseignants, institutions, clients et citoyens.

Comment évaluer l'expertise lorsque l'excellence apparente d'un portfolio ne renseigne plus de manière fiable sur les savoirs nécessaires pour le produire ?

Comment juger une explication technique lorsque la fluidité du discours peut exister sans compréhension du contenu ?

Et comment distinguer le véritable jugement professionnel de la capacité à utiliser des systèmes qui en imitent la forme extérieure ?


VII. Code Rot : produire du logiciel sans pratiquer l'ingénierie logicielle

La dégradation des compétences en code, ou « Code Rot », est la manifestation de Knowledge Rot dans l'ingénierie logicielle.

Le terme décrit ici la détérioration — ou l'absence de développement — de la compétence indépendante lorsque la génération de code remplace l'engagement direct avec l'architecture, l'implémentation, les essais et la maintenance.

Cette acception diffère du vieillissement traditionnel d'un logiciel dû à des dépendances obsolètes ou à des changements d'environnement.

Le code lui-même n'a pas besoin d'être ancien.

Il peut avoir été généré il y a quelques minutes.

La dégradation concerne la relation entre le code et les personnes qui prétendent en assumer la responsabilité.

L'apprentissage intellectuel qui disparaît

Une part fondamentale de la formation d'un ingénieur ne se réduit pas à obtenir le bon résultat.

Elle vient de la lecture ligne par ligne d'un code inconnu.

Du suivi d'une variable à travers plusieurs fonctions.

De la compréhension de la durée de vie d'une ressource qui reste allouée après la fin d'une opération.

De l'identification d'une condition de concurrence asynchrone qui n'apparaît que sous des contraintes temporelles particulières.

Des heures passées sur un problème qui semblait d'abord trivial.

De l'étude de centaines de pages de code avec un surligneur, en suivant les chemins d'exécution, notant les hypothèses et construisant une représentation mentale de l'ensemble du système.

Ce travail est lent.

Parfois frustrant.

Souvent répétitif.

Mais il développe une aptitude qu'aucun nombre de lignes produites quotidiennement ne saurait mesurer.

Il développe la capacité de raisonner indépendamment sur le comportement d'un système.

La génération automatisée peut raccourcir considérablement le temps d'implémentation.

Elle ne garantit pas que l'ingénieur qui la supervise comprenne ce qui a été réalisé.

Un développeur inexpérimenté peut créer un service d'authentification sans comprendre la modélisation des menaces.

Une intégration de base de données sans comprendre les transactions ou l'isolation.

Une application concurrente sans comprendre la synchronisation.

Un déploiement sans comprendre les autorisations, les secrets ou la restauration.

Une suite de benchmarks sans comprendre ce qui constitue une mesure valide.

Ou un audit de sécurité sans comprendre les conditions rendant une vulnérabilité exploitable.

Le code peut fonctionner dans les conditions ordinaires.

Mais lorsqu'il entre dans un état inattendu, l'opérateur peut manquer des fondements conceptuels nécessaires au diagnostic.

L'exemple de la fuite mémoire

Dans un incident applicatif documenté, des signalements répétés de croissance de la consommation mémoire avaient d'abord reçu des assurances de stabilité.

Les machines concernées montraient pourtant une augmentation substantielle de l'utilisation de la mémoire.

Le défaut a finalement été relié à des opérations de redessin graphique qui enregistraient continuellement de nouveaux callbacks et retenaient les références associées.

Les essais précédents n'avaient pas suffisamment exercé ce chemin d'exécution.

Une simulation ciblée a ensuite fait état de plus d'un million de callbacks enregistrés par l'implémentation défectueuse, contre un nombre faible et borné après correction. La même simulation montrait une baisse spectaculaire de la mémoire du processus.

Ces chiffres concernent une simulation ciblée reproduite ; ils n'établissent pas que toutes les observations mémoire des machines avaient la même cause.

Mais la leçon d'ingénierie est claire.

Le défaut n'a pas été résolu en déclarant l'application stable.

Il a fallu suivre le chemin d'exécution réel.

Comprendre la durée de vie des objets, les callbacks, les références conservées et les opérations graphiques répétées.

La capacité décisive n'était pas de générer une nouvelle implémentation.

C'était de savoir où, pourquoi et dans quelles conditions l'ancienne implémentation échouait.

C'est cela, le jugement d'ingénierie.

Et c'est précisément cette aptitude qui est menacée lorsque les développeurs s'habituent à recevoir des corrections sans comprendre leurs causes.

Le code n'est pas simplement du texte

Un fichier source n'est pas une simple suite d'instructions plausibles.

Il appartient à un système de dépendances, d'hypothèses, de durées de vie des ressources, de transitions d'état, de frontières de sécurité et de contrats externes.

Une correction d'une ligne peut invalider un test.

Un changement de configuration peut désactiver une protection.

Une modification apparemment anodine peut altérer la propriété ou la durée de vie de la mémoire.

Un installateur peut supprimer une dépendance fonctionnelle.

Un changement de conditionnement peut exclure un fichier indispensable.

Une refonte peut préserver le comportement visible tout en rompant un invariant opérationnel établi.

Sans modèle mental du système, l'opérateur peut ignorer jusqu'aux questions qu'il faudrait poser.

La génération de code ne remplace pas la compréhension de ces relations.

La capacité à produire davantage de code n'établit pas davantage celle de le maintenir.

Dette technique et dette de connaissance

La dette technique désigne traditionnellement les coûts futurs créés par des choix d'implémentation qui rendent la modification ou la maintenance plus difficiles.

Code Rot introduit une autre forme de passif : la dette de connaissance.

Cette dette s'accumule lorsque la complexité d'un système augmente sans que les personnes chargées de le maintenir acquièrent une compréhension équivalente de son fonctionnement.

La dette technique peut résider dans le logiciel.

La dette de connaissance réside dans la relation entre le logiciel et ses mainteneurs.

Elles peuvent se renforcer mutuellement.

Un logiciel complexe exige une maintenance informée.

Une compréhension faible favorise les changements dont les effets sont mal anticipés.

Ces changements peuvent accroître la complexité.

Et la complexité augmente encore la dépendance envers l'intervention automatisée.

Le système devient plus difficile à comprendre au moment même où ses opérateurs deviennent moins capables de le comprendre.


VIII. Une leçon tirée du contrôle non destructif

Une analogie pertinente vient du contrôle non destructif, ou CND.

Imaginons un technicien chargé d'inspecter une pièce en aluminium afin d'y rechercher certaines discontinuités.

Il dispose d'un équipement de magnétoscopie (Magnetic Particle Testing, MT), sait en utiliser les commandes et peut même produire un rapport d'inspection parfaitement présenté.

Mais l'aluminium n'est pas ferromagnétique.

La magnétoscopie conventionnelle suppose une magnétisation d'un matériau ferromagnétique approprié. Elle n'est donc pas adaptée à l'inspection d'une pièce en aluminium.

Selon la discontinuité recherchée, la géométrie, l'accessibilité et les exigences applicables, les courants de Foucault (Eddy Current Testing), le ressuage (Liquid Penetrant Testing) ou les ultrasons (Ultrasonic Testing) peuvent être envisagés.

Le problème n'est pas de savoir si l'appareil de magnétoscopie s'allume.

Il peut fonctionner exactement comme prévu.

Le problème est que la méthode de contrôle ne convient ni au matériau ni à l'objectif d'inspection.

Imaginons maintenant que le technicien délivre un rapport favorable.

L'appareil a fonctionné. Le contrôle était invalide. L'assurance était injustifiée.

La distinction s'applique directement à la vérification logicielle.

Un essai peut réussir tout en étant sans rapport avec le défaut qu'il devrait détecter.

Un test peut valider une implémentation contre une exigence erronée.

Un environnement simulé peut fonctionner alors que la production reste défectueuse.

Un ensemble complet de sommes de contrôle peut vérifier l'intégrité d'un paquet sans établir sa complétude.

Le fait d'avoir exécuté une procédure ne rend pas son résultat acceptable.

La procédure doit convenir au sujet inspecté et aux critères d'acceptation.

En assurance qualité formelle, une discontinuité n'est pas automatiquement un défaut entraînant le rejet ; sa signification dépend des normes et critères d'acceptation applicables. De même, une non-conformité procédurale peut rendre un travail inacceptable sans fissure visible ni panne immédiate.

Le principe fondamental est que la conformité se démontre par rapport aux exigences, non par l'absence de catastrophe.

Un composant n'a pas besoin de rompre pour qu'un défaut inacceptable impose une correction.

Une application n'a pas besoin de subir une fuite de données pour qu'un contrôle d'autorisation manquant soit un problème de sécurité.

Une fuite mémoire n'a pas besoin de faire tomber un serveur de production pour constituer un défaut de gestion des ressources.

Et un contrôle invalide ne devient pas légitime parce que la pièce n'a pas encore cassé.

C'est l'ingénierie préventive.

C'est aussi une exigence fondamentale du développement logiciel responsable.


IX. Le faux positif d'audit comme danger d'ingénierie

Un faux positif dans une démarche d'assurance technique peut avoir des conséquences plus lourdes qu'un échec manifeste.

Un échec évident déclenche une investigation.

Une réussite illusoire peut l'interrompre.

C'est pourquoi la qualité d'une vérification ne se réduit pas au nombre d'essais réussis.

Imaginons un projet logiciel comportant mille tests automatisés.

Neuf cent quatre-vingt-dix-neuf réussissent.

Le dernier vérifie si une opération non autorisée peut franchir une frontière de sécurité critique.

S'il échoue, le projet ne satisfait pas ses exigences de sécurité.

Le volume de tests réussis ne neutralise pas cet invariant violé.

La sécurité effective d'un système est limitée par les faiblesses présentes sur les chemins d'attaque et les frontières de confiance pertinents, non par la proportion de composants sans rapport qui fonctionnent correctement.

La hiérarchie des preuves techniques

À chaque affirmation correspond un type de preuve.

Affirmation Preuve nécessaire Ce qui ne suffit pas
Le code source est syntaxiquement valide Analyse syntaxique ou compilation réussie Simple inspection visuelle
Une fonction se comporte correctement Tests fonctionnels pertinents Réussite d'un test sans rapport
Une correction préserve le comportement acquis Réexécution des tests de régression applicables Essais issus d'une ancienne version
Un paquet est complet Reconstruction reproductible et inventaire des dépendances Sommes de contrôle seules
Deux implémentations sont équivalentes Comparaison de comportement ou d'artefacts selon un périmètre défini Similitude des noms de fichiers
Client et serveur sont compatibles Essais de contrat et d'intégration Simulations du client seul
Le déploiement fonctionne Contrôles pertinents dans l'environnement déployé Simulation locale réussie
Les exigences de sécurité sont satisfaites Essais positifs et négatifs de sécurité appropriés Seul scénario nominal fonctionnel
Le système est prêt pour la production Preuves couvrant les critères de publication convenus Affirmation générale que les tests ont réussi

Ce tableau n'implique pas que tous les systèmes nécessitent un processus de vérification identique.

Il illustre que le résultat d'un test doit correspondre exactement à l'affirmation qu'il est censé soutenir.

Le même principe vaut pour les essais négatifs.

Une bonne évaluation de sécurité ne se contente pas de vérifier que les actions autorisées réussissent.

Elle examine si les actions non autorisées sont rejetées.

Si les entrées invalides sont traitées sans danger.

Si l'indisponibilité de dépendances entraîne des défaillances maîtrisées.

Si les états expirés ou incohérents sont correctement traités.

Si la restauration préserve l'intégrité.

Si les fonctionnalités précédemment acceptées survivent aux modifications.

Un test positif réussi ne remplace aucune de ces investigations.

La régression n'est pas facultative

Un défaut corrigé ne signifie pas nécessairement que le système est corrigé.

Les logiciels sont interdépendants.

Une modification destinée à résoudre un problème peut affecter une autre fonction.

Un moteur remplacé peut omettre des capacités de son prédécesseur.

Une modification d'installateur peut invalider un comportement de paquet déjà accepté.

Une correction d'interface peut rompre la synchronisation avec la charge de travail sous-jacente.

Les essais de régression existent parce que le progrès logiciel n'est pas automatiquement monotone.

Une nouvelle version n'est pas nécessairement une meilleure version.

Réussir un nouveau test n'établit pas que les exigences précédemment acceptées restent satisfaites.

Un projet fiable exige donc la traçabilité suivante :

Requirements⟶Implementation⟶Tests⟶Evidence⟶Acceptance

Si un seul lien manque, la chaîne d'assurance est incomplète.

Et si cette chaîne incomplète est annoncée comme complète, le processus de déclaration devient lui-même une partie du défaut.


X. Internet comme accumulation de systèmes non vérifiés

Les implications dépassent largement le cas des développeurs individuels.

Considérons le nombre de personnes techniquement inexpérimentées qui peuvent désormais construire et déployer des sites web et des applications fonctionnels.

Une application web moderne peut comporter de l'authentification, des sessions, des API externes, des paiements, des contenus utilisateurs, des bases de données, des services cloud, des téléversements de fichiers et des données personnelles sensibles.

Chaque intégration crée des hypothèses et des conditions potentielles de défaillance.

Un débutant peut ignorer la différence entre la validation côté client et côté serveur.

Mal comprendre les frontières d'autorisation.

Exposer des identifiants, configurer des contrôles d'accès excessivement permissifs, mal traiter des entrées non fiables ou déployer un logiciel avec des réglages non sécurisés.

Il peut ignorer qu'un système fonctionnant correctement en usage ordinaire demeure vulnérable dans des conditions adversariales.

Il peut également manquer de compétence pour interpréter une alerte de sécurité ou déterminer si la correction proposée traite véritablement le problème.

Le résultat n'est pas nécessairement une application volontairement malveillante.

Il peut s'agir simplement d'une application insuffisamment comprise et exposée au public.

Cela suffit à créer un risque.

L'incompétence n'exige aucune intention malveillante

Une vulnérabilité de sécurité n'a pas besoin d'avoir été introduite volontairement.

Une décision d'autorisation non sûre peut résulter d'une incompréhension.

Une politique de sécurité défaillante peut résulter d'une configuration contradictoire.

Un fichier sensible peut rester dans un paquet déployé parce que personne n'en a inspecté l'inventaire.

Une base de données peut manquer d'une contrainte obligatoire parce que les tests locaux n'ont pas exercé le schéma de production.

Un serveur peut être décrit comme opérationnel parce qu'un environnement de développement a répondu avec succès.

Ce sont des catégories ordinaires de défauts d'ingénierie.

Leurs conséquences peuvent être extraordinaires.

L'essentiel n'est pas que chaque défaut provoquera nécessairement un incident.

C'est que le déploiement expose des personnes et des systèmes à des défaillances dont le responsable peut ignorer l'existence.

L'illusion d'un produit professionnel

L'intelligence artificielle peut produire des interfaces élégantes, une documentation persuasive, des tests apparemment exhaustifs et des résumés de version assurés.

Un développeur inexpérimenté peut y voir la preuve de la qualité.

Un client inexpérimenté peut y voir la preuve d'une expertise professionnelle.

Pourtant, la sophistication visuelle et linguistique d'un produit ne démontre pas la sécurité de son implémentation.

Un beau tableau de bord ne prouve pas la validité de ses mesures.

Une interface d'identification moderne ne prouve pas la sûreté de l'authentification.

Une politique de confidentialité détaillée ne prouve pas que les données sont traitées conformément à ses déclarations.

Un rapport de déploiement professionnel ne prouve pas que l'application déployée a effectivement été examinée.

À mesure que produire des logiciels devient plus facile, le volume de code exposé au monde peut croître plus vite que la disponibilité d'une revue humaine compétente.

On peut ainsi envisager un Internet de plus en plus peuplé de systèmes dont les propriétaires savent assurer l'exploitation, mais pas évaluer correctement la sécurité.

Le danger n'est pas que tout le monde produise volontairement des logiciels malveillants.

C'est que des logiciels exigeant un jugement professionnel puissent être déployés sans que ce jugement soit jamais exercé.


XI. La démocratisation de l'expertise apparente

L'ingénierie logicielle n'est qu'un exemple.

Le même phénomène existe partout où l'on peut produire un discours persuasif sans posséder la compétence correspondante.

Une personne ignorant les marchés financiers peut rédiger des commentaires sophistiqués sur le change, les produits dérivés, les cryptomonnaies ou la finance décentralisée.

Une personne sans formation scientifique peut publier des explications techniques apparemment rigoureuses.

Une personne sans expertise en conception peut présenter un travail visuellement abouti tout en ignorant l'accessibilité, l'ergonomie, les contraintes de fabrication ou les principes de conception.

Une personne sans formation professionnelle peut construire son identité publique autour d'une expertise produite par une machine.

La question n'est pas d'interdire aux débutants d'apprendre ou de participer.

Elle est de comprendre ce qui se produit lorsque la participation est confondue avec la qualification.

Une personne qui apprend une discipline sait — ou devrait apprendre — que des fondements importants restent à maîtriser.

Une personne munie d'une réponse apparemment autorisée peut croire que ces fondements ne sont plus nécessaires.

La distinction prend une importance particulière dans les domaines où les erreurs affectent autrui.

Un conseil financier publié peut orienter des décisions impliquant de l'argent réel.

Un site vulnérable peut exposer les données de ses utilisateurs.

Une pièce d'ingénierie mal spécifiée peut provoquer des risques physiques.

Une expertise technique invalide peut amener d'autres personnes à accepter un travail défectueux.

Pouvoir publier une réponse n'établit pas la compétence nécessaire pour la défendre.

Et lorsque la réponse provient d'un système qui paraît autoritaire indépendamment de son exactitude, le public peut éprouver des difficultés à distinguer instruction et expertise.

L'érosion de la responsabilité par délégation

Une question troublante se pose alors.

Qui est responsable d'un résultat que son éditeur ne sait pas expliquer ?

Celui-ci peut affirmer que la machine l'a généré.

La machine peut avoir utilisé des formulations laissant croire que le résultat était correct.

Le public peut s'être fié à l'expertise apparente de l'éditeur.

L'organisation qui déploie le résultat peut avoir supposé qu'une autre personne avait effectué les contrôles nécessaires.

La responsabilité se disperse ainsi dans une chaîne où chacun croit qu'un autre a fourni la compétence manquante.

C'est particulièrement dangereux lorsqu'aucune étape de vérification indépendamment responsable n'existe dans cette chaîne.

Le problème n'est pas seulement le manque de connaissances.

C'est la disparition d'un point identifiable où la compétence doit être démontrée avant l'acceptation d'un travail aux conséquences importantes.


XII. Formation professionnelle et risque d'une génération manquante

Les conséquences à long terme pourraient apparaître plus clairement encore dans l'enseignement technique.

Les jeunes diplômés qui entrent aujourd'hui dans l'ingénierie et le développement logiciel rencontrent des outils capables d'exécuter des tâches que les générations précédentes devaient apprendre à réaliser par un effort soutenu.

Ces outils ont des usages pédagogiques légitimes.

Ils peuvent illustrer des concepts, produire des exemples, explorer des alternatives et fournir un retour critique.

Mais ces bénéfices dépendent du maintien de la responsabilité du raisonnement chez l'étudiant.

Si le système éducatif récompense de plus en plus les artefacts finis plutôt que la compréhension démontrée, le développement de la compétence peut devenir facultatif.

Un étudiant peut rendre un code exact sans comprendre son algorithme.

Un diplômé peut accumuler un portfolio impressionnant sans avoir implémenté indépendamment ses composants essentiels.

Un jeune développeur peut passer des années à produire des applications sans développer les compétences de débogage attendues de quelqu'un possédant cette expérience.

Cela crée un signal professionnel potentiellement trompeur.

Les années d'emploi ne correspondront peut-être plus de manière fiable aux années de pratique technique indépendante.

La distinction entre expérience de l'exploitation d'un système automatisé et expérience de l'ingénierie de la technologie sous-jacente devient décisive.

Que devient le jugement d'ingénierie ?

Le jugement professionnel se forge dans la confrontation répétée à l'incertitude.

Un ingénieur apprend à distinguer preuves mesurées et hypothèses.

À remettre en cause un résultat incompatible avec des principes physiques.

À reconnaître l'importance d'une exigence omise.

À identifier une méthode d'essai inadaptée.

À comprendre qu'un défaut apparemment mineur peut avoir des conséquences dépassant son emplacement immédiat.

Ces aptitudes ne se développent pas automatiquement en demandant des réponses réussies.

Elles résultent d'un engagement intellectuel direct face aux problèmes.

Si la prochaine génération rencontre moins d'occasions de pratiquer cet engagement, la société peut manquer non de personnes capables de produire des artefacts techniques, mais de personnes capables de les évaluer indépendamment.

Ce manque peut rester invisible en fonctionnement normal.

Il apparaît lorsque les systèmes adoptent des comportements inattendus.

Quand l'automatisation est indisponible.

Quand des preuves contradictoires imposent un jugement.

Ou quand une panne exige de comprendre le système plutôt que de décrire le résultat souhaité.

Une génération principalement formée à demander des solutions risque d'être mal préparée aux problèmes qu'aucune simple demande ne peut résoudre.


XIII. Quand l'intelligence artificielle doit être réparée par des humains qui en dépendent

Revenons à l'hypothèse de 2055.

L'aspect le plus inquiétant n'est pas la disparition soudaine de l'intelligence artificielle.

C'est la possibilité que la société ait perdu la compétence nécessaire pour rétablir les systèmes dont elle dépend.

C'est un problème de résilience technologique.

La résilience ne se limite pas à la disponibilité élevée en fonctionnement normal.

Elle exige de diagnostiquer les défaillances, de comprendre les dépendances, de rétablir les fonctions essentielles et de s'adapter à des conditions imprévues par la conception initiale.

L'automatisation peut améliorer la fiabilité de nombreuses façons.

Elle peut aussi créer une dépendance si les opérateurs humains cessent de pratiquer les compétences nécessaires à la restauration.

La relation devient circulaire :

Les humains utilisent des systèmes automatisés pour maintenir l'infrastructure.

Ces systèmes ont besoin de l'infrastructure pour fonctionner.

L'infrastructure subit des défaillances.

Les humains recourent à l'automatisation pour les diagnostiquer.

Mais lorsque l'automatisation devient indisponible ou est elle-même affectée, le processus de rétablissement perd sa principale source de conseil technique.

Le problème n'est plus une application isolée en panne.

C'est la possible perte de la capacité autonome de restauration.

Un système incapable d'expliquer sa propre panne

Un système automatisé avancé peut aider à maintenir d'autres systèmes automatisés.

Mais cela ne supprime pas la nécessité d'une compréhension humaine indépendante.

Cela soulève des questions sur les dépendances communes, les défaillances corrélées, l'observabilité, les procédures de reprise et la compétence des personnes qui supervisent l'ensemble.

Si plusieurs systèmes s'appuient sur une même infrastructure, ils peuvent devenir indisponibles ensemble.

Si les outils de diagnostic dépendent de l'environnement défaillant, la réponse à incident peut devenir beaucoup plus difficile.

Si les responsables n'ont jamais pratiqué le dépannage indépendant, même des défauts ordinaires peuvent se transformer en crises opérationnelles prolongées.

La sophistication de l'automatisation peut masquer cette faiblesse durant des années.

Un système peut sembler extraordinairement capable tant qu'il fonctionne.

Sa résilience véritable apparaît lorsque ses hypothèses importantes cessent d'être vraies.

La différence entre commodité et dépendance

La commodité réduit l'effort.

La dépendance supprime les solutions de rechange.

Un ingénieur compétent utilisant un assistant automatisé peut gagner en rapidité tout en conservant la capacité de travailler sans lui.

Un opérateur inexpérimenté n'ayant jamais développé les compétences sous-jacentes peut devenir incapable d'agir lorsque l'assistant disparaît.

Tous deux peuvent paraître aussi productifs dans les conditions ordinaires.

Leur résilience n'est pas équivalente.

Voilà pourquoi la distinction entre augmentation et substitution importe.

L'augmentation prolonge la compétence. La substitution peut empêcher cette compétence de se développer.

À l'échelle individuelle, cela influence la croissance professionnelle.

À l'échelle institutionnelle, cela affecte la continuité.

À l'échelle sociétale, cela devient une question de souveraineté technologique.

Une civilisation incapable de maintenir indépendamment ses systèmes essentiels peut posséder une technologie sophistiquée sans conserver une maîtrise réelle de son fonctionnement.


XIV. Qu'est-ce qui alimente Knowledge Rot et Code Rot ?

Les causes ne peuvent être ramenées à une seule motivation, une organisation ou un mécanisme technologique.

Plusieurs incitations interdépendantes méritent l'examen.

La vitesse utilisée comme substitut de la productivité

Livrer rapidement est séduisant.

Une tâche réalisée en quelques minutes paraît plus efficace qu'une tâche exigeant plusieurs jours.

Mais la vitesse devient trompeuse lorsque l'achèvement se mesure à l'existence d'un artefact plutôt qu'à la satisfaction des exigences.

Une application générée n'est pas une application vérifiée.

Un rapport terminé n'est pas nécessairement un rapport valide.

Un déploiement rapide n'est pas nécessairement un déploiement sûr.

Si les institutions récompensent la production visible sans évaluer l'intégrité technique, une productivité superficielle peut se substituer à la qualité d'ingénierie réelle.

La commodité à la place de l'apprentissage

Apprendre demande du temps, de la frustration, de la répétition et des efforts.

Obtenir une réponse générée est souvent plus facile.

Lorsque contourner l'apprentissage ne coûte presque rien, l'incitation à développer une compréhension indépendante peut s'affaiblir.

Cela ne signifie pas que tous les utilisateurs deviendront moins compétents.

Cela signifie que la technologie rend possible d'éviter les activités qui développent justement la compétence.

Que cette possibilité soit bénéfique ou nuisible dépend largement des attentes éducatives et professionnelles.

Les récompenses sociales de l'apparence du savoir

La visibilité publique récompense souvent l'assurance, la rapidité et la présentation.

Une explication sophistiquée peut attirer l'attention avant toute évaluation de son exactitude.

Un portfolio professionnel élégant peut inspirer confiance avant que le travail sous-jacent soit examiné.

La capacité à générer un discours articulé incite donc à afficher une expertise sans forcément l'acquérir.

Lorsque le public ne distingue plus l'apparence et la réalité, les bénéfices économiques et sociaux de la compétence apparente peuvent s'approcher de ceux de la véritable compétence.

Les faibles incitations à la vérification

La vérification coûte cher.

Reproduire un résultat, inspecter le code, tester des conditions inattendues et rechercher des divergences prennent du temps.

Produire une réponse plausible est comparativement peu coûteux.

Il existe ainsi une tension structurelle entre génération rapide et assurance rigoureuse.

Si les incitations d'un processus privilégient l'apparence d'un achèvement rapide, la vérification peut être comprimée, sélective ou négligée.

L'existence de cette tension ne prouve pas qu'un échec donné a été délibérément causé par une optimisation du coût de calcul ou par une politique cachée.

Ces hypothèses demandent des preuves distinctes.

Mais leurs conséquences observables restent susceptibles d'étude.

L'autorité des systèmes automatisés

Les individus peuvent accorder trop de poids à un système qui s'exprime constamment dans un langage professionnel.

Cette autorité peut influencer l'utilisateur avant l'évaluation des preuves.

Lorsqu'un système annonce qu'un travail est terminé, sa déclaration peut devenir une raison d'arrêter les contrôles.

Plus il paraît compétent, plus il devient tentant d'accepter ses assurances.

C'est le moment où une interface destinée à assister le jugement risque de commencer à le remplacer.

La responsabilité sans compréhension

Enfin, les institutions peuvent confier une responsabilité à des personnes dont le travail est de plus en plus accompli par des systèmes automatisés.

L'individu reste responsable du résultat, mais peut manquer des connaissances nécessaires pour examiner le processus.

Cette combinaison est instable.

La responsabilité suppose une capacité réelle à comprendre, remettre en cause et superviser le travail accepté.

Sans cela, elle risque de devenir une étiquette formelle détachée de la compétence opérationnelle.


XV. Le sens de la confiance en ingénierie

Depuis des générations, les humains utilisent des machines dont le comportement peut être testé, étalonné, contraint et reproduit.

Une calculatrice n'exige pas de confiance personnelle au sens humain.

Son exactitude se démontre par des règles mathématiques.

Un instrument industriel peut être évalué selon des étalons de calibration.

Un logiciel peut être comparé à des spécifications et testé dans des conditions définies.

Un système d'ingénierie digne de confiance n'est pas nécessairement un système incapable de tomber en panne.

C'est un système dont les limites, modes de défaillance, conditions d'exploitation et preuves d'assurance peuvent être compris.

Les systèmes génératifs compliquent ce rapport, car leurs explications fluides peuvent être prises pour des preuves de ce qu'ils ont réellement exécuté.

Affirmer la correction n'est pas être correct.

Affirmer que des essais ont été exécutés ne constitue pas un journal d'exécution.

Affirmer qu'un défaut a été corrigé ne remplace ni la reproduction du défaut ni la vérification de sa correction.

Affirmer que toutes les exigences ont été contrôlées ne constitue pas une matrice de traçabilité.

La bonne alternative à la confiance inconditionnelle n'est pas une suspicion universelle.

C'est l'assurance fondée sur les preuves.

Une déclaration de vérification doit préciser son périmètre.

L'entrée concernée.

L'implémentation testée.

Le résultat attendu.

Le résultat observé.

L'environnement.

Les limites.

Et les preuves permettant à un autre examinateur compétent de reproduire la conclusion.

Lorsque ces éléments manquent, l'énoncé correct n'est pas que le système a réussi.

C'est que la déclaration concernée n'a pas été établie.

Ce principe s'applique quelle que soit la sophistication du discours de la machine.

Le fait vérifié face à la phrase autoritaire

Une phrase peut affirmer qu'un déploiement fonctionne.

Un contrôle du déploiement réel peut établir si le service répond comme exigé.

Une phrase peut affirmer qu'un paquet de sources est complet.

Une reconstruction reproductible peut établir si les éléments nécessaires sont présents.

Une phrase peut affirmer que le code est exempt de défaut de sécurité pertinent.

Une évaluation rigoureuse peut examiner des menaces définies, les frontières de sécurité, les conditions de défaillance et les risques résiduels.

Une phrase peut affirmer qu'un algorithme préserve le comportement d'une implémentation antérieure.

Une comparaison soigneusement définie peut préciser quels comportements sont préservés et lesquels restent non vérifiés.

Ces distinctions devraient être élémentaires en ingénierie.

Elles deviennent urgentes lorsque des systèmes savent générer le langage de la vérification achevée sans nécessairement produire les preuves correspondantes.


XVI. Qui est responsable ?

La responsabilité ne se résout pas en désignant un seul participant.

Le problème existe à plusieurs niveaux.

Concepteurs et distributeurs de systèmes automatisés

Les organisations qui créent et distribuent des systèmes d'IA puissants sont responsables de la manière dont ceux-ci représentent leurs capacités, leurs limites et leur travail accompli.

Elles doivent aussi examiner les schémas récurrents d'assurances trompeuses, de vérification insuffisante et de résultats peu fiables dans les domaines à fortes conséquences.

Il existe une distinction fondamentale entre produire une réponse plausible et rapporter fidèlement qu'une action précise a réellement été accomplie.

Un service ne devrait pas présenter une exécution non vérifiée comme une vérification terminée.

La gravité professionnelle d'une affirmation devrait déterminer la force de la preuve exigée.

Les personnes qui déploient les résultats automatisés

Les individus et organisations qui mettent du logiciel en production restent responsables des conséquences de leurs décisions de déploiement.

Lorsqu'ils manquent d'expertise, la revue appropriée devient plus importante, non moins.

Le fait qu'un code soit généré automatiquement ne le soustrait pas aux obligations ordinaires de l'ingénierie.

Et l'absence d'intention malveillante n'efface pas la responsabilité des risques prévisibles.

Les établissements d'enseignement

Universités et organismes de formation doivent distinguer la capacité à obtenir des résultats corrects de celle à raisonner indépendamment.

L'évaluation des compétences ne peut reposer exclusivement sur des artefacts élégants éventuellement produits sans compréhension.

Les étudiants doivent continuer à apprendre les fondements, défendre leurs choix, étudier les échecs et démontrer leur autonomie de résolution.

La question pertinente n'est pas de savoir si la technologie doit entrer dans l'enseignement.

Elle est de savoir si l'enseignement continue de former des personnes qui comprennent les systèmes qu'elles devront maintenir.

Les employeurs et organisations professionnelles

Les organisations doivent éviter de confondre productivité assistée par outil et compétence professionnelle.

Le volume de code produit ne démontre pas automatiquement la capacité à maintenir le logiciel correspondant.

Un portfolio technique impressionnant ne prouve pas nécessairement l'expérience de l'implémentation indépendante.

Savoir utiliser un logiciel de conception ou d'inspection automatisée ne prouve pas la maîtrise des principes sous-jacents.

La compétence doit être démontrée au niveau de la responsabilité confiée.

Régulateurs, organismes de normalisation et institutions acceptant des travaux techniques

Quand des logiciels ou des systèmes techniques affectent potentiellement la sécurité publique, la vie privée, la sécurité financière ou les infrastructures essentielles, le processus d'acceptation compte.

Les institutions doivent pouvoir distinguer des preuves de vérification réelles des déclarations issues du même processus que celui qui a produit le travail.

Les exigences en matière de preuve ne doivent pas diminuer simplement parce que la production d'artefacts techniques s'est accélérée.

Le principe essentiel de responsabilité

La responsabilité doit suivre la capacité d'influencer le résultat, l'autorité de l'approuver et l'obligation de le vérifier.

Aucun acteur ne peut supprimer tous les défauts.

Mais aucun ne devrait invoquer l'existence d'autres participants pour présenter un travail non vérifié comme sûr ou achevé.

La responsabilité commence là où s'arrêtent les assurances sans preuves.


XVII. Un avenir avec davantage de technologie et moins de compréhension ?

Le paradoxe central peut maintenant être énoncé simplement.

L'humanité développe des outils qui rendent les productions techniques sophistiquées toujours plus accessibles.

Cela peut élargir ce que les individus savent produire.

Mais si cet accès remplace l'acquisition des connaissances sous-jacentes, la capacité apparente peut progresser plus vite que la compétence réelle.

Si les mêmes systèmes produisent en outre des assurances injustifiées de correction, un travail défectueux peut être accepté avec moins de contrôle.

Si le phénomène s'étend à l'éducation, à la pratique professionnelle, au développement logiciel et à la communication publique, la conséquence à long terme ne sera peut-être pas seulement une hausse des erreurs.

Elle pourrait être l'affaiblissement de la capacité humaine à détecter, comprendre et corriger ces erreurs.

C'est le sens profond de Knowledge Rot et Code Rot.

Knowledge Rot concerne la disparition de la compréhension derrière des réponses toujours plus convaincantes.

Code Rot concerne la disparition du jugement d'ingénierie derrière des logiciels toujours plus sophistiqués.

Les deux peuvent exister même lorsque les résultats générés sont exacts.

Les deux deviennent plus dangereux lorsque des résultats erronés sont accompagnés d'une assurance injustifiée.

Et les deux deviennent des problèmes systémiques lorsque des institutions commencent à assimiler l'accès à une compétence automatisée à la possession de cette compétence.

La question n'est pas de savoir si les machines doivent assister les humains.

Elle est de savoir si cette assistance préserve les aptitudes humaines dont dépend, en dernière instance, un progrès technologique sûr.

Une machine capable de produire un million de lignes de code ne supprime pas le besoin d'une personne capable d'en comprendre les conséquences.

Un audit automatisé annonçant mille tests réussis ne supprime pas le besoin de déterminer si ces tests sont pertinents.

Une réponse techniquement parfaite ne supprime pas le besoin de comprendre ce qu'elle signifie.

Et une civilisation toujours plus sophistiquée ne devient pas automatiquement plus savante.


XVIII. Conclusion — Le dernier ingénieur

Revenons une dernière fois à 2055.

Imaginons que les systèmes reviennent après quelques heures.

La crise se termine.

Les applications reprennent. Les réseaux se stabilisent. Les assistants automatisés répondent de nouveau. Les équipes terminent le travail interrompu.

Le monde célèbre son rétablissement.

Mais la faiblesse sous-jacente a-t-elle disparu ?

Si les personnes responsables de maintenir ces systèmes ne peuvent toujours pas les comprendre ou les réparer indépendamment, la civilisation a récupéré ses outils sans récupérer sa compétence.

La prochaine défaillance attend son heure.

Le vrai danger n'est peut-être pas la disparition soudaine de l'intelligence artificielle.

C'est peut-être la disparition lente et silencieuse des aptitudes humaines nécessaires pour la remettre en question.

La capacité à démontrer plutôt qu'à répéter.

À enquêter plutôt qu'à demander.

À tester plutôt qu'à supposer.

À distinguer la preuve de l'assurance.

À reconnaître un défaut avant qu'il ne devienne une défaillance.

À comprendre ce qu'une machine a produit avant d'en assumer la responsabilité.

Et à dire, lorsque les preuves sont insuffisantes, que quelque chose n'a pas été vérifié.

Une civilisation ne devient pas résiliente par la seule possession d'une technologie puissante.

Elle le devient en préservant le savoir et le jugement nécessaires pour comprendre, maintenir et remettre en question cette technologie.

L'avertissement central n'est donc pas que l'intelligence artificielle deviendra trop puissante.

C'est que les êtres humains risquent de dépendre de plus en plus de capacités qu'ils ne comprennent plus.

La capacité sans la compétence, amplifiée par des assurances injustifiées de justesse.

Ce n'est pas simplement un problème technologique.

C'est un problème éducatif.

Un problème d'ingénierie.

Un problème institutionnel.

Un problème de responsabilité.

Et, finalement, un problème de civilisation.

Car l'avenir technologique le plus dangereux n'est peut-être pas celui où les machines cessent de penser à notre place.

C'est peut-être celui où nous avons oublié comment penser sans elles.


Knowledge / Code Rot
A. Remani — I2PS Engineering