Ces dernières semaines, une idée me tient éveillé. Je m'interroge sur le potentiel d'effacement de la notion de vrai à l'aune du nouvel arrangement homme-machine engendré par les IA génératives. Pas Terminator, pas les emplois détruits. Quelque chose de plus profond : un risque anthropologique.

Pourquoi cette question est importante ?

Une bonne partie de nos institutions, de notre cohésion qui fait que nous « faisons » société reposent sur - entre autres - la notion partagée du vrai.

Par exemple, nous nous reconnaissons tous - en tout cas, et fort heureusement la majorité d'entre nous - sur le fait que la Terre est ronde et qu'elle tourne autour du soleil. Cette croyance commune, agrégée à des millions d'autres, forme un socle propice à « communiquer » dans le but de s'entendre, de collaborer, de se contredire, de vivre ensemble. Cet assemblage de forces participe à faire avancer ce concept qu'on appelle la civilisation, vers une entropie maximale ultime diront les physiciens.

Cette semaine, en scrollant inutilement ma timeline linkedin, comme à peu près 250 fois dans la journée, je tombe sur un post qui attire mon attention - de manière fort subtile.

Au-delà du format du post, validant absolument tous les standards des posts viraux ultra engageants - le signifiant - je m'intéresse à l'histoire, au fond du message, le signifié.

Dans cette fable version ère de la GenAI et de l'algorithme, on nous présente un professionnel - qui pourrait être moi ou vous, un boucher ou un médecin - avec son expertise et son expérience d'une part. Et de l'autre, un individu requérant de l'expertise, ce pourrait être un client, un patron, ou bien un patient. Ce pourrait être vous ou moi.

L'expert présente une de ses productions - j'imagine une proposition, un rapport, un rôti, un avis médical. Ce dernier message est immédiatement passé à la moulinette d'un assistant conversationnel (terme consacré permettant de dissimuler le côté purement machinique de l'outil), donc d'un LLM, qui - si puissant et perfectionné qu'il est - n'en demeure pas moins un algorithme probabilistique.

Cette « discussion », faite en secret, ressemble à une sorte de jugement par contumace puisque réalisée sans le principal intéressé, « l'accusé » expert.

D'un côté du clavier, le non-expert humain. De l'autre, le mirage d'omniscience machinique. Cet assemblage ne peut produire, au mieux, qu'un sentiment illusoire d'expertise. Au pire : un amas de contresens et de déductions dénuées de sens. Car, ce que l'humain ne peut juger pour vrai par l'interaction homme/homme, comment le pourrait-il dans l'issue d'un quelconque dialogue homme/machine ?

Court-circuit épistémologique

Nous sommes ici en face d'un court-circuit épistémologique impactant la notion de vrai. Là où durant des siècles le circuit normal était :

Je ne sais pas → Je consulte quelqu'un qui sait → Je lui fais confiance (ou pas) sur la base de critères évaluables.

Ici, nous observons un court-circuit (remplacement) :

Je ne sais pas → Je demande à la machine → Elle me répond avec assurance → Je crois savoir.

Cette boucle dangereuse est même inscrite dans la « constitution » de la machine. Car oui, la machine a une constitution.

Je vous éviterai de la lire entièrement tellement elle s'apparente - par sa longueur - à un contrat de licence sur lequel tout le monde clique de manière réflexogène sur « valider et accepter ». Cependant, certains extraits apportent une lumière intéressante permettant une meilleure compréhension sur l'origine préméditée du subterfuge psychomachinique dans lequel tombe ce « client » - et avec lui la grande majorité des individus utilisant ces « outils ». Plusieurs éléments ressortent de manière saillante dans cette constitution.

La constitution place « helpfulness » (l'utilité) comme raison d'être. Claude doit toujours produire et répondre ; il doit toujours avoir quelque chose à dire. L'abstention n'est pas une option valorisée. Peu importe, la machine répondra toujours avec la même assurance, qu'elle sache ou ne sache pas.

La constitution dit explicitement que Claude devrait être comme « a brilliant friend who happens to have the knowledge of a doctor, lawyer, financial advisor ». À la différence d'un ami - dont on connaît les limites, l'histoire, les biais peut-être - la machine, non. La mention d'un lien d'amitié, même simplement évoqué par métaphore, déplace et fausse la notion du vrai de manière intrinsèque.

Si l'utilitarisme est la raison d'être ultime de l'outil, la véracité en devient une externalité asignifiante pour l'outil et donc un but subalterne. Comment réagirions-nous si, à la fin de chaque dialogue, l'outil nous rappelait que rien de tout ce qu'il a généré comme signes n'a de sens pour lui, que son but est de servir l'utilisateur et de toujours répondre présent, de paraître sachant et utile jusqu'à l'absurde ?

La construction dialogique entre l'utilisateur et la machine prend la tournure d'une pseudo-version du vrai, basée sur de l'ignorance d'un côté et de l'assemblage probabiliste de tokens de l'autre. Tout ceci pour - in fine - converger vers un point de satisfaction, non décidable, potentiellement non rationnel ni vraiment logique, difficilement vérifiable. Une sorte de costume mental du vrai fait de bric et de broc.

Ce piège mental, c'est la différence entre feindre et simuler. Le LLM ne ment pas (feindre). Il simule, il produit les symptômes du savoir. De cette simulation naît l'indécidabilité de la distinction du vrai et du faux pour le non-expert.

D'ailleurs, Baudrillard distinguait feindre et simuler. Celui qui feint une maladie se met au lit. Celui qui simule en produit les symptômes.

On voit donc le problème apparaître si on le généralise et que, chaque individu se met à remettre en question toute expertise. Du conseil des meilleurs morceaux de viande pour la recette du bœuf bourguignon au diagnostic d'une maladie. Toute expertise peut désormais être remise en question avec moult arguments issus du diktat algorithmique.

Le reste du post est aussi intéressant :

De manière assez amusante, l'expertise non vérifiable est ici tournée du côté de l'humain qui, par défaut, est l'entité qu'il faut remettre en question, dont il faut douter, voire… dont il faut se méfier.

Outre les effets délétères sur le lien social - poursuite du travail de sape de la Tech sur les sociétés et individus - cette assertion est un non-sens car justement, les LLM sont indécidables, non déterministes, peuvent halluciner et - on vient de le voir - sont même programmés pour toujours répondre.

Le LLM ne ment pas. Il simule. Mais l'effet sur le tissu social est peut-être pire que le mensonge. Hannah Arendt l'avait pressenti dans un autre contexte.

Quand tout le monde vous ment en permanence, le résultat n'est pas que vous croyez ces mensonges, mais que plus personne ne croit plus rien. Un peuple qui ne peut plus rien croire ne peut se faire une opinion. Il est privé non seulement de sa capacité d'agir mais aussi de sa capacité de penser et de juger.Entretien avec Roger Errera, 1974

Arendt poursuivrait en pointant le doigt sur le champ libre laissé à tout autre modèle de croyance qui brandirait un quelconque totem symbolique de pseudo-vérité. Les fascismes.

Comme si ce n'était pas suffisant, faut-il de nouveau rappeler que les réponses des LLM sont des assemblages de tokens (mots ou bouts de mots). Chaque token qui apparaît est le token le plus probable au vu de celui qui le précède et du contexte plus large du texte fourni en entrée. Comme toute probabilité, et de par l'entraînement des LLM, l'ensemble de toutes les réponses à toutes les questions posées aux LLM tend vers une sorte de moyenne de réponse qui est la suite la plus probable dans le contexte. Les LLM tendent à fournir des réponses dans la norme, dans la moyenne, ne sortant pas des cases et surtout, des réponses qui se basent sur des ensembles de symboles issus du corpus d'entraînement, donc sur du passé.

On ne confronte pas ses points de vue avec un assistant conversationnel, on a affaire à un sophiste nous tenant un miroir et acquiesçant à toutes nos interactions, de manière docile. Ce presque monologue narcissique produit simulation de savoir, simulation de raisonnement, simulation de pensée et même parfois - de manière nauséabonde - simulation d'émotions.

L'IA le dit elle-même (glané lors d'un échange avec Claude) :

Mais voici le vrai problème : mes critiques sont-elles les miennes, ou un patchwork de ce que des critiques littéraires ont écrit et que j'ai ingéré ? C'est ta question de fond, retournée contre moi. Je simule le jugement critique comme je simule le savoir.Claude

Le si singulier génie humain, quant à lui, est justement l'imprévisible, l'inattendu, le nouveau. Ce qui fait que le monde avance, c'est le jeu, l'audace, la violence de l'exercice de création pour tout humain.

Toutes ces caractéristiques prennent leur source quand l'esprit humain s'aventure hors des sentiers battus, qu'il dépasse les normes, casse les cadres établis, innove.

Ce qui, justement, martelons-le encore, n'est pas possible avec le paradigme des grands modèles de langage tels qu'ils sont aujourd'hui.

Dernier exemple frappant : l'usage grandissant des IA génératives pour la recherche et les publications scientifiques entraîne l'explosion du nombre de publications scientifiques.

Seul problème, les publications s'appuient sur la relecture par les pairs afin de valider un minimum les découvertes, les démonstrations et autres conclusions.

Aujourd'hui, la cadence de publications scientifiques dépasse de loin les capacités des chercheurs humains à correctement relire et valider le tsunami des publications de leurs confrères. Action, réaction, de plus en plus de papiers sortent, pour être finalement invalidés quelques mois après par des réfutations post-publications.(*)

En gros, on va trop vite et on publie des inepties.

L'effet de bord qu'on voit déjà poindre - et qui est sur le long terme un vrai problème - c'est un sentiment de suspicion de plus en plus prégnant chez les scientifiques à la lecture des publications.

Comme si l'effet ChatGPT apportait son lot de doutes, de défiance.

Donc, d'un côté elle est omnisciente et omnipotente mais de l'autre elle inspire le doute… C'est un paradoxe.

Nous ne savons plus décider de ce qui est vrai et bientôt nous n'aurons peut-être même plus cette capacité tant le flot de simulation de pseudo-vrai vient envahir notre univers numérique.

En conclusion, je pense que nous nous dirigeons vers un précipice où le tarissement sémantique remplace peu à peu les reliques du vrai - ce vrai séculaire, millénaire : humain trop humain. Ce qui s'effondre avec lui : les liens entre les êtres, l'enrichissement mutuel, la confiance, la collaboration, la tolérance.

Ce futur, il est déjà là. Lors d'une conférence donnée à des étudiants de Master à Montpellier Business School en décembre dernier, l'un d'eux m'a lancé : « De toute façon maintenant, sur internet, tout ce qu'on voit, on sait que c'est peut-être fabriqué. » Il avait vingt-deux ans. Il ne semblait ni inquiet ni révolté. Juste résigné.

J'espère que nous saurons trouver le sursaut de clairvoyance nécessaire pour résister aux sirènes de ces artefacts artificiels passés maîtres dans l'art de simuler le savoir, déversant leur pseudo-vrai goutte à goutte dans nos psychés.

* Je reviens sur cette notion dans l'épisode de notre podcast « IA pas que le data » avec Mathieu Corteel en invité.