Depuis des années et de manière particulièrement intense ces derniers mois, on nous parle d’« intelligence artificielle ». Cette formulation est trompeuse et mensongère. L’intelligence peut être définie comme suit : elle est la capacité à manipuler des concepts et à les articuler logiquement, à résoudre des problèmes variés, complexes et abstraits rapidement et par conséquent la capacité à apprendre tout aussi rapidement.
Un ami, lors d’une discussion à ce sujet, m’a dit ceci :
« Ma fille a deux ans. Je lui ai montré deux photos de chats en lui disant que c’étaient des chats et cela lui a suffi pour être capable ensuite de reconnaître un chat dans 100% des cas. Une intelligence artificielle a eu besoin de millions voire de milliards de photos de chat pour être capable d’en reconnaître un, et elle n’y arrive que dans 98% des cas. Le lendemain, je pourrais par la même occasion montrer à ma fille deux photos de chien et elle serait tout aussi capable de reconnaître un chien dans 100% des cas, alors qu’il faudrait montrer de nouveau des millions de photos de chien à l’IA pour d’obtenir un résultat de 98%. »
J’ajoute à ceci que, contrairement à sa fille de deux ans, les algorithmes de prétendue intelligence artificielle (PIA) ont besoin, pour certains, de 1.600 GWh, de plusieurs mois d’apprentissage, de téraoctets de données d’entrée et de centaines de petites mains payées en Afrique ou en Asie à « valider » en temps réel et de manière industrielle les résultats de l’apprentissage afin d’être capables de reconnaître un chat sans se tromper.
Pour comprendre plus en détails pourquoi les PIA n’ont rien d’une intelligence à part celle qui a permis leur conception, nous pouvons nous pencher sur leur fonctionnement technique tel qu’il est décrit par des spécialistes de la question. Cet article se veut un commentaire argumenté, agrémenté d’une restitution synthétique de certains des concepts essentiels soulevés par le scientifique britannique Stephen Wolfram dans son livre What Is ChatGPT Doing … and Why Does It Work ? aux éditions Wolfram Media Inc à propos des PIA de génération. Tous ces concepts et ces commentaires sont concentrés sur les PIA de génération textuelle mais transposables aux PIA de génération d’images de façon quasi identique ; la nature de celles-ci n’est pas différente et elles traitent des vecteurs d’images plutôt que des vecteurs de texte, ce qui est fait avec des principes similaires. Il est à noter pour la suite que les exemples mentionnés dans l’article sont tous tirés du livre de Stephen Wolfram, qui les a réalisés et présentés en anglais. La traduction française que j’en propose n’est qu’informative et ne correspond pas aux résultats qui seraient obtenus en réalisant les mêmes manipulations en français plutôt qu’en anglais.
L’homme communément considéré comme le père de l’ordinateur et plus particulièrement de la prétendue intelligence artificielle est le mathématicien britannique Alan Turing. Il est également le fondateur de l’informatique en tant que discipline scientifique et l’inventeur de la notion de programmation. Son article le plus célèbre est Computing Machinery and Intelligence publié en 1950, où il essaie de répondre à la question « les machines peuvent-elles penser ? ». Il propose notamment pour cela la mise en place du « jeu de l’imitation », où un homme et une machine sont interrogés à l’aveugle et à l’écrit par une troisième personne dont la tâche est de déterminer lequel des deux est la machine. Le jeu serait supposément gagné si la troisième personne se trompe. On peut faire un certain nombre de remarques sur les définitions des mots « machine », « penser » et même sur la pertinence de ce jeu dans la quête de la réponse à cette question, mais il est important de garder celui-ci en tête lorsque l’on s’intéresse aux PIA et que l’on réfléchit à ce qu’essaient d’accomplir leurs concepteurs : leur but n’est pas de les faire penser, mais de les faire imiter suffisamment bien quelqu’un qui pense pour qu’un humain puisse croire qu’elles pensent. Ce que ChatGPT fait techniquement est en réalité exactement cela : c’est la génération d’une continuation plausible d’un texte, « continuation plausible » signifiant ici « ce qu’on pourrait s’attendre à voir écrire par quelqu’un ayant lu ce qui fut écrit par des humains sur des milliards de pages internet ».
ChatGPT et les autres PIA du même genre sont ce qu’on appelle des grands modèles de langage (Large Language Model), c’est-à-dire des algorithmes faits pour interpréter, restituer et prédire les langages humains de manière juste, adaptée au contexte, crédible, grammaticalement et sémantiquement correcte. Le « GPT » de ChatGPT signifie Generative Pre-trained Transformer c’est-à-dire « Moteur pré-entraîné de transformation et de génération », les notions de génération et de pré-entraînement étant celles qui nous intéressent particulièrement ici. La phase de pré-entraînement, où l’algorithme d’apprentissage profond (deep learning) ingurgite des milliards de textes écrits par l’homme, a pour but de déterminer des poids de probabilités associés aux occurrences de chacun des « morceaux de langage » selon leur position dans tel ou tel assemblage de « morceaux de langage », un morceau de langage pouvant être un mot, une locution, un bout de phrase ou de mot.
Voici un exemple de classement des mots ayant la plus grande probabilité d’apparaître après le début de phrase « The best thing about AI is its ability to » :
En français :
À chaque morceau de langage rajouté par l’algorithme, celui-ci, pour générer le morceau suivant, répond en fait à la question suivante : « sachant le texte généré précédemment, quel est le morceau de langage qui aurait la plus grande probabilité d’apparaître ensuite ? ». C’est pour cette raison que le pré-entraînement de l’algorithme joue un rôle fondamental ; c’est lui qui permet, à l’aide de méthodes d’apprentissage profond et de modèles mathématiques, de dresser la liste des probabilités de l’apparition des mots qui sera caractéristique du futur grand modèle de langage après entraînement. Il est important de noter que lors de la génération d’une réponse, ce n’est pas systématiquement le mot ou le morceau de langage le plus probable qui est sélectionné par la PIA. La raison à cela est la platitude et l’absence totale d’intérêt voire de sens des textes générés lorsque c’est le mot le plus probable qui est choisi, en plus des nombreuses lourdeurs et des répétitions.
Voici un exemple de génération faisant suite au début de phrase précédent, où le mot sélectionné est toujours celui présentant la probabilité d’apparition la plus élevée :
En français :
La meilleure chose à propos de l’IA est sa capacité à apprendre à partir de l’expérience. Il ne s’agit pas seulement d’apprendre à partir de l’expérience, il s’agit d’apprendre à partir du monde autour de vous. L’IA est un bon exemple à ce sujet. C’est un très bon exemple de la façon dont utiliser l’IA pour améliorer votre vie. C’est un très bon exemple de la façon dont utiliser l’IA pour améliorer votre vie. C’est un très bon exemple de la façon dont utiliser l’IA pour
La solution qu’ont trouvée les concepteurs des PIA est de mettre en place un paramètre qu’ils appellent « température » correspondant plus ou moins à la fréquence d’utilisation, lors de la génération de texte, de mots moins bien classés avec un facteur de variabilité. Ainsi, ce n’est pas systématiquement le mot le plus probable qui est généré, mais parfois le deuxième plus probable, ou même le sixième ou le vingtième. Ces paramètres de température et de variabilité sont donc des caractéristiques essentielles inhérentes à chacun des grands modèles de langage, les différenciant entre eux. C’est l’existence de ces paramètres qui permet de donner l’impression que les PIA sont parfois inventives, tout simplement parce qu’elles écrivent des choses improbables — au sens littéral du terme — mais suffisamment probables pour qu’elles soient cohérentes.
À partir du même début de phrase, voici plusieurs exemples de génération où la température n’est pas nulle, c’est-à-dire que l’assemblage itératif n’est pas systématiquement fait avec le mot le plus probable, de manière légèrement aléatoire :
En français :
Cette variabilité dans la position dans la liste de probabilités du mot utilisé est la raison technique pour laquelle les PIA génèrent toujours quelque chose de légèrement différent et peuvent faussement donner l’impression d’inventer. L’autre raison pour laquelle on peut avoir l’impression que les PIA comme ChatGPT sont intelligentes est leur opacité. Quand on les utilise, ce sont des boîtes noires. On leur envoie une question ; elles nous renvoient une réponse, souvent en plusieurs lignes, en langage intelligible et avec du sens, ce qui peut nous laisser croire qu’elles ont compris notre question et nous répondent après y avoir réfléchi. Elles sont précisément faites pour cela, nous le faire croire, et rien d’autre.
La remarquable capacité d’interprétation et d’imitation du langage des PIA vient de la phase de pré-entraînement (Pre-trained) et plus particulièrement de la structure de l’algorithme d’apprentissage profond (Transformer) mis en place par les développeurs. C’est précisément là que réside l’intelligence, bien humaine, celle-ci, et il faut garder en tête la façon dont sont générées les réponses (Generative) pour ne pas se laisser tromper. Les compétences des PIA de génération textuelle se résument au réassemblage crédible à première vue de morceaux de langage. Elles sont par exemple incapables de citer une source, de faire une recherche ou de produire un raisonnement logique. Pour preuve, elles inventent des sources quand on leur demande et n’ont pas un taux de réussite de 100% pour la résolution de problèmes mathématiques, même si ce sont des problèmes qu’elles ont déjà réussi précédemment. C’est là que l’on se rend compte que ce qu’il leur manque pour être capables de manipuler des concepts et de les articuler logiquement est la capacité conceptuelle et d’abstraction de l’homme.
Il faut prendre les PIA de génération pour ce qu’elles sont : des algorithmes complexes dont le fonctionnement précis est assez obscur même aux yeux des concepteurs, étant donné qu’il est le résultat, par le biais de l’apprentissage profond, de milliards de calculs, de calibrages et de validations humaines. Elles sont remarquablement efficaces en faisant ce pourquoi elles ont été conçues ; ce sont des ré-assembleurs de langage, des traducteurs efficaces et éventuellement des assistantes de rédaction mais elles restent des algorithmes conçus par l’homme, pour l’homme, à son service et grâce à son génie.
Patrick Catélon
Comments