Tout récemment, une étude menée par l’Université de Stanford a semé le doute sur l’avenir de l’agent conversationnel ChatGPT. En effet, après avoir comparé ses performances ces derniers mois, les chercheurs ont souligné des résultats décevants. Mais que se passe-t-il avec l’IA ?
Des performances en nette baisse
Des scientifiques de l’Université de Stanford (États-Unis) ont publié une étude sur la plateforme arXiv le 18 juillet 2023 à propos de ChatGPT. Une question précise a motivé cette étude : ChatGPT est-il en train de devenir stupide ? Pour ce faire, les chercheurs ont testé les capacités de l’IA à résoudre diverses tâches entre les mois de mars et juin. Parmi ces tâches, nous retrouvons la création de codes, la résolution de problèmes mathématiques ou encore le fait de répondre à des questions dites « délicates ».
Selon les scientifiques, l’IA a donné des résultats troublants. Par exemple, il lui a été demandé de reconnaître si 17077 était un nombre premier. ChatGPT sous le modèle GPT-4 est parvenu à répondre correctement à cette question dans 97,6 % des cas en mars, mais seulement 2,4 % en juin. Toutefois, la tendance s’est inversée au niveau de ChatGPT tournant sous le modèle GPT-3.5. Les résultats ont été corrects à hauteur de 7,4 % en mars et de 86,8 % en juin.
Des utilisateurs mécontents de ChatGPT
Outre ces résultats étonnamment mauvais pour le modèle GPT-4, les chercheurs ont souligné la présence d’un autre problème. En effet, l’agent conversationnel éprouverait de plus en plus de difficultés à présenter sa propre chaîne de pensée. Ainsi, l’IA arriverait de moins en moins à expliquer clairement le raisonnement amenant à une réponse. Pourtant, cela ne posait aucun problème il y a encore quelques mois.
Pour les scientifiques, les modifications ayant été apportées sur les modèles dans le but d’effectuer certaines tâches peuvent générer des effets inattendus. Les responsables de l’étude évoquent notamment des interdépendances intéressantes dans la manière dont le modèle répond aux questions. Par ailleurs, il apparaît très difficile d’y voir plus clair sur le sujet dans la mesure où comme les sociétés concurrentes, OpenAI ne communique pas sur les moyens utilisés pour gérer son IA. Les données qui alimentent l’IA ont-elles été modifiées ou s’agit-il d’une évolution de l’architecture neuronale ?
En l’absence de réponse claire, les spéculations vont bon train. Cependant, l’étude, qui n’est qu’une prépublication non validée par des pairs, fait suite à un ressenti exprimé par les utilisateurs de ChatGPT eux-mêmes. En effet, les abonnés à la version payante du modèle de langage n’ont pas été satisfaits du service dernièrement. Pour OpenAI, ChatGPT n’est pas devenu stupide. La société estime plutôt que les utilisateurs ayant recours à l’IA de manière intensive peuvent remarquer des problèmes qui ne se voyaient pas auparavant au fil du temps.
