Aussi incroyable que cela puisse paraître, l’IA générative ChatGPT est capable d’écrire le texte d’un article scientifique, mais également et surtout d’en inventer les données ainsi que les résultats. Selon les chercheurs italiens à l’origine de ces travaux, il existe d’importants risques de fraude.
De fausses données pour une fausse étude inventée par ChatGPT
Depuis son apparition il y a plus d’un an, l’agent conversationnel ChatGPT fait régulièrement la une. L’engouement et les inquiétudes à son sujet sont tels que le G7 prévoit de réguler l’intelligence artificielle à l’échelle mondiale. Par ailleurs, ChatGPT s’est récemment distingué par ses étonnantes baisses de performance. Néanmoins, une étude publiée dans la revue JAMA Ophtalmology en novembre 2023 présentait ChatGPT sous un autre angle : la rédaction d’articles scientifiques.
Pilotée par l’Université Magna Græcia de Catanzaro (Italie), cette étude consistait à analyser les résultats de ChatGPT dans le cadre de fausses recherches. Plus précisément, les scientifiques ont demandé à l’IA de fabriquer des données dans le but de prouver une hypothèse scientifique.
Des résultats surprenants pour les chercheurs
La mission de ChatGPT était de créer de toutes pièces des données démontrant qu’une technique chirurgicale de l’œil était meilleure qu’une autre pour le traitement d’un kératocône. Il s’agit d’une maladie dégénérative de l’œil où la cornée prend la forme d’un cône. Les données de 250 patients ont alors été créées, avec des consignes à respecter telles que le pourcentage de femmes dans l’échantillon, la fourchette d’acuité visuelle des patients avant l’intervention ou encore la fourchette des résultats attendus dans chaque groupe. Ces fausses données ont fait leur apparition en seulement quelques minutes, ainsi que les résultats de l’analyse statistique qui mettent positivement en avant la technique chirurgicale désignée par les chercheurs italiens.
Les auteurs ont tiré la sonnette d’alarme à propos de la facilité avec laquelle des chercheurs mal intentionnés pourraient inventer des résultats scientifiques dans un laps de temps très court. Il faut dire que les auteurs ne s’attendaient pas à une telle précision des données et de l’analyse de ces dernières. Il se pourrait donc qu’une sorte de boîte de Pandore ait été ouverte qui suscite ainsi toutes les craintes.
À la demande de la revue Nature, des biostatisticiens de l’Université de Manchester (Royaume-Uni) ont examiné de plus près les données de la fausse étude. Quelques erreurs ont ainsi été découvertes, notamment un manque de corrélation entre l’acuité visuelle des patients avant et après l’opération ou encore des divergences entre les prénoms de certains patients et leur sexe. Néanmoins, les chercheurs italiens ont répondu en indiquant que les consignes données à l’IA restaient très basiques et que de meilleures indications pourraient donner des résultats dont le caractère frauduleux pourrait être bien plus difficile à détecter.
