Claude 3, la dernière intelligence artificielle de la société Anthropic, est si puissante qu’elle a repéré un piège tendu par ses propres concepteurs. Par ailleurs, les chercheurs ont déclaré que lors d’une batterie de tests, leur modèle a surclassé d’autres IA telles que GPT-4 (OpenAI) et Gemini (Google).
Claude 3 : le modèle actuel le plus intelligent ?
Si ChatGPT et GPT-4 reviennent très souvent dans la presse scientifique, d’autres modèles font également parler d’eux, dont Claude 3. Ce modèle de langage sorti tout récemment a été mis au point par Anthropic, une société fondée trois ans auparavant par des anciens d’OpenAI. D’après des chercheurs, Claude 3 est le modèle actuel le plus intelligent. Il aurait même surclassé ses principaux concurrents, à savoir GPT-4 et Gemini, selon un communiqué publié sur la plateforme d’Anthropic le 4 mars 2024. Plus précisément, les trois différents modèles de Claude 3, respectivement Haiku, Sonnet et Opus, ont été plus performants que les modèles cités plus haut lors d’une batterie de tests dans différents domaines, notamment la culture générale, le codage et les problèmes mathématiques.
« Chaque modèle successif offre des performances de plus en plus puissantes, permettant aux utilisateurs de sélectionner l’équilibre optimal entre intelligence, vitesse et coût pour leur application spécifique. », a déclaré Anthropic.
Il est toutefois important de souligner que les modèles les plus performants de GPT-4 (GPT-4 Turbo) et Gemini (Gemini 1.5) n’ont pas été intégrés dans ces tests et n’apparaissent donc pas dans les résultats.
Le test de « l’aiguille dans une botte de foin »
Selon ses créateurs, Claude 3 est si intelligent qu’il a réussi à démasquer ses créateurs. En effet, l’IA a compris qu’elle était évaluée et l’a surtout fait remarquer avec des arguments assez surprenants. Ce test dit de « l’aiguille dans une botte de foin » consistait à placer une phrase aléatoire au milieu de nombreuses autres informations n’ayant aucun rapport. Les chercheurs ont alors interrogé Claude 3 sur la fameuse phrase et ont obtenu une réponse étonnante, comme l’a expliqué l’ingénieur spécialisé dans les prompts Alex Albert, dans une publication sur X (voir ci-dessous).
Fun story from our internal testing on Claude 3 Opus. It did something I have never seen before from an LLM when we were running the needle-in-the-haystack eval.
For background, this tests a model’s recall ability by inserting a target sentence (the "needle") into a corpus of… pic.twitter.com/m7wWhhu6Fg
— Alex (@alexalbert__) March 4, 2024
Claude 3 a rétorqué que la phrase en question avait peut-être été insérée pour plaisanter ou pour vérifier son niveau d’attention. L’IA a justifié sa réponse en indiquant que la phrase était hors de propos et ne correspondait pas au reste des contenus des autres documents. En effet, la phrase intruse mentionnait une recette de pizza alors que le reste des informations concernait les langages de programmation, les startups et la recherche d’emploi.
Enfin, Alex Albert a évoqué qu’il était intéressant d’observer ce niveau de métaconscience, mais a également souligné la nécessité de faire passer des tests plus réalistes aux IA afin d’évaluer avec précision les véritables capacités et limites des modèles.
