De nombreux chercheurs ont dû jeter des milliers de données recueillies dans le cadre d’études scientifiques à cause d’une vidéo TikTok de 56 secondes réalisée par une adolescente en juillet. Comment est-ce possible ?
Il y a encore quelques années, toutes les recherches en sciences sociales se déroulaient en laboratoire. Vous deviez alors faire venir des milliers de sujets divers pour leur soumettre des questionnaires et autres enquêtes. Ce domaine d’étude a commencé à évoluer dès 2005 avec la plate-forme de recherche Mechanical Turk, propriété d’Amazon, développée au départ pour étudier le travail de crowd-sourcing sur des tâches répétitives. Peu de temps après sa sortie, les scientifiques avaient finalement pris conscience de sa valeur potentielle pour les recherches comportementales en ligne.
Depuis, d’autres plates-formes de ce genre ont vu le jour, dont le site Prolific, sur lequel s’appuie notamment le Behavioral Lab, de l’Université de Stanford. C’est ce site qui nous intéresse aujourd’hui.
Déséquilibre démographique
La vidéo du 23 juillet dure moins d’une minute. Le contenu s’ouvre avec Sarah Frank, récemment diplômée du lycée de Floride, assise dans sa chambre face à la caméra. « Bienvenue dans les activités annexes que je recommande d’essayer – première partie », dit-elle alors, pointant les utilisateurs vers le site web Prolific. « En gros, c’est un tas d’enquêtes pour différentes sommes d’argent et différentes périodes de temps ».
Cette vidéo a été vue plus de quatre millions de fois au cours du mois suivant sa publication et a envoyé des dizaines de milliers de nouveaux utilisateurs sur le site. Problème : la plateforme ne proposait pas d’outils spécifiques visant à s’assurer qu’elle fournisse aux chercheurs des échantillons de population représentatifs à chaque étude.
En conséquence, les scientifiques habitués à obtenir un large éventail de profils pour leurs études ont vu leurs enquêtes inondées de réponses de jeunes femmes de l’âge de Sarah Frank. Et forcément, cela fausse les résultats.
Dans les jours et les semaines qui ont suivi la publication de cette vidéo, les chercheurs se sont efforcés de comprendre ce déséquilibre.
« Nous avons remarqué un énorme bond du nombre de participants sur la plate-forme dans le pool américain, de 40 000 à 80 000 », écrit notamment un membre du Stanford Behavioral Laboratory. « Ce qui est bien, cependant, maintenant, beaucoup de nos études ont une distorsion entre les sexes où peut-être 85 % des participants sont des femmes. De plus, l’âge moyen est d’environ 21 ans ».
C’est Hannah Schechter, psychologue de Wayne State, qui a finalement isolé la « source » de ce déséquilibre dans les données : la vidéo de Sarah Frank, s’appuyant notamment sur la viralité et le timing de sa publication, et sur le profil de ses abonnés.
@sarahndom i’m excited for this series!! #sidehustles #sarahssidehustles #prolific #makingmoney #sidehustleideas
Des milliers d’études compromises
Celles et ceux qui proposent de répondre aux études proposées par Prolific depuis plusieurs années se sont plaints sur Reddit que la vidéo TikTok avait rendu difficile la recherche d’enquêtes rémunérées sur la plate-forme. « Maintenant, c’est juste un autre site de conneries sur lequel passer des heures et gagner de l’argent », écrit notamment un utilisateur.
Frank, qui a estimé avoir gagné environ 80 $ en répondant à des sondages sur Prolific avant sa vidéo, a déclaré à The Verge qu’elle avait également remarqué une différence sur la plate-forme. « J’ai reçu des commentaires vraiment méchants m’accusant de ruiner le site à moi seul et d’être égoïste ».
Sarah Franck n’avait évidemment aucune mauvaise intention. Elle prédit également que beaucoup de ses abonnés inscrits après avoir vu sa vidéo l’oublieront dans quelques semaines. En attendant, le cofondateur et directeur technique de la plate-fore, Phelim Bradley, estime qu’environ 4 600 études ont été compromises par cette vidéo TikTok, soit un tiers du total des études actives au moment de sa publication.
Depuis, Prolific a remboursé les chercheurs dont les études avaient été considérablement affectées par l’augmentation du nombre de femmes participant aux enquêtes. Le site a également introduit de nouveaux outils de dépistage démographique et mise en place une équipe en charge de cet équilibrage afin de reconnaître et de répondre plus rapidement à ce genre de problème à l’avenir.
