Un procédé mis au point par des chercheurs américains permet de transformer de simples photos 2D en véritables animations ! Ce dispositif fait évidemment penser aux effets spéciaux utilisés dans la saga Harry Potter.
Un puissant algorithme
Dans leur publication du 5 décembre 2018 sur la plateforme arXiv, les chercheurs de l’Université de Washington (États-Unis) ont détaillé leur technique. Or, celle-ci fait penser aux personnages de la saga Harry Potter s’animant dans le cadre d’une photo en laissant seulement l’arrière-plan !
Une démonstration visible en fin d’article et publiée par Chung-Yi Weng – principal meneur de ces recherches – permet de prendre connaissance du résultat. Selon l’intéressé, il est question d’un puissant algorithme permettant d’extraire – en le modélisant en 3D – un personnage d’une photo sans laisser de zone de découpe noire à son emplacement de base.
La vidéo montre quelques exemples, comme le célèbre basketteur Stephen Curry sortant tout naturellement hors du cadre de sa photo ou encore la Jeune fille avec un voilier – de Picasso – marchant hors de sa toile (voir ci-dessous).
Une technique qui ne date pas d’hier
Il y a une dizaine d’années, d’autres chercheurs avaient déjà pu modéliser en 3D un personnage issu d’une simple photo. En revanche, les proportions n’étaient absolument pas respectées et le rendu n’était pas vraiment bon. La principale difficulté pour l’ordinateur résidait dans le fait d’estimer en trois dimensions la pose que prend le personnage sur la photo en 2D. Cette difficulté augmente davantage lorsqu’il est question de membres masqués ou en partie dissimulés (bras ou jambes croisées).
L’algorithme mis au point par l’équipe de Chung-Yi Weng a été capable d’élaborer des maillages en 2D du personnage. Cela a permis de repérer les éléments du corps dans leur environnement, puis de déterminer précisément ces différents éléments. Ensuite, le maillage de chaque partie est converti en 3 D.
Il faut savoir qu’il s’agit d’un processus entièrement automatisé, bien qu’il reste possible d’agir manuellement, et ce afin de mieux ajuster certaines parties et éviter d’éventuelles erreurs d’animation. Enfin, les chercheurs estiment que ce procédé pourrait être couplé à la réalité virtuelle afin de changer les interactions et la perception concernant les œuvres d’art ou les photos.
Sources : Digital Trends – Futura Sciences
Articles liés :
Voici la première radiographie couleur 3D d’un corps humain
Vivez un voyage extraordinaire en 3D à travers la nébuleuse d’Orion !
Voici la première image en 3D à l’échelle particulaire obtenue dans l’ISS !
