Un stagiaire créé une application AR exceptionnelle !

smartphone controle tete
Crédits : capture Vimeo / eBay Newsroom

HeadGaze est une application qui permet d’utiliser un smartphone sans les mains, en associant la réalité augmentée et la reconnaissance faciale de l’iPhone X. Dire que cette application a été élaborée par un stagiaire de la plateforme d’enchères eBay !

Muratcan Cicek est étudiant à l’University of California (États-Unis). Ce développeur encore sur les bancs de l’école est actuellement stagiaire chez eBay, et ce dernier a pris le temps de concocter une application qui a tout d’une révolution. Baptisée HeadGaze, cette application a été élaborée avec le framework de réalité augmentée Apple ARKit, et repose sur l’utilisation de la caméra TrueDepth de l’iPhone X.

Le propriétaire d’un iPhone X peut alors – grâce à cette application – utiliser son appareil sans le toucher avec les mains. En effet, l’application prend la forme d’un genre de stylet virtuel, capable de suivre les mouvements de tête de l’utilisateur grâce au maillage de la géométrie 3D. Afin de montrer que sa technique fonctionne, Muratcan Cicek a également mis au point HeadSwipe, une autre application permettant de faire défiler les annonces eBay avec sa tête.

HeadGaze n’est pour l’instant qu’un projet expérimental, mais il est aisément possible d’imaginer ses futures applications. Par exemple utiliser son smartphone sans avoir à retirer ses gants en hiver, cuisiner en ayant les mains libres tout en lisant une recette. Cela rend aussi possible le fait de réparer une voiture en consultant des instructions spécifiques sans avoir à toucher son smartphone.

Nous pourrions aussi imaginer une utilisation dans les jeux vidéo, ce qui serait susceptible d’être intéressant. Par ailleurs, une telle application pourrait être d’un grand secours pour les personnes ayant un handicap moteur. Il faut savoir que HeadGaze est un projet open-source, et que le code est disponible gratuitement sur la plateforme GitHub, tout comme l’application de démonstration HeadSwipe.

Sources : Realite-VirtuelleiGeneration

Articles liés :

Bientôt des cartes de visite en réalité augmentée ?

Quand la réalité augmentée vous permet de comprendre comment sont faits les objets

Réalité augmentée : prêts à lire un “journal vivant” comme dans Harry Potter ?