in

Alibaba est à l’origine d’une IA capable de lire sur les lèvres

Crédits : PxHere

Des chercheurs chinois et étasuniens ont mis au point une intelligence artificielle (IA) tout à fait particulière. En effet, celle-ci est capable de lire sur les lèvres. La précision des retranscriptions est même très précise, accusant une marge d’erreur de seulement 2,75 %, selon les chercheurs.

Une IA qui lit sur les lèvres

Le système en question, baptisé Lip by Speech (LIBS), vient à l’origine du géant chinois du e-commerce Alibaba. Comme l’indique VentureBeat, l’IA a été élaborée par une équipe de chercheurs de l’Université du Zhejiang (Chine) et du Stevens Institute of Technology (États-Unis). Il s’agit de recherches détaillées dans une publication sur la plateforme arXiv (PDF en anglais / 9 pages) du 29 novembre 2019. Les chercheurs indiquent que cette intelligence artificielle est capable de lire sur les lèvres. Il s’agirait selon eux de la plus précise dans ce domaine avec un taux d’erreur de seulement 2,75 % !

Il faut savoir que LIBS repose sur une architecture de séquence à séquence, prenant en compte l’attention. Autrement dit, il est question d’une méthode de traduction automatique associant l’entrée d’une séquence audio ou vidéo à une séquence de sortie (traduction). Comme l’expliquent les meneurs du projet, la BBC a fourni une base de données composée de 45 000 phrases. Surtout, le Chinese Mandarin Lip Reading (CMLR) a donné accès à 100 000 phrases extraites de la télévision chinoise. Ainsi, ces importants contenus ont permis d’entraîner LIBS.

lire sur les lèvres
Crédits : Zhejiang University / Stevens Institute of Technology

Aider les sourds et malentendants

Selon les chercheurs, l’IA en question a été pensée pour améliorer le quotidien des personnes en situation de handicap lié à l’ouïe. Or, cela présente un intérêt évident dans la mesure où, selon l’OMS, 466 millions de personnes souffrent de troubles auditifs. Ce nombre représente environ 5 % de la population mondiale et celui-ci pourrait doubler d’ici à 2050 !

En 2016, des chercheurs de l’Université d’Oxford (Royaume-Uni) ont collaboré avec Google pour mettre au point une IA similaire. Le système permettait d’annoter des séquences vidéo avec une précision honorable mais toutefois pas assez élevée pour justifier de la poursuite du projet. Rappelons également que LIBS se rapproche assez de Seeing AI, une intelligence développée par Microsoft. Cette dernière permet aux aveugles et autres malvoyants de bénéficier d’un feedback audio de leur environnement.

Source

Articles liés :

Les sourds et malentendants peuvent désormais téléphoner !

Hand’Speaker: Voici le gant qui donne la parole aux sourds et muets

Des scientifiques réalisent une prouesse qui pourrait permettre aux sourds de retrouver l’audition