Des chercheurs d’Oxford développent une IA capable de lire sur les lèvres.

Modèle de Lecture Labiale au Niveau de la Phrase

La lecture labiale est une technique qui permet de comprendre le discours en interprétant les mouvements des lèvres d’une personne. Cependant, cette méthode n’est pas sans défis, car le langage humain est riche et complexe. En effet, un seul mouvement des lèvres peut correspondre à différents phonèmes, qui sont les unités fondamentales de son. En conséquence, cette pratique peut donner lieu à des erreurs, parfois amusantes.

Des chercheurs de l’Université d’Oxford ont mis au point un système d’intelligence artificielle nommé LipNet, capable de lire les lèvres avec une grande précision. Pour entraîner ce système, ils ont utilisé 29 000 vidéos de trois secondes, accompagnées de sous-titres.

Un système précédent s’appuyait sur un apprentissage mot à mot, apprenant à associer un phonème particulier à un mouvement labial spécifique, atteignant une précision de 79,6 %. LipNet, en revanche, traite des phrases entières, réalisant une performance nettement supérieure avec une précision de 93,4 %. En comparaison avec des lecteurs labiaux humains qui n’ont enregistré qu’une précision de 52,3 %, LipNet s’est révélé 1,78 fois plus précis dans la traduction des mêmes phrases.

Bien que cette technologie soit impressionnante, elle comporterait encore des limites. Les vidéos utilisées pour l’entraînement étaient tournées dans des conditions idéales, avec un éclairage parfait et un orateur face à la caméra. Dans des situations moins optimales, les résultats pourraient être plus mitigés, suscitant ainsi un certain scepticisme quant aux conclusions des recherches.

Néanmoins, cette technologie offre des perspectives intéressantes. Des chercheurs envisagent des applications pour aider les personnes malentendantes. D’autres solutions existent déjà, utilisant des méthodes variées, notamment la substitution sensorielle.

Selon Jack Clark d’OpenAI, pour que cette technologie puisse fonctionner dans des environnements réels, trois améliorations majeures sont nécessaires : collecter une vaste base de vidéos de personnes s’exprimant dans des contextes variés, permettre à l’IA de lire les lèvres sous différents angles, et élargir le type de phrases que l’IA peut comprendre.

FAQ

Qu’est-ce que la lecture labiale et comment fonctionne-t-elle ?

La lecture labiale consiste à déchiffrer les mots d’une personne en observant les mouvements de ses lèvres. Cela implique de comprendre les déformations et les positions des lèvres pour interpréter le son produit.

Quelles sont les limites de LipNet ?

LipNet peut fonctionner efficacement dans des conditions optimales, mais ses performances pourraient diminuer dans des environnements moins idéaux ou avec des angles de vue variés.

Cette technologie peut-elle aider les personnes malentendantes ?

Oui, l’intelligence artificielle comme LipNet pourrait devenir un outil précieux pour aider les personnes malentendantes à mieux comprendre la communication verbale.

Qu’est-ce qu’une phrase phonème ?

Un phonème est une unité de son dans une langue, et une phrase phonème est une suite de ces unités formant un discours cohérent, que la lecture labiale essaie de décoder.

Quelles améliorations sont nécessaires pour optimiser cette technologie ?

Pour que LipNet fonctionne de manière efficace dans la vie quotidienne, il faut rassembler plus de données vidéo variées, améliorer la lecture labiale sous différents angles, et élargir le vocabulaire que l’IA peut interpréter.