Vision Assist: L’Application Gratuite qui Identifie les Objets pour les Malvoyants

        <div class="newsletter-cta-description">
            <p class="article-paragraph skip">Des innovations incontournables à la pointe de la science et de la technologie.</p>
        </div>
    </div>
</div>

Nous vous avons parlé de l’application **BlindTool** de Joseph Paul Cohen, qui aide les personnes malvoyantes à percevoir leur environnement grâce à des signaux audio et des vibrations. Depuis son lancement, Cohen réfléchit à des moyens d’améliorer cette technologie.

Dernièrement, il a lancé une campagne sur Kickstarter pour financer le développement d’une version plus conviviale de **BlindTool**.

Les défis de BlindTool V1

Bien que la première version de l’application ait reçu des critiques positives, plusieurs **défis** demeurent et Cohen espère les surmonter :

• Incapacité à reconnaître de nombreux objets et concepts courants (par exemple, un mur).
• Confusion lors de l’identification de certains objets (erreurs de reconnaissance).
• Pas d’activation de la lampe de poche la nuit.
• Pas de possibilité de personnaliser l’application.

Le jeu de données de BlindTool V1 est plutôt aléatoire. Cohen souligne que certaines des connaissances de l’application, comme “poisson rouge, requin blanc, poule, autruche” (pour n’en nommer que quelques-uns), ne sont pas utiles pour les personnes aveugles… sauf, évidemment, pour les gardiens de zoo malvoyants.

Que fera la version 2 de BlindTool ?

• **BlindTool V2** restera totalement gratuit (Cohen précise qu’il ne souhaite pas facturer les utilisateurs malvoyants pour des raisons éthiques).
• L’application recueillera des étiquettes et des images de la part des utilisateurs pour former le système à identifier ces éléments.
• Possibilité de personnaliser l’interaction du système en filtrant certaines étiquettes ou en ajoutant différents noms pour les objets identifiés.
• Augmenter les tests de l’application auprès des utilisateurs malvoyants afin de s’assurer qu’ils la trouveront utile au quotidien.

L’objectif principal de Cohen est de créer une base de données plus complète d’objets. Toutefois, comme le traitement a ses limites sur un smartphone, il ne peut pas simplement ajouter une multitude d’étiquettes.

Il prévoit donc d’ajouter un bouton à l’interface. En appuyant sur ce bouton, l’utilisateur pourra signaler qu’un objet est important pour lui. Cela enverra cette information à un serveur, qui utilisera ces nouvelles données pour former un réseau de neurones.

Une fois ce réseau formé, le traitement pourrait prendre jusqu’à deux semaines. À la fin du processus, le serveur renverra ces informations à l’application sous forme de version améliorée.

Au fil du temps, cette méthode permettra de créer une immense collection d’images avec des étiquettes pertinentes pour les utilisateurs, améliorant ainsi la qualité des prédictions.

Découvrir BlindTool

Nous avons récemment eu une conversation avec Cohen pour mieux comprendre **BlindTool** et les idées qui le sous-tendent.

Futurism : Comment vous est venue l’idée de ce dispositif ?

JPC : Il y a plusieurs années, j’ai collaboré avec un programmeur aveugle et j’ai appris comment les choses fonctionnaient pour les personnes malvoyantes. Nous avons discuté de la difficulté des mathématiques pour les aveugles, j’ai pu lui faire découvrir LaTeX, qui leur permet de lire et d’écrire des maths à l’aide de lecteurs d’écran. Cela s’avère également utile pour les chercheurs en mathématiques, c’est très pratique.

J’ai senti qu’il y avait moyen de créer une meilleure canne.

Je voulais concevoir une canne qui explique davantage ce qui entoure la personne, du genre “La porte est à 4 pieds et il y a une marche.” À l’époque, j’ignorais les technologies utilisées dans l’application.

Futurism : Y a-t-il eu un événement particulier qui vous a motivé à créer cela ?

JPC : Récemment, en découvrant une librairie d’apprentissage automatique appelée mxnet qui fonctionne sur Android, j’ai réalisé que je pouvais transformer cette technologie en un outil pour les aveugles et le déployer massivement sur pratiquement tous les smartphones Android. J’ai su que c’était faisable et j’ai eu hâte de le réaliser.

Une part de ma motivation provient de ma peur de devenir aveugle.

Pendant que je travaillais dessus, je me disais que si je devenais aveugle demain, je pourrais utiliser cet outil.

Futurism : Comment voyez-vous cette technologie être utilisée dans la vie quotidienne ? Expliquez-le comme si j’avais 5 ans, ce qu’elle permettra aux gens de faire.

JPC : Actuellement, elle ne peut détecter que les objets qui occupent toute la vue de la caméra. Je mettrais mon téléphone dans ma poche de chemise avec des écouteurs et regarderais autour de moi pour savoir ce qu’il y avait sur la table. Cela fonctionnait assez bien, même si elle ne voyait pas clairement les objets. Je pense que les utilisateurs peuvent l’utiliser dans la cuisine en cuisinant pour les aider à identifier ce qui se trouve sur la table ; ou au bureau à la recherche d’un clavier. Ou simplement pour obtenir une idée de ce à quoi ressemble quelque chose qu’ils peuvent toucher.

Futurism : Pourquoi avoir choisi Kickstarter pour obtenir des financements plutôt que d’autres méthodes ?

JPC : Je pensais que Kickstarter serait la manière la plus simple de financer le développement futur.

Vendre à des utilisateurs malvoyants ne me met pas à l’aise. Sans stratégie de monétisation, je crois qu’un investisseur ne m’accorderait pas d’argent.

J’ai précédemment tenté d’obtenir des subventions auprès de gouvernements et d’organisations privées pour un autre projet. Nous y mettions tant d’efforts, seulement pour nous entendre dire non, même avec des propositions rapides. Soumettre à la NSF (National Science Foundation) nécessite tant de numéros d’identification de différents groupes… je trouve que c’est un vrai casse-tête et cela prend énormément de temps.

Je pense qu’il faut se spécialiser dans la soumission de subventions pour suivre ce chemin ou embaucher quelqu’un qui s’y connaît.

Je pense donc que Kickstarter nécessite le moins d’efforts de ma part, ce qui me permet de me concentrer sur d’autres projets qui me tiennent à cœur.

Futurism : Enfin, Star Wars ou Star Trek, et quel est votre personnage préféré ?

Je pense que c’est Han Solo, même s’il est probablement un cylon.

Que vais-je obtenir en investissant ?

• **1 $** – Vous serez crédité en tant que soutien dans l’application.
• **9 $** – Votre nom figurera dans l’application en tant que contributeur au projet.
• **50 $** – Vous aurez accès à une version anticipée de la prochaine mise à jour et votre nom apparaîtra dans l’application.
• **500 $** – Vous pourrez définir le nom par défaut d’un objet. “Au lieu de dire ‘Tasse à café’, l’application pourra dire ‘Cup o Joe’ ou ‘Cup o Frank’ ou même ‘OMG COFFEE’. Ces noms pourront être modifiés par l’utilisateur par la suite, donc cela ne nuira pas à l’utilisation quotidienne, mais les noms par défaut seront les vôtres.

L’objectif du projet est d’atteindre 5 000 $ d’ici le samedi 6 février à 11h00 EST.