Microsoft vient de développer une application qui permet aux personnes aveugles ou malvoyantes de mieux comprendre le monde qui les entoure. Une petite révolution qui pourrait radicalement changer la vie des aveugles et déficients visuels. Ou comment l’intégration d’intelligence artificielle (IA) peut apporter des bénéfices considérables pour concevoir des outils permettant d’aider les êtres humains et notamment, de « voir » à la place d’un aveugle.
Après l’intelligence artificielle « maison » de Facebook, permettant aux non voyants une description audio des images affichées en son sein, Microsoft a présenté une nouvelle application dédiée aux personnes malvoyantes lors de la dernière conférence « Build 2016 » dédiée aux développeurs, le 30 mars dernier à San Francisco. Baptisée «Seeing AI», elle utilise l’intelligence artificielle pour les aider dans leur vie quotidienne, permettant de savoir ce qu’il se passe autour d’eux.
Le projet a été porté par Saqib Shaikh développeur Microsoft depuis dix ans, ingénieur logiciel basé à Londres, qui a perdu la vue à l’âge de sept ans et qui rêvait « d’avoir quelque chose qui puisse me dire à tout moment ce qui m’entoure ».
Grâce aux APIs d’intelligence artificielle Cognitive Services (anciennement Project Oxford) de la Cortana Intelligence Suite, il a développé une application pour ses lunettes connectées Pivothead qui permet d’interpréter ce qu’elles voient en temps réel et de l’énoncer à voix haute à l’utilisateur. Ainsi, un simple passage du doigt sur le côté des lunettes suffit au dispositif pour décrire l’environnement : Seeing AI peut dire à Saqib Shaikh ce qu’il y a devant lui avec précision : « Je pense que c’est un homme qui saute en l’air, réalisant une figure sur un skateboard. » Et l’application va plus loin, elle « peut m’indiquer l’âge et le sexes des gens qui m’entourent, ainsi que leurs émotions ».
Après avoir pris une photo avec ses lunettes, une voix indique, par exemple, qu’un jeune homme joue avec un ballon ou qu’une jeune fille lance un frisbee.
Les lunettes peuvent l’informer de l’expression du visage de ses interlocuteurs lorsqu’il leur parle et qu’ils ne répondent pas, ou lui décrire une scène de la vie de tous les jours (un jeune fait une figure au skateboard dans la rue, une fille joue au frisbee dans le parc…). Le tout avec une précision impressionnante : âge et sexe des personnes, couleur et forme des objets. Une autre scène le montre dans un restaurant où aucune version braille du menu n’est disponible. Saqib Shaikh utilise alors son smartphone pour prendre en photo le menu et obtenir une lecture complète grâce à l’intelligence artificielle. Et le dispositif répond aux commandes vocales.
Saqib Shaikh a lui même participé au développement de cette application, tout en s’appuyant sur les années de recherche des scientifiques de Microsoft Research.
«Il y a quelques années, c’était de la science fiction. Je n’aurais jamais pensé que cela pourrait être réalisable aujourd’hui, mais l’intelligence artificielle progresse rapidement et je suis vraiment excité de voir jusqu’où nous pourrons aller», conclut Saqib Shaikh. Pour l’heure, Seeing AI est encore au stade de projet et Microsoft n’a pas donné d’informations sur une éventuelle commercialisation dans son Windows Store.
