L'essentiel
- Date de publication :
- Mots-clés :
- Créée pour les personnes déficientes visuelles et disponible gratuitement sous iOS, l’application Seeing AI est compatible avec le lecteur d’écran Voice Over. Elle utilise la caméra du smartphone et l’intelligence artificielle pour donner une description de l’environnement par l’intermédiaire d’un carrousel de fonctionnalités appelées « chaines » par l’application : lecture de texte imprimé, reconnaissance de produits par leurs codes-barres, reconnaissance de visages, des éléments de l’environnement proche ou ceux d’une capture photo, identification des billets de banques, des couleurs, détection du niveau de luminosité…
Caractéristiques générales
- Nom commercial du produit : Seeing AI
- Prix : 0 €
- Fabricant : Microsoft Corporation
- Distributeurs : Apple Store
- Système d’exploitation : iOS 10 minimum, iPhone 12 Pro et 12 Pro Max pour l’utilisation du LIDAR (analyse de la distance des objets) dans la chaîne "Monde"
- Mode de distribution (CD, Abonnement) : Téléchargement sur l'Apple Store
-
Caractéristiques libres
- Date de sortie de la version actuelle : 17/06/2021
- Nombre de langue disponibles : environ 70 dont le français
- e-mail de contact : seeingai@microsoft.com
Caractéristiques techniques
- Nom de la source : Association Valentin Haüy CERTAM
- Fabricant : Microsoft
- Prix catalogue : Gratuit
- Importateurs ou Distributeur : Apple Store
- Langues disponibles : environ 70 dont le français
- Auto-vocalisation de l’application : Partiel (nom des chaînes et résultats des captures)
- Synthèse vocale proposée pour les éléments auto-vocalisés : Thomas, Thomas Premium, Marie, Daniel, Amélie
- Réglage de la vitesse de lecture pour les éléments auto-vocalisés : oui
- Accessibilité de l’interface utilisateur par le lecteur d’écran natif au système : oui
- Lecteur d’écran utilisé pour la vocalisation de l’interface : Voice Over (iOS)
- Fonction d’agrandissement de l’application : non
- Fonction d’amélioration de l’affichage de l’application (couleurs, etc.) : non
- Accessibilité de l’interface utilisateur avec le Zoom et autres améliorations de la perception de l’affichage natifs au système : oui
Détail des fonctionnalités
Texte court
- Lecture audio instantanée du texte placé devant la caméra arrière : oui
- Suivi de la lecture placée sous la caméra au déplacement de l’appareil : oui
- Reconnaissance et lecture de textes en langue étrangère : non
- Éclairage de la zone de détection : oui
- Désactivation de l’éclairage : automatique au bout de quelques minutes d’inactivité
- Sélection d’une langue pour la reconnaissance du texte et la lecture par synthèse vocale : oui
- Nombre de langues de reconnaissance disponibles : 19
- Reconnaissance de l’écriture manuscrite : oui (expérimental)
Document
- Lecture audio du texte de la page capturée par la caméra arrière : oui
- Aide à la localisation du texte par détection des bords du documents : oui
- Capture automatique après détection des bords du document : oui
- Reconnaissance de la structure du document (niveaux de titre, polices…) : oui
- Fonctions d’agrandissement / réduction du texte affiché : oui
- Mise en évidence visuelle du texte en cours de lecture : oui (mot et phrase)
- Synchronisation de la lecture du texte avec son affichage : oui
- Partage du résultat de la reconnaissance : oui
- Format du partage : image ou texte (html)
- Emplacements du partage : Messages, Mail, Twitter, Fichier, etc.
- Sélection d’une langue pour la reconnaissance du texte et la lecture par synthèse vocale : non
- Reconnaissance de l’écriture manuscrite : oui (expérimental)
Produit
- Détection de codes-barres des produits de consommation capturés par la caméra arrière : oui
- Type de codes-barres détectés : unidimensionnels
- Signaux sonores d’aide au repérage du code-barre : oui
- Reconnaissance des codes-barres de médicaments : non
- Connexion data nécessaire pour l’identification d’un code-barre : oui
- Bases de données interrogées : non communiqué
- Distance idéale entre le code-barre et la caméra : dépend de la taille du code barre et de la forme de l’emballage du produit
- Retour utilisateur à la détection du code-barre : nom du produit et information complémentaire si disponible
- Partage du retour utilisateur : oui
- Format du retour : texte
- Emplacements du retour : Messages, Mail, Twitter, Fichier, etc.
Personne
- Capture et description audio des visages : oui
- Éléments donnés par la description audio : sexe, âge, émotions
- Annonce de la distance entre l’objectif et le visage : oui
- Capture par la caméra arrière ou la caméra frontale du mobile : oui
- Fonction de reconnaissance faciale et attribution d’un nom à un visage : oui
- Suppression d’une reconnaissance faciale mémorisée : non
- Nombre de prise de vues nécessaires pour une reconnaissance faciale : 3
- Enregistrement de la capture : oui
- Partage de la photo capturée : oui
Billets
- Mode de fonctionnement et transmission de l’information : annonce du montant de la coupure au survol du billet par la caméra arrière du téléphone
- Sélection de devises : oui (Euros, Dollars US, Dollars canadien, Livres britannique, Lire turc, Real brésilien, Roupies indiennes, Yen japonais)
- Reconnaissance des billets chiffonnés ou pliés : oui
- Éclairage de la zone de détection : oui
- Désactivation de l’éclairage : oui
Scène
- Détection des éléments capturés par la caméra de l’appareil : oui
- Utilisation de l’intelligence artificielle pour l’analyse de l’image : oui
- Analyse de l’image par un traitement humain collaboratif : non
- Description détaillée de la scène par le déplacement du doigt sur la photo capturée : oui
- Enregistrement de la photo capturée : oui
- Partager l’image capturée : oui
- Reconnaissance et lecture des éléments textuels de la photo : oui
Monde
- Identification des objets / éléments visualisés en temp réel par l’optique du smartphone : oui
- Analyse de la distance d’un élément identifié : oui (appareil avec technologie LIDAR uniquement)
- Bouton d’annonce des éléments reconnues : oui
- Pose d’une balise sur un élément reconnu : oui
- Aide au déplacement vers une balise et identification de sa distance : oui
Couleur
- Méthode d’utilisation : pointage de l’élément coloré par la caméra arrière
- Annonce vocale de la couleur détectée par la caméra : oui
- Recherche d’une couleur spécifique sélectionnée dans une liste : non
- Nombre de couleurs prises en charge : non communiqué
- Retour de l’information à l’utilisateur : annonce vocale du nom de la couleur
- Fréquence d’annonce du message : au déplacement de la caméra sur une nouvelle couleur
- Éclairage de la zone de détection : oui
- Désactivation de l’éclairage : oui
Luminosité
- Détection du taux de luminosité ambiant : oui
- Caméra utilisée pour la détection de lumière : caméra frontale
- Retour de l’information à l’utilisateur : Tonalité sonore variable en fonction du taux de luminosité.
- Affichage du niveau de luminosité en lux : non
Divers
- Utilisation de commandes vocales Siri le lancement des fonctions Seeing AI : oui
- Fonctions disponibles par commandes Siri : Toutes les chaînes, apprentissage de la reconnaissance d’une nouvelle personne, parcourir des photos
- Configurer le lancement d’une chaîne par un appui prolongé sur l’icône de lancement « Seeing AI » (raccourci « Haptic Touch ») : oui
- Nombre maximum de raccourci « Haptic Touch » : 4
- Réorganiser l’ordre d’affichage dans le carrousel des chaînes : oui
- Supprimer l’affichage d’une chaîne dans le carrousel : oui
- Désactivation du flash photo et de la lampe en fonction de l’éclairage ambient : oui
- Analyse d’une photo par Seeing AI à partir d’une application tierce : oui
- Applications interfacées : Twitter, WhatsApp, etc.
Seeing AI version 4.1.1
Titre affiché : Seeing AI lecture de textes en temps réel par la chaîne « Texte court ».
- Message audio : « Texte court ».
- Vidéo : une boîte de conserve apparaît sur l’écran.
- Message audio : « conserverie depuis 1877, foie de morue au citron ».
Titre affiché : Seeing AI lecture de texte par la chaîne « Document ».
- Message audio : « Document ».
- Vidéo : une page de texte est progressivement visualisée dans son ensemble.
- Message audio : bord visible, bords haut et gauche non visibles, ne bouger plus. Traitement en cours…
- Émission de bips pendant le traitement.
- Lecture du texte reconnu : Postérité. La Joconde exprime le bonheur et la sérénité dans le silence d’un sourire. Célèbre entre tous, ce portrait connait une destinée pour le moins paradoxale. Volé ou détourné, mais incontournable, il fait l’unanimité, il inspire, il agace.
Titre affiché : Seeing AI détection de code barre par la chaîne « Produit »
- Message audio : « Produit »
- Vidéo : une boîte de sel est tournée devant la caméra du smartphone jusqu’à visualisation du code barre.
- Émission de bips pendant le traitement.
- Message audio et affichage : « Traitement en cours… »
- Message audio et affichage : Sel fin iodé Fluoré
Titre affiché : Seeing AI reconnaissance faciale par la chaîne « Personne »
- Message audio : « Personne »
- Le portrait d’Albert Einstein apparaît à l’écran
- Message audio : Albert à proximité de bord inférieur à moins d’un mètre
- Le portrait de Marilyn Monroe apparaît à l’écran
- Message audio : Marilyn à proximité de bord inférieur à moins d’un mètre
- Le portrait de Winston Churchill apparaît à l’écran
- Message audio : Winston à proximité de center inférieur à moins d’un mètre
Titre affiché : Seeing AI valeur faciale de billets de banque par la chaîne « Billet »
- Un billet de 10 euros est glissé sous l’optique du smartphone
- Message audio : 10 euros
- Le billet de 10 euros est enlevé, un billet de 5 euros est glissé sous l’optique du smartphone
- Message audio : 5 euros
- Le billet de 5 euros est enlevé, un billet de 20 euros est glissé sous l’optique du smartphone
- Message audio : 20 euros
Titre affiché : Seeing AI identification des éléments d’une photo par la chaîne « Scène »
- Prise en hauteur d’une photo montrant une série d’immeuble, une rue, des voitures stationnées et des piétons sur le trottoir
- Émission de bips pendant le traitement.
- Message audio et affichage : « Traitement en cours… »
- Message audio et affichage : probablement une rue avec des voitures et des bâtiments
Titre affiché : Seeing AI identification des éléments capturés en temps réel par la chaîne « Monde »
- La caméra du mobile est déplacée lentement sur 360°
- Message audio et affichage sur les éléments détectés pendant la prise de vue : écran, chaise, clavier, table, tasse, bouteille, téléphone mobile, tasse, clavier, écran, livre, écran, écran, table, chaise, chaise, chaise, écran, écran, table, chaise, chaise.
- Sur ce dernier élément le menu contextuel est appelé et affiché à l’écran
- Affichage des derniers éléments détectés et de leurs éloignements par rapport au mobile
- Pose d’une balise sur l’élément chaise le plus proche
- Retour à la visualisation en temps réel de l’environnement
- Signaux sonores avec identification par flèches directive et indication de la distance vers l’objet balisé
- Émission d’un signal sonore spécifique lorsque l’objet balisé se trouve à portée
Titre affiché : Seeing AI Détection de couleur par la chaîne « Couleur »
- L‘optique du mobile es déplacée au-dessus de trois éléments de couleurs jaune, bleu et mauve puis revient à sa position initiale
- Message audio : jaune, bleu, rose, bleu, jaune
Titre affiché : Seeing AI Détection du niveau de luminosité par la chaîne « Luminosité »
- L’optique du mobile est déplacée dans la pièce des zones les plus sombres vers une zone éclairée par une lampe
- Émission de signaux sonores de plus en plus aigüe au fur et à mesure du déplacement de l’optique vers les zones les plus lumineuses
