Google a déployé le Guided Vision destiné aux personnes malvoyantes et à faible vision au sein de Gemini Live. Selon l’annonce publiée le 1er octobre, l’utilisateur peut partager l’image capturée par la caméra de son téléphone avec Gemini Live et recevoir des descriptions orales des objets qui l’entourent. Alors que les capacités de marquage d’objets par caméra de Gemini Live mettaient auparavant l’accent sur des réponses visuelles, cette nouvelle fonctionnalité organise désormais les indications vocales en fonction des besoins d’accessibilité.
Guided Vision ne se limite pas à décrire ce que voit la caméra. Si l’image n’est pas suffisamment nette, il peut demander à l’utilisateur de tourner le téléphone vers la droite, de l’incliner vers le bas ou de reculer légèrement. Cela facilite ainsi le centrage de l’objet interrogé dans le cadre. L’utilisateur peut ensuite poser de nouvelles questions concernant la même image; il n’est plus nécessaire de prendre une nouvelle photo à chaque fois.
Parmi les exemples fournis par Google figurent la lecture de petits caractères sur des étiquettes nutritionnelles, la compréhension d’un menu dans une lumière faible et la recherche d’un objet qui se perd sur une surface bondée. En outre, il peut s’agir de décrire les couleurs ou les motifs des vêtements. Ces exemples ne signifient pas que la totalité des informations visuelles est interprétée sans erreur par l’outil. Les explications générées par l’intelligence artificielle peuvent être incomplètes ou inexactes selon les conditions.
Des retours des utilisateurs malvoyants et aveugles ont été pris en compte dans le développement. Google indique collaborer avec Aira pour tirer parti de dizaines de milliers d’heures de données d’interprétation visuelle issues de scénarios réels et précise que plus d’un millier de personnes du réseau de tests fiable d’Aira ont expérimenté le système. Ces chiffres décrivent le processus de développement mentionné par l’entreprise et ne doivent pas être lus comme une mesure d’exactitude indépendante.
Guided Vision est accessible sur les appareils fonctionnant sous Android 9 et versions ultérieures
Selon Google, Guided Vision peut être utilisé sur les téléphones compatibles qui exécutent Android 9 ou une version ultérieure, dans les régions et langues prises en charge par Gemini Live. Après avoir activé l’option “Use Guided Vision in Live” dans les paramètres de profil de l’application Gemini, le partage de la caméra en direct est lancé. En raison des contraintes de distribution et de support linguistique, il n’est pas garanti que l’option soit visible pour tous les utilisateurs simultanément.
Pour ceux qui veulent un accès rapide, il est possible d’ajouter un raccourci dans les paramètres d’Accessibilité d’Android. Google mentionne le bouton d’accessibilité à l’écran, le geste de balayage à deux doigts, ou encore l’appui simultané sur les boutons de volume comme options. Les utilisateurs de TalkBack peuvent accéder à Guided Vision via le menu ouvert par un toucher à trois doigts. De plus, l’application et le système Android doivent être à jour.
Par ailleurs, Google souligne que Guided Vision n’est pas un outil de navigation ni un dispositif de sécurité pour les déplacements. Il ne remplit pas les fonctions de détection d’obstacles, d’évaluation médicale ou de remplacement d’une canne blanche. La fonctionnalité peut faciliter la compréhension des détails environnants; pour les décisions liées à la sécurité en mouvement, il convient de continuer à utiliser les aides traditionnelles. L’accès pour les utilisateurs en Turquie dépendra également du support linguistique et régional de l’application.
