Interroger une IA sur une photo ou une capture d’écran et vérifier sa lecture

Pour poser une question à une IA sur une photo, joins une image nette d’un seul sujet, demande-lui de transcrire ce qu’elle voit avant de répondre, et vérifie toi-même cette transcription. Beaucoup de mauvaises réponses viennent d’un jour, d’un nombre ou d’une unité mal lus, pas d’un mauvais raisonnement.

Ce guide couvre l’image, la demande, la vérification et ce qu’une app envoie, pas la création ni la retouche d’images. Mono by Reunified accepte les photos dans le chat, mais il n’est pas encore sorti (rejoins la liste d’attente) : utilise donc cette méthode avec n’importe quel assistant qui accepte les images.

1. Décide si une photo est la bonne source

Une photo est utile quand la mise en page compte : un panneau de rue, un formulaire papier, un graphique ou une boîte de dialogue d’erreur que tu ne peux pas copier. Si tu as le texte ou le fichier d’origine, utilise-le plutôt. Un texte copié ne peut pas être mal lu.

Ne compte pas sur l’IA pour identifier un champignon, un médicament ou quoi que ce soit où une erreur pourrait blesser quelqu’un. Demande à une personne qualifiée.

L’exemple de ce guide est inventé. Tu veux te garer dimanche à partir de 10 h pendant trois heures, à côté d’un panneau qui indique :

2 HOUR PARKING
08:00-18:00 MON-SAT
ZONE B PERMIT HOLDERS EXCEPTED

En clair : stationnement limité à 2 heures de 8 h à 18 h, du lundi au samedi, sauf pour les titulaires d’un permis de zone B.

2. Prépare l’image

Avant de prendre ou d’envoyer la photo, vérifie :

• Un seul sujet : recadre sur le panneau, la boîte de dialogue ou la ligne de tableau qui t’intéresse.
• Lumière et angle : pas de reflet, et l’appareil bien en face du texte.
• Écrans : fais une capture d’écran, pas une photo de l’écran.
• Données des autres : recadre ou masque les visages, les noms et les plaques d’immatriculation.

Les photos prises au téléphone peuvent aussi enregistrer leur position. Le guide d’Apple sur les métadonnées de localisation dans Photos montre comment la retirer sur iPhone : ouvre la photo, choisis Plus, puis Ajuster les infos, Ajuster le lieu et Aucun lieu. Pour que les nouvelles photos ne l’enregistrent plus, règle Réglages > Confidentialité et sécurité > Service de localisation > Appareil photo sur Jamais. Sur Android, Google Photos ne peut pas supprimer une position ajoutée par l’appareil photo : désactive donc le réglage de localisation de l’appareil photo, comme « Enregistrer le lieu », avant de prendre la photo.

La checklist de confidentialité de l’IA t’aide à vérifier qui reçoit ce que tu envoies.

3. Demande une transcription avant la réponse

Joins la photo et demande d’abord la lecture. Sinon, tu ne peux pas savoir si la réponse vient d’un mot mal lu :

First, transcribe every word and number on the sign exactly as written.
Write [unreadable] for anything you can't read with confidence.
Then answer: can I park here on Sunday from 10:00 for three hours?
Quote the line your answer depends on.

Cette demande fait d’abord transcrire chaque mot et chaque nombre tels qu’ils sont écrits, marquer [unreadable] ce qui n’est pas lisible avec certitude, puis donner la réponse en citant la ligne sur laquelle elle s’appuie. La ligne citée t’indique quelle partie de la photo vérifier.

4. Vérifie ce que l’IA a lu

Zoome sur la photo d’origine, pas sur l’aperçu du chat. Compare chaque élément qui pourrait changer la réponse :

La première transcription lisait « MON-SUN » : la réponse disait donc que trois heures dépasseraient la limite. Discuter avec l’IA peut te valoir des excuses et une nouvelle supposition. Si tu arrives à lire la ligne, saisis-la dans le chat. Sinon, ou pour tout ce qui est marqué [unreadable], reprends la photo de plus près et sans reflet. Ici, la nouvelle photo donne « MON-SAT », et la réponse change : aucune limite n’est indiquée pour le dimanche.

Pour une image chargée, comme un menu complet, pose tes questions sur une zone à la fois. Les jours, les heures, les séparateurs décimaux, les unités et les caractères qui se ressemblent (0 et O, 1 et l) méritent l’examen le plus attentif. Le guide de vérification des faits applique les mêmes contrôles aux réponses en texte.

5. Vérifie ce que ton app envoie

Joindre un fichier ne veut pas toujours dire que l’IA le lit. Pour tester, demande une valeur exacte tirée de la deuxième page du fichier et compare. Si la réponse ne peut pas la citer correctement, le contenu n’est peut-être pas arrivé.

Dans Mono, le menu « + » du chat propose Photos et Fichiers, ainsi qu’Appareil photo sur iPhone et Android. Voici ce que Mono envoie dans chaque cas :

Pour un PDF, colle le texte dont tu as besoin, ou joins une capture d’écran de la page. Si tu utilises ton propre modèle de texte, Mono envoie les images à ce modèle, qui ne les accepte pas forcément. Le guide pour connecter un modèle personnalisé montre ce qu’il faut vérifier.

6. Enregistre le résultat et confirme-le

Enregistre la transcription vérifiée avec ta conclusion et la date : « Le panneau indique 08:00-18:00 MON-SAT. Aucune limite indiquée pour le dimanche. Vérifié le 11 octobre. » Si tu exportes un chat Mono en Markdown, la photo devient un espace réservé « Image » : c’est donc ta transcription qui garde le contenu. Le guide d’export des chats liste ce que le fichier contient d’autre.

Quand une erreur te coûterait cher, comme une amende ou une échéance manquée, vérifie auprès de la source officielle. Dans l’exemple, c’est le règlement de stationnement de la ville.

Supprime ensuite les photos dont tu n’as plus besoin, surtout celles qui montrent d’autres personnes ou des adresses. Mono n’est pas encore disponible, mais tu peux rejoindre la liste d’attente et utiliser cette méthode dans son chat dès que tu y auras accès.