Как спросить ИИ о фото или скриншоте и проверить, что он прочитал
Задайте ИИ вопрос по фото или скриншоту и получите ответ, который можно проверить: подготовьте изображение, сначала попросите расшифровку и не отправляйте личные данные.
Чтобы спросить ИИ о фото, прикрепите чёткое изображение одного объекта, попросите перед ответом переписать всё, что на нём видно, и затем лично сверьте эту расшифровку со снимком. Многие неверные ответы начинаются с неправильно прочитанного дня, числа или единицы измерения, а не с ошибки в рассуждениях.
В руководстве разобраны подготовка изображения, запрос, проверка и то, что отправляет приложение. Создание и редактирование изображений здесь не рассматриваются. Mono от Reunified принимает фото в чате, но он ещё не вышел (запишитесь в список ожидания), поэтому пользуйтесь этим методом с любым ассистентом, который принимает изображения.
1. Решите, нужно ли здесь фото
Фото помогает, когда смысл несёт само расположение: дорожный знак, бумажный бланк, диаграмма или окно с ошибкой, текст из которого нельзя скопировать. Если у вас есть исходный текст или файл, лучше используйте их. Скопированный текст невозможно прочитать неправильно.
Не полагайтесь на ИИ, когда нужно опознать гриб, таблетку или что-то ещё, где ошибка может кому-то навредить. Обратитесь к специалисту.
Пример в этом руководстве вымышленный. Вы хотите припарковаться в воскресенье с 10:00 на три часа рядом со знаком, на котором написано:
2 HOUR PARKING
08:00-18:00 MON-SAT
ZONE B PERMIT HOLDERS EXCEPTED2. Подготовьте изображение
Прежде чем снимать или отправлять изображение, проверьте:
- Один объект: обрежьте снимок до знака, окна или строки таблицы, о которых спрашиваете.
- Свет и угол: без бликов, камера направлена прямо на текст.
- Экраны: делайте скриншот, а не фото экрана.
- Чужие данные: обрежьте или закройте лица, имена и номерные знаки.
Фото с телефона могут хранить и место съёмки. В руководстве Apple о метаданных геопозиции в «Фото» показано, как удалить их на iPhone: откройте фото, выберите «Еще», затем «Изменение информации», «Изменить геопозицию» и «Нет геопозиции». Чтобы новые фото её не сохраняли, выберите «Никогда» в «Настройки» > «Конфиденциальность и безопасность» > «Службы геолокации» > «Камера». На Android Google Фото не может удалить геоданные, добавленные камерой, поэтому до съёмки выключите в камере настройку местоположения, например «Сохранять местоположение» (Save location).
Чек-лист приватности ИИ поможет понять, кто получает то, что вы отправляете.
3. Попросите расшифровку до ответа
Прикрепите фото и сначала попросите прочитать текст. Иначе не поймёте, не стоит ли за ответом неправильно прочитанное слово:
First, transcribe every word and number on the sign exactly as written.
Write [unreadable] for anything you can't read with confidence.
Then answer: can I park here on Sunday from 10:00 for three hours?
Quote the line your answer depends on.Процитированная строка подскажет, какую часть фото проверить.
4. Проверьте, что прочитал ИИ
Увеличьте исходное фото, а не превью в чате. Сравните каждый пункт, который может изменить ответ:
| Пункт | Что прочитал ИИ | Что на фото |
|---|---|---|
| Дни | MON-SUN | MON-SAT, частично засвечено бликом |
| Часы | 08:00-18:00 | 08:00-18:00 |
| Ограничение по времени | 2 HOUR | 2 HOUR |
В первой расшифровке было «MON-SUN», поэтому в ответе говорилось, что три часа превысят ограничение. Если спорить с ИИ, можно получить извинение и новую догадку. Если строку удаётся прочитать, впишите её в чат. Если нет или что-то помечено как [unreadable], сделайте новый снимок ближе и без бликов. Здесь на новом снимке читается «MON-SAT», и ответ меняется: для воскресенья ограничение не указано.
Если на изображении много всего, например целое меню, спрашивайте про одну область за раз. Внимательнее всего смотрите на дни, время, десятичные разделители, единицы измерения и похожие символы (0 и O, 1 и l). В руководстве по проверке фактов те же проверки применяются к текстовым ответам.
5. Проверьте, что отправляет приложение
Прикреплённый файл ИИ читает не всегда. Чтобы проверить, попросите точное значение со второй страницы файла и сравните. Если ИИ не может точно его процитировать, содержимое, возможно, не дошло.
В Mono в меню «+» в чате есть «Фото» и «Файлы», а на iPhone и Android также «Камера». Вот что Mono отправляет в каждом случае:
| Что вы прикрепляете | Что уходит вместе с сообщением |
|---|---|
| Фото или скриншот | Изображение |
| Файл Markdown | Текст файла |
| PDF или любой другой файл | Только его имя, в виде «[Прикреплённый файл: …]» |
Для PDF вставьте нужный текст или прикрепите скриншот страницы. Если вы используете свою текстовую модель, Mono отправляет изображения ей, а она может их не принимать. Руководство по подключению своей модели показывает, что проверить.
6. Сохраните результат и подтвердите его
Сохраните проверенную расшифровку вместе с выводом и датой: «На знаке: 08:00-18:00 MON-SAT. Для воскресенья ограничение не указано. Проверено 11 октября». Если экспортировать чат Mono в Markdown, фото превратится в заглушку «Изображение», так что содержимое сохранит именно ваша расшифровка. Руководство по экспорту чата перечисляет, что ещё входит в файл.
Если ошибка может дорого обойтись, например штрафом или пропущенным сроком, сверьтесь с официальным источником. В примере это городские правила парковки.
Затем удалите ненужные фото, особенно те, на которых видны другие люди или адреса. Mono пока недоступен, но вы можете записаться в список ожидания и применять этот метод в его чате, когда получите доступ.
