写真やスクリーンショットについてAIに質問し、読み取った内容を確かめる方法
写真やスクリーンショットについてAIに質問し、確かめられる答えを得る方法です。画像の準備、先に書き起こしを頼むプロンプト、個人情報を送らない工夫を解説します。
写真についてAIに質問するには、1つのものがはっきり写った画像を添付し、答える前に見えている内容を書き起こすよう頼み、その書き起こしを自分で確認します。間違った答えの多くは、推論の誤りではなく、曜日、数字、単位の読み間違いから始まります。
このガイドでは、画像の準備、プロンプト、確認の仕方、アプリが何を送るかを扱います。画像の生成や編集は扱いません。ReunifiedのMonoはチャットで写真を受け付けますが、まだ公開前です（ウェイトリストに登録できます）。この方法は、画像を受け付けるどのアシスタントでも使えます。
1. 写真が適した入力かを判断する
写真が役立つのは、レイアウトそのものに意味があるときです。たとえば道路標識、紙の書類、グラフ、コピーできないエラー画面などです。元のテキストやファイルがあるなら、そちらを使います。コピーしたテキストなら、読み間違いは起きません。
キノコや薬の判別など、間違いが誰かを傷つけるおそれのあるものはAIに頼らないでください。資格のある人に聞きましょう。
このガイドの例は架空のものです。日曜日の10:00から3時間駐車したいと考えていて、そばに次のように書かれた標識があります。
2 HOUR PARKING
08:00-18:00 MON-SAT
ZONE B PERMIT HOLDERS EXCEPTED2. 画像を準備する
写真を撮る前や送る前に、次の点を確認します。
- 対象は1つ：質問したい標識、ダイアログ、表の行に合わせて切り抜きます。
- 光と角度：光の反射がなく、カメラが文字の正面にあるようにします。
- 画面：画面を撮影するのではなく、スクリーンショットを撮ります。
- ほかの人の情報：顔、名前、ナンバープレートは切り抜くか隠します。
スマートフォンの写真には、撮影場所が保存されることもあります。Appleの「写真」の位置情報メタデータに関するガイドでは、iPhoneでの削除方法を説明しています。写真を開き、その他ボタンを選んでから、「情報を調整」「位置情報を調整」「位置情報なし」の順に選びます。これから撮る写真に保存されないようにするには、「設定」>「プライバシーとセキュリティ」>「位置情報サービス」>「カメラ」を「しない」にします。Androidでは、カメラが追加した撮影場所をGoogleフォトで削除することはできないため、撮影する前に、カメラの位置情報の設定（「Save location」など）をオフにします。
送った内容を誰が受け取るのかは、AIのプライバシーチェックリストで確認できます。
3. 答えの前に書き起こしを頼む
写真を添付し、まず読み取った内容を出すよう頼みます。そうしないと、答えが読み間違いから来たのかどうかがわかりません。
First, transcribe every word and number on the sign exactly as written.
Write [unreadable] for anything you can't read with confidence.
Then answer: can I park here on Sunday from 10:00 for three hours?
Quote the line your answer depends on.引用された行を見れば、写真のどの部分を確認すればよいかがわかります。
4. AIが読み取った内容を確認する
チャットのプレビューではなく、元の写真を拡大します。答えを左右しうる項目をすべて比べます。
| 項目 | AIの読み取り | 写真に写っている内容 |
|---|---|---|
| 曜日 | MON-SUN | MON-SAT（一部が光の反射で見えにくい） |
| 時間帯 | 08:00-18:00 | 08:00-18:00 |
| 時間制限 | 2 HOUR | 2 HOUR |
最初の書き起こしは「MON-SUN」と読んでいたため、答えは3時間では制限を超えるというものでした。AIと言い合っても、謝罪と別の推測が返ってくるだけかもしれません。自分でその行を読めるなら、チャットに入力します。読めない場合や、[unreadable]と付いた部分については、もっと近づいて、光が反射しないように撮り直します。この例では、撮り直した写真から「MON-SAT」と読み取れ、答えが変わります。日曜日には制限が示されていません。
メニュー全体のように情報の多い画像では、1か所ずつ質問します。曜日、時刻、小数点、単位、形の似た文字（0とO、1とl）は特に念入りに確認します。事実確認のガイドでは、同じ確認をテキストの回答に当てはめています。
5. アプリが何を送るかを確認する
ファイルを添付しても、AIがそれを読んでいるとは限りません。試すには、ファイルの2ページ目にある正確な値を尋ねて比べます。返答で正しく引用できなければ、内容が届いていない可能性があります。
Monoでは、チャットの「+」メニューに「写真」と「ファイル」があり、iPhoneとAndroidでは「カメラ」もあります。それぞれでMonoが送る内容は次のとおりです。
| 添付するもの | メッセージと一緒に送られるもの |
|---|---|
| 写真やスクリーンショット | 画像 |
| Markdownファイル | ファイルのテキスト |
| PDFやその他のファイル | 「[添付ファイル: …]」という形のファイル名だけ |
PDFの場合は、必要なテキストを貼り付けるか、そのページのスクリーンショットを添付します。独自のテキストモデルを使っている場合、Monoは画像をそのモデルに送りますが、モデルが画像に対応していないこともあります。何を確認すればよいかは、独自モデルの接続ガイドで説明しています。
6. 結果を保存して確かめる
確認した書き起こしを、結論と日付と一緒に保存します。たとえば「標識の表記は08:00-18:00 MON-SAT。日曜日の制限は表示なし。10月11日に確認」です。MonoのチャットをMarkdownに書き出すと、写真は「画像」という仮の表示に置き換わるので、内容は書き起こしで残ります。ファイルにほかに何が含まれるかは、チャットの書き出しガイドにまとめています。
罰金を科される、締め切りに遅れるなど、間違いが損につながる場合は、公式の情報源で確かめます。この例では、市の駐車規則です。
そのあと、不要になった写真は削除します。ほかの人や住所が写っているものは特にそうです。Monoはまだ公開前ですが、ウェイトリストに登録でき、使えるようになったらMonoのチャットでもこの方法を使えます。
