ワインを見つける どこへ行っても

アプリは写真からどのようにワインを識別するのですか？

ワインアプリは、ワインそのものを認識するのではなく、ラベルを画像として読み取ってボトルを識別します。シャッターを切ってからおすすめを提示するまでに4つの個別の処理があり、それぞれ異なる原因で失敗します。

1. ステップ1 — フレーム内のボトルを見つける

   最初の処理では、写真内からラベルの形をした領域を見つけ、傾きを補正します。棚の写真には通常、候補となるラベルが8枚から20枚写っており、その大半は傾いているうえ、手前のボトルに一部が隠れています。この段階で検出できなかったものは後から復元できません。そのため、棚全体を広く撮るよりも、1本のボトルを正面から撮った写真のほうがはるかに確実です。

2. ステップ2 — 文字を読み取る

   光学文字認識によって各領域をテキストに変換します。典型的な問題が起きるのはこの段階です。暗い背景にセリフ体の大文字が使われている場合、店舗の照明で金箔が白飛びしている場合、Burgundyのラベルに筆記体が使われている場合、ヴィンテージがボトル本体ではなくネック部分に印刷されている場合などです。出力されるのは文字列であり、生産者名の1文字を誤認するだけで、次の処理では別のワインにたどり着いてしまいます。

3. ステップ3 — テキストをワインと照合する

   抽出したテキストをワインデータベースと照合します。照合には生産者名、ワイン名、そしてできればヴィンテージが必要です。3つのうち2つしか分からない場合、結果は特定の1本ではなく、同系統のワイン群になります。「Château Something 2019」と表示されるか、「Bordeauxの赤ワイン」と表示されるかを決めるのがこの段階です。

4. ステップ4 — 名前をおすすめに変える

   ボトルの名前を特定することと、その中からおすすめを提示することは別の問題であり、画像認識の処理に当たるのは前者だけです。おすすめでは、好みとして入力したスタイル、甘さ、予算、飲む場面に照らして、識別されたボトルを順位付けします。そのため、回答の質はカメラの性能よりも、好みをどれだけ正直に入力したかに大きく左右されます。好みを一度も尋ねずにおすすめを提示するアプリは、人気順に並べ、それを個人向けの推薦と呼んでいるだけです。

ワイン認識が正確に機能しないケース

ラベルが破損していたり、濡れていたり、剥がれていたりすると、読み取る文字がないため認識できません。ワインがどのデータベースにも登録されていない非常に小規模な生産者の場合も認識できません。ラベルに地域名だけが記載され、生産者名がないワインも認識できません。これはItalyやSpainではよく見られます。また、OCRには解像度以上にコントラストが必要なため、暗い場所でも認識できません。

さらに、誤りと気づきにくい形で失敗することもあり、これが危険です。正しいワインについて、間違ったヴィンテージを確信を持って示す場合があります。ヴィンテージは最も誤読されやすい項目です。多くのラベルで最も小さな文字で記載され、別の帯部分に配置されていることも多いためです。

あまり指摘されない、さらに見分けにくい問題もあります。認識自体は完璧でも、手元のボトルのヴィンテージに対応する参照データがなければ、推奨内容は誤っている可能性があります。データベースに2019までの情報しかないワインの2022は、古いヴィンテージの特徴を基に説明されますが、その置き換えが行われたことは画面上に何も表示されません。

実用上の原則は、初めて見るボトルが何かを調べるために認識機能を使い、その回答を基に高額な判断をする前には、自分でラベルを確認することです。オークションでの入札や保険評価において、画像モデルの回答を最終判断としてはなりません。