Открывайте мир вина Где бы вы ни были

Как приложение определяет вино по фотографии?

Приложение определяет бутылку, считывая этикетку как изображение, а не распознавая само вино. Между нажатием на кнопку затвора и рекомендацией выполняются четыре отдельных шага, и на каждом из них возможны свои ошибки.

1. Шаг 1 — найти бутылку в кадре

   Сначала приложение находит на фотографии области, похожие на этикетки, и выравнивает их. На фотографии винной полки обычно есть от восьми до двадцати возможных этикеток, большинство из которых сняты под углом и частично закрыты стоящей впереди бутылкой. Всё, что детектор пропустит на этом этапе, позже восстановить уже нельзя, поэтому фотография одной бутылки анфас гораздо надёжнее, чем общий снимок полки.

2. Шаг 2 — прочитать текст

   Оптическое распознавание символов преобразует каждую область в текст. Именно здесь возникают типичные ошибки: прописная буква с засечками на тёмном фоне, золотая фольга с пересветом от магазинного освещения, рукописный шрифт на этикетке бургундского вина или год урожая, напечатанный на горлышке, а не на основной части бутылки. На выходе получается строка текста, и одной неверно распознанной буквы в названии производителя достаточно, чтобы на следующем шаге было найдено не то вино.

3. Шаг 3 — сопоставить текст с вином

   Извлечённый текст сопоставляется с базой данных вин. Для точного совпадения нужны производитель, название вина и, в идеале, год урожая; если известны только два из трёх параметров, результатом будет линейка вин, а не конкретная бутылка. Именно на этом этапе определяется, получите ли вы результат «Château Something 2019» или «красное вино из Bordeaux».

4. Шаг 4 — превратить название в рекомендацию

   Определить название вина и порекомендовать его — разные задачи, и только первая связана с распознаванием изображения. При составлении рекомендации найденные бутылки ранжируются с учётом указанных вами предпочтений — стиля, сладости, бюджета и повода. Поэтому качество ответа гораздо больше зависит от того, насколько честно вы указали эти предпочтения, чем от качества камеры. Приложение, которое даёт рекомендации, ни разу не спросив, что вам нравится, ранжирует вина по популярности и называет это персонализацией.

Когда распознавание вина неизбежно даёт сбой

Оно не справляется с повреждёнными, мокрыми или отслаивающимися этикетками, потому что текст невозможно прочитать. Оно не распознаёт вина очень мелких производителей, которых нет ни в одной базе данных. Оно не справляется с винами, на этикетке которых указан регион, но нет названия производителя, что часто встречается в Италии и Испании. Оно даёт сбой при слабом освещении, потому что для OCR контраст важнее разрешения.

Кроме того, сбой может остаться незаметным, и это самый опасный случай: система уверенно называет правильное вино, но ошибается с годом урожая. Год урожая — поле, которое распознаётся неверно чаще всего, поскольку на большинстве этикеток он напечатан самым мелким шрифтом и нередко размещён на отдельной полоске.

Есть и менее очевидная проблема, о которой никто не предупреждает: распознавание может быть безошибочным, а рекомендация — всё равно неверной, потому что в справочных данных нет именно того года урожая, который вы держите в руках. Если в базе есть сведения о вине только за 2019 год, то его версия 2022 года будет описана через характеристики более старого вина, причём интерфейс никак не сообщит о такой подмене.

Практическое правило: используйте распознавание, чтобы определить незнакомую бутылку, но самостоятельно проверяйте этикетку, прежде чем полагаться на ответ в ситуациях, связанных с крупными расходами. Ни одна модель распознавания изображений не должна быть последней инстанцией при ставке на аукционе или страховой оценке.