Descubra vinhos onde quer que você vá

Como um aplicativo identifica um vinho a partir de uma fotografia?

Um aplicativo de vinhos identifica uma garrafa lendo o rótulo como uma imagem, não reconhecendo o vinho. Há quatro etapas distintas entre o clique da câmera e a recomendação, e cada uma pode falhar de uma forma diferente.

1. Etapa 1 — encontrar a garrafa no enquadramento

   A primeira análise localiza na fotografia as áreas que têm formato de rótulo e as endireita. Uma fotografia de prateleira normalmente contém de oito a vinte possíveis rótulos, a maioria inclinada e parcialmente escondida pela garrafa da frente. Tudo o que o detector deixar passar nesta etapa não poderá ser recuperado depois. Por isso, uma fotografia frontal de uma única garrafa é muito mais confiável do que uma foto ampla de uma prateleira.

2. Etapa 2 — ler o texto

   O reconhecimento óptico de caracteres converte cada área em texto. É aqui que ocorrem os erros clássicos: uma letra maiúscula serifada sobre fundo escuro, uma impressão em dourado que fica estourada sob a luz da loja, uma fonte manuscrita em um rótulo da Burgundy e uma safra impressa no gargalo, e não no corpo da garrafa. O resultado é uma sequência de caracteres, e basta uma letra errada no nome do produtor para que a etapa seguinte chegue ao vinho errado.

3. Etapa 3 — associar o texto a um vinho

   O texto extraído é comparado com um banco de dados de vinhos. Uma correspondência exige um produtor, um nome de vinho e, de preferência, uma safra. Com apenas dois desses três dados, o resultado é uma família de vinhos, não uma garrafa específica. É esta etapa que determina se você verá "Château Something 2019" ou "um tinto de Bordeaux".

4. Etapa 4 — transformar um nome em uma recomendação

   Identificar a garrafa e recomendar uma são problemas diferentes, e apenas o primeiro é uma tarefa de visão computacional. Uma recomendação classifica as garrafas identificadas de acordo com o que você disse que gosta — estilo, doçura, orçamento, ocasião —, o que significa que a qualidade da resposta depende muito mais da sinceridade com que você informou essas preferências do que da qualidade da câmera. Um aplicativo que faz recomendações sem nunca perguntar do que você gosta está classificando por popularidade e chamando isso de personalização.

Onde o reconhecimento de vinhos falha de forma previsível

Ele falha com rótulos danificados, molhados ou descolando, porque não há texto legível. Falha com produtores muito pequenos, cujos vinhos não constam em nenhum banco de dados. Falha com vinhos cujo rótulo traz uma região, mas não o nome do produtor, algo comum na Itália e na Espanha. Falha em ambientes com pouca luz, porque o OCR precisa mais de contraste do que de resolução.

Ele também falha sem dar sinais, o que é mais perigoso: apresenta com confiança uma resposta que identifica o vinho certo, mas a safra errada. A safra é o campo com mais erros de leitura, porque costuma ser o menor texto na maioria dos rótulos e muitas vezes aparece em uma faixa separada.

Há uma falha mais sutil sobre a qual ninguém alerta: o reconhecimento pode ser perfeito e, ainda assim, a recomendação estar errada, porque a garrafa à sua frente não consta nos dados de referência para a safra que você tem em mãos. Um vinho de 2022 que o banco de dados conhece apenas pela safra de 2019 será descrito com as características do vinho mais antigo, e nada na interface indica que essa substituição ocorreu.

A regra prática: use o reconhecimento para descobrir qual é o vinho quando você nunca o viu antes e confira o rótulo antes de tomar qualquer decisão cara com base na resposta. Nenhum modelo de imagem deve dar a palavra final sobre um lance em leilão ou uma avaliação para fins de seguro.