Upptäck vin vart du än reser

Hur identifierar en app ett vin från ett fotografi?

En vinapp identifierar en flaska genom att läsa etiketten som en bild, inte genom att känna igen vinet. Fyra separata steg sker mellan avtryckaren och rekommendationen, och varje steg kan misslyckas på olika sätt.

1. Steg 1 — hitta flaskan i bilden

   I det första steget lokaliseras etikettformade områden i fotografiet och rätas upp. Ett fotografi av en hylla innehåller vanligtvis åtta till tjugo möjliga etiketter, de flesta vinklade och delvis skymda av flaskan framför. Det som detektorn missar i detta steg går inte att återskapa senare. Därför är ett fotografi rakt framifrån av en enskild flaska betydligt mer tillförlitligt än en översiktsbild av en hylla.

2. Steg 2 — läsa texten

   Optisk teckenigenkänning omvandlar varje område till text. Det är här de klassiska felen uppstår: en versal med seriffer mot mörk bakgrund, guldfolie som blir överexponerad under en butikslampa, ett skrivstilstypsnitt på en Burgundy-etikett och en årgång som är tryckt på flaskhalsen i stället för på flaskkroppen. Resultatet är en textsträng, och ett enda felaktigt tecken i producentens namn räcker för att nästa steg ska leda till fel vin.

3. Steg 3 — matcha texten mot ett vin

   Den extraherade texten matchas mot en vindatabas. För en träff krävs en producent, ett vinnamn och helst en årgång. Med bara två av de tre blir resultatet en serie viner snarare än en specifik flaska. Det är i detta steg som det avgörs om du får "Château Something 2019" eller "ett rött vin från Bordeaux".

4. Steg 4 — omvandla ett namn till en rekommendation

   Att namnge flaskan och att rekommendera den är två olika problem, och bara det första är en bildanalysuppgift. En rekommendation rangordnar de identifierade flaskorna utifrån vad du har sagt att du tycker om — stil, sötma, budget och tillfälle — vilket innebär att svarets kvalitet beror mycket mer på hur ärligt du angav dessa preferenser än på hur bra kameran är. En app som ger rekommendationer utan att någonsin fråga vad du tycker om rangordnar efter popularitet och kallar det personalisering.

Där vinidentifiering konsekvent misslyckas

Den misslyckas på skadade, våta eller flagnande etiketter, eftersom texten inte går att läsa. Den misslyckas på mycket små producenter vars viner inte finns i någon databas. Den misslyckas på viner vars etikett anger en region men inget producentnamn, vilket är vanligt i Italien och Spanien. Den misslyckas i svagt ljus, eftersom OCR behöver kontrast mer än upplösning.

Den kan också misslyckas utan att det märks, vilket är det farliga fallet: ett tvärsäkert svar som anger fel årgång av rätt vin. Årgången är det fält som oftast feltolkas, eftersom den anges med den minsta texten på de flesta etiketter och ofta står på en separat remsa.

Ett mindre uppenbart problem som ingen varnar för är att identifieringen kan vara perfekt men rekommendationen ändå fel, eftersom flaskan framför dig inte finns i referensdata för den årgång du håller i. En 2022 av ett vin som databasen bara känner till fram till 2019 beskrivs utifrån det äldre vinets karaktär, utan att något i gränssnittet visar att denna ersättning har gjorts.

Den praktiska regeln: använd identifiering för att ta reda på vad en flaska är när du aldrig har sett den tidigare, och kontrollera själv etiketten innan något dyrt avgörs av svaret. Ingen bildmodell bör ha sista ordet om ett auktionsbud eller en försäkringsvärdering.