Kunstmatige intelligentie voor productherkenning in de supermarkt

Net zoals wij zelf is ook de FMCG-sector continu op zoek naar innovatieve ontwikkelingen om de klantervaring- en bedrijfsprocessen te optimaliseren. Een veelbelovende softwareoplossing die hierin een sleutelrol kan spelen, is productherkenning – een geavanceerde technologie waarmee camera’s automatisch producten op afbeeldingen kunnen identificeren. Binnen MSML hebben we hier daarom uitgebreid onderzoek naar gedaan. Benieuwd naar wat ons onderzoek naar productherkenning heeft opgeleverd? Lees verder en ontdek de verrassende resultaten!

Toepassingen en uitdagingen

Productherkenning is een breed toepasbare technologie voor uiteenlopende oplossingen die aanzienlijke voordelen biedt voor supermarkten, productfabrikanten én consumenten. Zo kan productherkenning worden ingezet om taken te automatiseren en waardevolle data te verzamelen. Enkele voorbeelden van populaire toepassingen zijn:

• Inventarisatie en real-time monitoring van schap voorraad, wat de beschikbaarheid van producten kan verbeteren. 

• Kassa loos winkelen, waarbij producten niet meer handmatig gescand hoeven te worden.

• Het opsporen en tegengaan van winkeldiefstal.

Hoewel productherkenning veel mogelijkheden biedt, blijft het identificeren van producten in winkelomgevingen een uitdagende taak. Een effectieve oplossing moet onder andere in staat zijn een groot aantal producten te herkennen, flexibel kunnen omgaan met assortimentswijzigingen en onderscheid kunnen maken tussen producten met minimale verpakking verschillen. 

Methode voor productherkenning

Tijdens ons onderzoek hebben we gekeken naar nieuwe technieken die gebruikt kunnen worden voor het identificeren van producten op foto’s van supermarktschappen. Hierbij hebben we een methode ontwikkeld op basis van deep learning, een vorm van kunstmatige intelligentie. Deze methode is speciaal geschikt voor het verwerken van ongestructureerde data zoals tekst, audio en afbeeldingen. Het begint met het deep learning-model een grote verscheidenheid aan productafbeeldingen te laten zien. Hiermee wordt het model getraind om uiteindelijk producten te herkennen op nieuwe afbeeldingen die het nog niet eerder heeft gezien. 

Onze methode voor productherkenning is opgedeeld in twee stappen en maken beide gebruik van een deep learning-model: 

• Productdetectie: In de eerste stap gebruiken we een model om alle producten op een foto van een supermarktschap te detecteren. Dit houdt in dat we de locaties van producten in de afbeeldingen bepalen, zonder dat wordt vastgesteld om welk product het gaat. De detectie gebeurt met pixel-level precisie, zodat producten in compact gevulde schappen nauwkeurig uit elkaar gehaald kunnen worden.

• Productclassificatie: In de tweede stap wordt een ander model gebruikt om alle gedetecteerde producten te classificeren. Dit betekent dat we voor elk item proberen te achterhalen om welk specifiek soort product het gaat. Hiervoor vergelijkt het model de gedetecteerde producten uit stap 1 met een database van marketing foto's van de producten. Bij voldoende overeenkomst tussen een gedetecteerd product en een foto uit de database wordt het product als erkend beschouwd.

We hebben de methode ontworpen met oog op praktische toepasbaarheid. Zo zijn de modellen schaalbaar en kunnen ze omgaan met assortimentswijzigingen van supermarkten en productfabrikanten, zonder dat er inhoudelijk aanpassingen aan de modellen hoeven te worden gedaan. 

Onderzoeksresultaten 

Om de effectiviteit van onze methode te beoordelen, hebben we de modellen getest met verschillende datasets. Hierdoor hebben we een duidelijk beeld gekregen van de situaties waarin de productherkenning goed werkt, evenals de gevallen waarin nog verbetering mogelijk is. 

De uitkomsten van deze evaluatie waren veelbelovend. Zo werkte de herkenning bijzonder goed voor foto’s die vergelijkbaar waren met de afbeeldingen waarmee het model getraind was. In dit geval wist onze methode bijna 91% van alle producten te herkennen, en waren meer dan 98% van de voorspelde producten correct. Daarnaast werkte het classificeren (stap 2) ook erg goed voor nieuwe, nog nooit eerder geziene producten, waarbij maar liefst 86% van deze producten succesvol geïdentificeerd werd. Dit toont aan dat het model goed kan omgaan met assortimentswijzigingen bij supermarkten en fabrikanten. Bovendien hadden aanvullende technieken, zoals het filteren van achtergrondinformatie in de afbeelding of het trainen met extra moeilijke voorbeelden, een positief effect op de nauwkeurigheid van de classificatie. 

Door de afbeeldingen te analyseren van producten die niet correct herkend waren, hebben we inzicht gekregen in de aspecten waarop de methode minder goed presteerde. Zo bleek het model voor productdetectie (stap 1) gevoelig voor de manier waarop de foto’s gemaakt werden. De herkenning werd bijvoorbeeld negatief beïnvloed wanneer de grootte en positie van producten in de afbeeldingen te veel verschilden van de producten die tijdens het trainen van het model werden gebruikt. 

Mogelijkheden voor optimalisatie 

Experts uit de industrie hebben bevestigd dat onze methode potentie biedt voor praktische toepassingen. Het is echter belangrijk de modellen verder te ontwikkelen om de nauwkeurigheid van de productherkenning te optimaliseren. Een cruciaal aandachtspunt om de methode beter bestand te maken tegen variaties is de wijze waarop de foto’s genomen worden. Dit kan worden bereikt door de modellen te trainen met afbeeldingen die vanuit verschillende perspectieven zijn vastgelegd. Bovendien kunnen deze perspectieven ook worden verkregen uit bestaande afbeeldingen door deze te manipuleren (data augmentatie). 

Daarnaast is er, buiten de producten zelf, nog veel andere informatie die gebruikt kan worden om de herkenning te verbeteren. Zo kan er gebruik worden gemaakt van de kennis over de verwachte productpresentatie zoals vastgelegd in het schappenplan, de teksten op de schaplabels, en de afmetingen van de schappen om de grootte van producten te schatten. Door deze optimalisatie te benutten, kan onze methode uiteindelijk worden ontwikkeld tot een effectieve oplossing die in de praktijk toepasbaar is. Wordt vervolgd!