Computer vision за рафт: как една снимка става перфектен рафт

Computer vision за рафт често се показва по най-повърхностния начин: снимка на стелаж, цветни рамки около продуктите и няколко процента в dashboard.

Това изглежда впечатляващо, но не е същността.

Истинската стойност не е, че моделът “вижда” бутилки, кенове или кутии. Истинската стойност е, че една снимка може да стане оперативно решение:

• кой SKU липсва;
• колко facings има марката;
• дали продуктът е на правилното място;
• дали цената и промоцията са изпълнени;
• дали рафтът отговаря на планограмата;
• дали има риск от out-of-stock;
• какво трябва да направи търговецът сега;
• как следващата поръчка, маршрутът и coaching-ът трябва да се променят.

Ако системата спира до “ето снимка с рамки”, тя е detector.

Ако превежда снимката в действие, тя става retail execution intelligence.

Рафтът е по-труден проблем, отколкото изглежда

За човек рафтът изглежда очевиден. Виждаме бутилка, етикет, празно място, ценова лента. За компютъра това е сложна сцена.

FMCG рафтът има няколко особености, които го правят много по-труден от generic object detection:

• много SKU-та си приличат почти напълно;
• опаковките се сменят често;
• сезонни и промо варианти влизат и излизат бързо;
• продукти се припокриват един друг;
• първият ред скрива задните редове;
• стъкло и хладилници създават отблясъци;
• рафтът може да е сниман под лош ъгъл;
• ценовите етикети са малки, наклонени или замазани;
• различни магазини имат различно осветление, подредба и категория логика.

Затова “да разпознаем продукта” не е една задача. Това е pipeline.

Добрата система трябва първо да разбере сцената, после продукта, после търговския смисъл.

Първата стъпка не е AI, а добра снимка

Най-подценяваната част от shelf computer vision е capture процесът.

Ако снимката е лоша, моделът започва с грешен сигнал. Затова сериозните системи не оставят търговеца просто да снима “както може”. Те насочват процеса:

• от каква дистанция да се снима;
• дали целият рафт е в кадър;
• дали снимката е достатъчно ясна;
• дали има силен отблясък;
• дали трябва да се направи panorama/stitching;
• дали хладилната врата създава проблем;
• дали рафтът е прекалено близо или прекалено наклонен.

Това е важно, защото снимката не е маркетингов asset. Тя е вход към измерване.

В реални магазини търговецът няма студио, статив и перфектна светлина. Има тесен коридор, хора, колички, хладилници, отражения и ограничено време. Затова добрият UX трябва да казва: “премести се малко назад”, “снимай още една зона”, “кадърът е замазан”, “липсва долният рафт”.

Колкото по-добър е capture процесът, толкова по-малко шум има после в AI.

От shelf image към realogram

В retail execution има полезна дума: realogram.

Планограмата е това, което рафтът трябва да бъде.

Realogram е това, което рафтът реално е.

Computer vision превръща снимката в realogram: структурирано описание на физическия рафт.

Това включва:

• къде са отделните shelf segments;
• къде са продуктите;
• кои продукти са разпознати;
• колко facings има всеки SKU;
• кои позиции са празни;
• кои продукти са на неправилно място;
• къде са ценовите етикети;
• какви вторични излагания или POSM се виждат;
• дали competitor продукт заема договорено пространство.

Това е моментът, в който снимката престава да бъде снимка и става данни.

Но тези данни още не са business value. Те са суров сигнал.

Detection: къде има продукт, къде има празнина

Първият AI слой е detection.

Моделът локализира обекти: продукти, рафтови сегменти, празни места, ценови етикети, понякога и POSM елементи. Това обикновено се прави с object detection модели от типа YOLO, DETR-подобни архитектури или други специализирани варианти.

Detection отговаря на въпроса:

“Къде има нещо?”

На този етап системата може да брои facings и да открива очевидни gaps. Но още не знае напълно какъв е всеки продукт.

Това е по-важно, отколкото изглежда. Дори без SKU recognition, detection може да даде сигнал за:

• празен slot;
• липса на facing в определена зона;
• прекъснат бранд блок;
• проблем в хладилник;
• overstacking или understocking;
• неравномерно рафтово пространство.

В мащабни изследвания и внедрявания точността на shelf/product detection вече е достатъчно висока за production сценарии. Например проучване за real-time planogram compliance в 7-Eleven Taiwan описва система, внедрена в над 7000 магазина, със shelf detection mAP@50 99.41% и product detection mAP@50 95.7%.

Важно е обаче да не се абсолютизира числото. В реалния терен accuracy зависи от категория, опаковки, осветление, качество на снимката и колко фино трябва да се различават SKU-тата.

Recognition: кой точно SKU е това

След detection идва по-трудният слой: recognition.

Системата трябва да различи не просто “бутилка”, а конкретен SKU: бранд, вариант, вкус, размер, опаковка, промо версия. В FMCG това е фина визуална класификация, защото много продукти са почти еднакви.

Разликата между две опаковки може да е:

• малка цветна лента;
• различен вкус;
• промо стикер;
• нов дизайн;
• различен грамаж;
• локална езикова версия;
• seasonal edition.

Тук много demo системи се провалят. На презентация разпознават “cola” или “water”. В реалния бизнес трябва да различиш конкретен SKU, защото поръчката, промоцията, бонусът и планограмата са на SKU ниво.

Това води до още един практически проблем: SKU каталогът не е статичен.

Нови продукти влизат постоянно. Опаковки се сменят. Промо варианти се появяват за кратко. Ако за всеки нов SKU трябва да се събират хиляди снимки и да се преобучава модел седмици, системата няма да издържи ритъма на FMCG.

Затова модерните подходи използват комбинация от:

• product master images;
• embeddings;
• few-shot learning;
• synthetic augmentation;
• human review за несигурни случаи;
• active learning от реални снимки на терен.

Целта е нов SKU да влезе в системата бързо, без да се чака голям retraining цикъл.

OCR: цената е част от рафта

Много компании третират price compliance отделно от shelf recognition. На практика двете са свързани.

Продуктът може да е на правилното място и да има достатъчно facings, но ако цената е грешна, промоцията не работи. Купувачът вижда един сигнал, касата връща друг, а търговският договор казва трети.

Затова computer vision pipeline-ът трябва да чете и ценовата лента:

• намира етикета;
• прочита цена, промо цена, понякога barcode или SKU код;
• свързва етикета с правилния продукт;
• сравнява го с договорена цена, промо механика или ERP данни.

Това е трудно, защото етикетите са малки, често са наклонени, замазани или частично закрити. Но без този слой “перфектният рафт” остава непълен.

Рафтът не е само продукт. Рафтът е продукт + позиция + цена + контекст.

Planogram compliance: от снимка към договорена реалност

След като системата знае какво има на рафта, идва въпросът:

“Това ли трябваше да има?”

Тук realogram-ът се сравнява с планограмата.

Планограмата може да казва:

• кой SKU трябва да стои на кой рафт;
• колко facings трябва да има;
• кои продукти трябва да са един до друг;
• какъв бранд блок трябва да се изгради;
• кои продукти са на нивото на очите;
• кои SKU-та са must-stock;
• как competitor space трябва да се следи;
• къде трябва да бъде промо дисплеят.

Сравнението не е просто yes/no. Добрата система трябва да казва какъв е пропускът и колко е важен.

Има разлика между:

• липсващ hero SKU;
• SKU на грешен рафт;
• един facing по-малко;
• разбит бранд блок;
• промо продукт без цена;
• конкурент, заел договорено пространство;
• продукт, който присъства, но не в хладилната зона.

Тези пропуски имат различен impact и различно действие.

Изследванията върху planogram compliance показват, че това е отделен и труден проблем, не просто product recognition. Нужно е да се разбере позицията на продуктите в рафтовата структура, а не само тяхната идентичност.

Share of shelf и facings: числата зад видимостта

Share of shelf е един от най-важните KPI-и, защото видимостта често предсказва продажби по-добре от абстрактни отчети.

Computer vision може да измери:

• колко линейно пространство има марката;
• колко facings има всеки SKU;
• какъв е дялът спрямо конкурента;
• дали share of shelf съответства на share of market или договорената цел;
• дали hero SKU има достатъчна видимост;
• дали competitor блокира категорията.

Но тук трябва да се внимава. Повече facings не винаги означава по-добър рафт.

Ако се добавят facings на грешен SKU, може да се вдигне score, но да се намали реалният impact. Ако share of shelf расте в нископотенциален магазин, ефектът може да е малък. Ако продуктът е видим, но няма наличност в backroom или не е включен в правилна поръчка, ползата е краткосрочна.

Затова share of shelf трябва да се чете заедно с:

• store potential;
• category role;
• SKU importance;
• OSA;
• промо календар;
• route frequency;
• order recommendation.

Едно число рядко е достатъчно. Контекстът прави числото полезно.

OSA и OOS: празното място е сигнал, не само проблем

Out-of-stock често се вижда най-добре през снимката.

Системата може да засече празен slot, missing SKU, прекъснат бранд блок или категория, която е паднала под минимална видимост. Но истинската стойност е да разбере какъв тип проблем е това.

Празното място може да означава:

• продуктът е продаден по-бързо от очакваното;
• поръчката е била твърде малка;
• стоката е в backroom, но не е извадена;
• дистрибуторът не е доставил;
• планограмата не е актуална;
• продуктът е преместен на друго място;
• конкурентът е заел пространството.

Една и съща снимка може да води до различни действия.

Ако продуктът е в backroom, действието е replenishment. Ако продуктът липсва заради грешна поръчка, действието е suggested order. Ако причината е слаба route frequency, действието е промяна в маршрута. Ако проблемът е системен в много магазини, това е manager escalation.

Затова computer vision не трябва да бъде отделен модул. Той трябва да храни order taking, route priority, coaching и management visibility.

Edge или cloud: не е технологична мода, а теренна логика

Има две основни архитектури.

Cloud processing: снимката се качва към сървър, обработва се там и резултатът се връща към устройството.

Плюсове: по-лесно централизирано управление, по-мощна инфраструктура, по-бързо обновяване на модели.

Минуси: зависи от интернет, може да е по-бавно в реални магазини, а при слаб сигнал търговецът чака или изоставя процеса.

Edge / on-device processing: анализът се случва на телефона или локално устройство.

Плюсове: работи офлайн, дава резултат веднага, намалява трансфера на чувствителни снимки и е по-подходящо за теренни екипи в магазини със слаб сигнал.

Минуси: моделът трябва да бъде по-лек, обновяването и device compatibility изискват дисциплина, а някои сложни анализи може да се изпълняват по-добре в cloud.

Най-практичният модел често е hybrid: бърз on-device анализ за действие в магазина и cloud слой за по-тежка аналитика, model improvement и enterprise reporting.

Важният въпрос не е “edge или cloud е по-модерно?”.

Важният въпрос е:

“Ще получи ли търговецът полезен резултат, докато още стои пред рафта?”

Ако отговорът е не, архитектурата е грешна за retail execution.

Къде системите грешат

Computer vision не е магически детектор без грешки. Добрата статия трябва да каже и това.

Най-честите failure modes са:

Glare и отражения. Хладилни врати и лъскави опаковки създават визуален шум.

Occlusion. Един продукт скрива друг. Първият ред изглежда добър, но зад него може да няма наличност.

Look-alike SKU-та. Подобни опаковки, различен вкус или размер. Тук грешката може да промени поръчка или промо отчет.

Packaging refresh. Нов дизайн, стара master image, model uncertainty.

Неправилен capture. Лош ъгъл, отрязан долен рафт, замазана снимка.

Локални асортименти. SKU, който не е в master data, или регионален продукт, който системата не познава.

Ценови етикети. Малки, наклонени, смесени, поставени под грешен продукт.

Затова serious production система трябва да има confidence scores, human review за несигурни случаи, feedback loop и възможност да се учи от корекциите.

Защо “95% accuracy” не е достатъчно обещание

Маркетингът обича едно число: 95% accuracy, 96% accuracy, 99% mAP.

Тези числа могат да са реални, но трябва да се четат внимателно.

Accuracy за shelf detection не е същото като SKU-level recognition. mAP@50 не е същото като правилна business препоръка. Добър резултат в една категория не гарантира същия резултат в друга. Water shelves, cosmetics, snacks, alcohol, dairy и personal care имат различна визуална сложност.

За бизнеса по-важни са други въпроси:

• колко често системата пропуска critical SKU;
• колко често обърква look-alike SKU;
• колко бързо се onboard-ва нов продукт;
• какво се случва при ниска увереност;
• дали търговецът може да поправи резултата;
• дали корекциите подобряват модела;
• дали insight-ът води до действие и продажба.

Точността е нужна, но не е достатъчна. Нужно е operational design.

От снимка към действие: истинският workflow

Нека проследим добър процес.

Търговецът влиза в магазина. Системата знае канала, store potential, must-stock листата, промо календара, последната поръчка и предишните shelf gaps.

Търговецът снима рафта.

Системата проверява качеството на снимката. Ако кадърът е лош, иска повторение. Ако е добър, го превръща в realogram.

Моделът намира продуктите, разпознава SKU-тата, брои facings, засича празни места, чете ценови етикети и сравнява резултата с планограмата.

После идва най-важното: приоритет.

Не всички пропуски се показват еднакво. Системата казва:

“Hero SKU липсва от рафта. Има промоция тази седмица. Провери backroom и добави 12 броя към препоръчаната поръчка.”

“Share of shelf е под договорения праг с 18%. Възстанови бранд блока в средния сегмент.”

“Промо етикетът не съответства на активната цена. Коригирай преди потвърждение.”

“SKU присъства, но не в хладилната зона. Премести го в cooler, защото този обект има висок impulse потенциал.”

Това е различно от report. Това е field decision support.

Как мениджърът трябва да го използва

На мениджърско ниво computer vision не трябва да бъде “колко снимки качиха търговците”.

Това е грешният KPI.

Мениджърът трябва да вижда:

• кои SKU-та системно липсват;
• кои категории имат най-ниска OSA;
• къде share of shelf пада под договорено ниво;
• кои обекти са с най-висок weighted impact;
• кои промоции са платени, но не са изпълнени;
• кои търговци затварят gap-овете в същото посещение;
• къде проблемът е supply, къде е store execution, къде е route frequency;
• кои корекции водят до реална промяна в продажбите.

Ако dashboard-ът показва само compliance, хората започват да играят за score.

Ако показва impact, екипът управлява изпълнение.

Как това се връзва с AI order taking и route-to-market

Рафтът е началото на цикъла, не краят.

Ако снимката покаже, че продуктът липсва, следващата поръчка трябва да се промени. Ако снимката покаже, че един SKU се изчерпва преди следващото посещение, route frequency трябва да се преразгледа. Ако снимката покаже, че промо display не е поставен в много магазини, това не е проблем на един търговец, а execution breakdown.

Така computer vision става вход към:

• AI order taking - препоръчана поръчка според реалния рафт, не само историята;
• route priority - кои магазини трябва да се посетят първи;
• coaching - какви пропуски допуска конкретен търговец;
• perfect store scoring - как обектът изпълнява стандарта;
• manager escalation - къде проблемът е системен;
• trade promotion analysis - дали промоцията е реално изпълнена.

Без тази връзка computer vision е изолиран audit инструмент.

С тази връзка става execution engine.

Поверителност и контрол

Снимките от магазини могат да съдържат чувствителна информация: цени, конкурентни продукти, лица на хора, вътрешни договорености, локални условия. Затова архитектурата трябва да мисли за privacy още от началото.

Практичните принципи са:

• минимизирай събраните данни;
• обработвай на устройството, когато е възможно;
• замъглявай лица и несвързани обекти;
• пази снимките само колкото е нужно;
• логвай кой е направил снимката, кога и защо;
• разделяй суровата снимка от агрегирания business signal;
• давай контрол върху достъпа според роля и регион.

В Европа това е особено важно. Не всяка shelf image система е високорискова AI система, но прозрачност, контрол на данните, audit trail и човешки надзор стават нормална част от доверието.

Накратко

Computer vision за рафт не е “AI, който слага рамки”.

Това е pipeline, който превежда физическия магазин в данни и действие:

• добра снимка и capture guidance;
• detection на продукти, празнини и shelf structure;
• SKU recognition за реален FMCG каталог;
• OCR за price и promo compliance;
• realogram срещу planogram;
• OSA, share of shelf, facings и must-stock gaps;
• edge/hybrid архитектура за работа на терен;
• confidence и human review за несигурни случаи;
• action в същото посещение;
• връзка към поръчка, маршрут, coaching и Perfect Store.

Истинският въпрос не е:

“Може ли моделът да разпознае продукта?”

Истинският въпрос е:

“Може ли снимката да промени действието пред рафта, преди продажбата да бъде изгубена?”

Там е стойността.

Свързано в Optimasoft

• Image recognition е solution страницата за този процес: от снимка на рафта към измерим shelf signal.
• On-shelf availability показва как OSA/OOS сигналите от снимката се превръщат в търговски риск.
• AI order taking обяснява как резултатът от shelf scan може да промени препоръчаната поръчка.
• Perfect Store е по-широката рамка, в която computer vision мери целия стандарт на обекта.

Източници

• Real-time retail planogram compliance application using computer vision and virtual shelves - PubMed
• Computer Vision Based Planogram Compliance Evaluation - Applied Sciences
• A comprehensive survey on computer vision based approaches for automatic identification of products in retail store - Image and Vision Computing
• Trax Retail - AI-powered image recognition
• Coca-Cola Hellenic image recognition case study - Best Practice AI
• IHL Group - Inventory Distortion: The Good, The Bad, the Ugly
• European Commission - AI Act regulatory framework