Цифромерч: как нейросети автоматизируют мерчандайзинг

Аудит в местах продаж — это прежде всего фотографии: десятки и сотни тысяч снимков полок, коробок и упаковок, и почти всегда этот процесс делается вручную, а значит, неизбежно содержит ошибки. Максим Архипенков, создатель первой в России системы автоматического аудита фотографий на базе нейронных сетей SmartMerch, рассказывает, что такое цифровой мерчандайзинг, как работает сама технология и куда она движется дальше.

Что такое цифромерч

Цифровой мерчандайзинг (цифромерч) — это автоматизированная оценка выкладки товара по фотографии с помощью нейронной сети, без ручной сверки каждого снимка человеком. Цель технологии в том, чтобы получить объективный контроль полки, не зависящий от внимательности, настроения и других проявлений человеческого фактора при ручном аудите.

Идея не нова: еще в 2012 году на рынок пришли первые международные решения для автоматизации аудита по фото. Технология пережила короткий бум и быстро пошла на спад, потому что на определенном этапе все равно требовался человек, который верифицировал результаты и вручную дораспознавал то, с чем не справилась программа. Выходом стал переход с формул и жестких алгоритмов на нейронные сети.

Технически цифромерч встраивается в общую модель визита торгового представителя как один из этапов: мы подробно разбирали, как выглядит мерчандайзинг в визите ТП целиком, от выкладки до контроля результата.

Как работает: нейросети вместо формул

Задача распознавания изображений плохо решается алгоритмами: невозможно заранее описать в коде бесконечное число вариантов того, как товар может стоять на полке или не стоять там вовсе. Формулы особенно бессильны на фотографиях, снятых под произвольным углом или в произвольном масштабе, где прямоугольники превращаются в параллелограммы, а круги в овалы, а оттенки меняются в зависимости от освещения.

Нейронные сети, впервые смоделированные на основе работы мозга еще в 40-х годах прошлого века, решают эту задачу иначе. Слово в тексте человек воспринимает целиком, не раскладывая его на буквы, а для нейросети даже маленькая деталь на упаковке — это совокупность пикселей, каждый со своим значением. Именно поэтому при оценке изображений сеть способна давать более точный результат, чем человек: там, где глаз видит просто желтое пятно, сеть анализирует десятки конкретных пикселей.

Для максимальной точности распознавания важно и качество самой съемки: товары стоит фотографировать фронтально и в оптимальном масштабе, а вспомогательные функции вроде гироскопа и панорамной съемки длинной полки в приложении помогают получать более правильные снимки для распознавания.

Как обучают нейросеть для цифромерча

Под каждую конкретную категорию товаров нужен не только свой алгоритм, но и свой метод обучения сети, и выбор метода зависит от цели, навыков специалиста и требуемой точности.

У обучения нейросетей есть особенность, непривычная для классической статистики: если для обычной математической модели больше данных почти всегда лучше, то для нейросети вреден и недостаток, и переизбыток данных. Недостаточно разнообразная выборка приводит к недообученности: сеть, которую учили только на кругах и квадратах, не распознает треугольник. Слишком однобокая выборка с перекосом в сторону одного элемента приводит к переобученности: сеть начинает тянуться к самому распространенному в выборке значению в ущерб остальным.

Дообучить сеть новым элементам, например новым товарам, можно двумя способами.

• Сингл-дообучение: добавление одного нового элемента к уже обученной сети, например одной новой позиции товара.
• Переобучение: добавление сразу нескольких новых элементов и повторное обучение сети на расширенном наборе.

На практике обучение сети под новую категорию занимает около двух месяцев и требует не менее 500 снимков, а готовую модель нельзя просто скопировать между похожими проектами: даже если два производителя работают в одной категории, например кофе, для каждого сеть обучают заново на его товарах, магазинах и устройствах.

Что дает цифромерч бизнесу

Помимо объективности контроля, у автоматизированного аудита есть измеримый эффект на скорость и качество данных.

• Сокращение времени аудита: в гипермаркете с 50 до 20 минут, в традиционной рознице с 5 до 2,5 минут, чем меньше магазин, тем меньше разница. Скорость аудита зависит в основном от скорости самого фотографирования: на один стеллаж уходит около 30 секунд, из них 21 секунда на съемку и 9 секунд на передачу снимков в облако.
• Данные не только по SKU, но и по доле полки: при этом товары соседних категорий не искажают результат, даже если стоят рядом на одной полке, в отличие от ручного подсчета, где доля полки часто оценивается приблизительно, через деление на глаз примерного количества своих SKU на примерное количество всех SKU в категории. Точные данные о доле полки и наличии товара напрямую влияют на показатель OSA, доступность товара на полке в целом.

Где применяется цифромерч

• Самоконтроль полевого персонала: сотрудник фотографирует результат своей работы, а система оценивает выкладку, выполнение планограммы и присутствие всех нужных товаров на полке, фиксируя аутофсток при его наличии.
• Оценка работы магазина или внутренних служб: аудитор фотографирует полку как есть, а состояние выкладки показывает, насколько за ней следят на месте.
• Аудит сторонних организаций: например, мерчандайзинговых агентств, когда аудитор посещает точку вслед за мерчом и по фото видит, кто реально выполняет работу качественно.
• Оценка присутствия промо: сотрудник фотографирует промо-стойку, система подтверждает ее присутствие в точке, а место, дату и время подтверждает GPS-отчет.
• Оценка срока годности: крупный снимок упаковки с датой позволяет сети распознать текст и проанализировать срок годности по нужным параметрам.

Как цифромерч изменился: было в 2016, стало в 2026

С момента этого интервью технология цифрового мерчандайзинга прошла большой путь вперед. Точность распознавания категорий и SKU выросла в разы, а обработка снимков сместилась в сторону быстрой облачной обработки: например, в кейсе Beluga Group обратная связь по сфотографированной сцене приходит уже в течение 3-5 минут, а точность определения категории превышает 95%. Требования к устройствам тоже перестали быть узким местом: любой современный смартфон с камерой давно превышает минимальные параметры, о которых имело смысл говорить в 2016 году.

Часть прогнозов из интервью 2016 года подтвердилась на практике: облачная обработка снимков в режиме, близком к реальному времени, действительно стала стандартом отрасли.

Решение ST для цифромерча

В интервью Архипенков описывает опыт SmartMerch как самостоятельного вендора. У самой Системных Технологий тоже есть собственное решение для цифрового мерчандайзинга на базе Image Recognition — ST Magic Vision: оно проверяет долю полки, наличие товара и соответствие планограмме по фото и встраивается в комплекс продуктов для полевых команд.

Частые вопросы

Чем цифромерч отличается от обычного фотоотчета мерчандайзера?

Обычный фотоотчет фиксирует факт визита и общую ситуацию в точке, но требует ручной проверки. Цифромерч добавляет автоматическую оценку самого содержимого фото нейросетью: долю полки, присутствие SKU и соответствие планограмме без ручной сверки каждого снимка.

Можно ли использовать одну обученную нейросеть для разных клиентов в одной категории?

На практике нет: даже в рамках одной товарной категории сеть обучают отдельно под конкретного клиента, его товары, магазины и устройства, поскольку иначе не получится предсказать качество результата.

Сколько времени занимает обучение нейросети под новую категорию?

Обычно около двух месяцев и не менее 500 снимков, хотя точные сроки зависят от сложности категории и доступности качественной обучающей выборки.