Промышленный парсер поисковых позиций и рекомендательных полок Wildberries по 6 регионам РФ
Крупному продавцу одежды на Wildberries (225 собственных артикулов) требовался автономный серверный движок без платных подписок на внешние сервисы аналитики. Система должна была отслеживать поисковые позиции по регионам, разделять органическое место и рекламный буст, а также проверять присутствие товаров бренда на рекомендательных полках внутри карточек конкурентов.
Что было реализовано
Разработан серверный парсер нативных JSON-эндпоинтов Wildberries без использования тяжелых браузеров (Selenium/Playwright).
Настроен автоматический сбор данных по расписанию 3 раза в сутки (07:00, 14:00 и 21:00 МСК) одновременно по 6 гео-регионам РФ (более 1 700 проверок за один срез).
Реализовано точное разделение позиций в выдаче на чистую органику и платное продвижение (АРК / CPM) с автоподбором новых поисковых кластеров по карточкам.
Создан модуль опроса рекомендательных каруселей конкурентов («Смотрите также» / «Похожие») на глубину до 100 карточек выдачи.
Выполнена прямая запись срезов в базу данных PostgreSQL на VPS заказчика и поднят внутренний REST API.
На втором этапе выполнена доработка высокоскоростного многопоточного раннера очереди с распределением нагрузки на пул из 36 прокси и глубиной проверки до 5 000 позиций.
