Полный парсинг интернет-магазина на 1С-Битрикс с распаковкой скрытых JS-модификаций объёмов и SKU в Excel

У клиентки была старая выгрузка каталога интернет-магазина на 1 463 строки, в которой отсутствовала часть товаров и все вторые/третьи объёмы флаконов (30 / 50 / 100 мл): на сайте они переключались JS-скриптом внутри карточки без смены URL и терялись обычным парсером.
Что было реализовано
Проведен технический аудит структуры сайта на 1С-Битрикс: выявлено, что общая лента /catalog/ отдает не все товары, а еще 134 карточки доступны только через обход 67 страниц брендов (/brands/).
Разработан многопоточный парсер на Python (requests + BeautifulSoup4, 16 потоков), объединяющий обход общего каталога и всех разделов брендов.
Реализован автоматический разбор встроенного в код карточки JS-объекта торговых предложений (setActiveProduct: массивы volumes, articles, prices, oldPrices), что позволило извлечь каждый объем со своим индивидуальным артикулом SKU и ценой.
Выполнена очистка текстов описания, составов и применения, а склеенные хлебные крошки категорий разделены на читаемую иерархию.
Сформированы 3 выходных файла: чистый CSV, базовый XLSX по 14 колонкам и визуальный Excel-каталог со встроенными превью-фотографиями всех товаров и сводной аналитикой по 67 брендам.
Итоги выполнения проекта
«Работа была выполнена за достаточно короткий срок, а самое главное- выполнена отлично. Дамир ответственный исполнитель.»


