DIGITAL студия

Парсер каталога интернет-магазина на Python

спецификация проекта

Requests, beautifulsoup4, Python

услуги

Разработка и поддержка

реализовано

2018

Автоматический сбор данных о товарах: названия, цены, наличие и фото — по расписанию, без ручного труда.

Клиенту требовался регулярный мониторинг ассортимента и цен на сайте конкурента: тысячи позиций, пагинация, вложенные категории. Данные должны попадать в таблицы в едином формате.

  • Парсер на Requests + BeautifulSoup с обходом категорий и пагинации
  • Извлечение названия, цены, наличия, характеристик и фото
  • Нормализация данных и защита от изменений вёрстки
  • Экспорт в CSV и базу данных
  • Запуск по расписанию, обработка ошибок и пауз между запросами

Мониторинг цен работает без участия человека: каждое утро у клиента свежая выгрузка по всему каталогу конкурента для корректировки собственных цен.

Парсер каталога интернет-магазина на Python
Парсер каталога интернет-магазина на Python — код