Парсер каталога интернет-магазина на Python
спецификация проекта
Requests, beautifulsoup4, Python
услуги
Разработка и поддержка
реализовано
2018
Автоматический сбор данных о товарах: названия, цены, наличие и фото — по расписанию, без ручного труда.
Клиенту требовался регулярный мониторинг ассортимента и цен на сайте конкурента: тысячи позиций, пагинация, вложенные категории. Данные должны попадать в таблицы в едином формате.
- Парсер на Requests + BeautifulSoup с обходом категорий и пагинации
- Извлечение названия, цены, наличия, характеристик и фото
- Нормализация данных и защита от изменений вёрстки
- Экспорт в CSV и базу данных
- Запуск по расписанию, обработка ошибок и пауз между запросами
Мониторинг цен работает без участия человека: каждое утро у клиента свежая выгрузка по всему каталогу конкурента для корректировки собственных цен.

