Парсинг сайтов: что мы делали и где он ломается

Парсинг — та область, где техническая часть редко бывает сложной, а результат всё равно получается не тот. Мы делали сбор данных с сайтов, маркетплейсов и сканов; ниже — где именно расходятся ожидания.

Данные есть, но их нельзя использовать

Главная неожиданность на живых задачах: собрать данные — половина дела. Вторая половина — понять, что в собранном мусор. Цена бывает в разных написаниях, названия — с опечатками, часть позиций дублируется, а неактуальные висят месяцами и выглядят как свежие.

Практический вывод: в брифе надо заранее договориться не о полях, а о правиле «это значение считаем достоверным». Иначе получите таблицу, которой нельзя пользоваться.

Сканы и документы — отдельный контур

Там, где данные приходят картинками или PDF, распознавание можно держать у себя целиком: локальный OCR работает секунды на страницу и ничего не отправляет наружу. Это дороже по времени, чем облако, но данные не покидают машину — а в задачах со счетами и накладными это чаще важнее скорости.

Мониторинг — это не разовый парсер

Разовый сбор и постоянный мониторинг — разные по стоимости вещи. Разовый можно сделать за один проход. Мониторинг подразумевает расписание, историю изменений, хранение и — главное — уведомление только тогда, когда изменение значимо. Иначе поток оповещений обесценивает сам инструмент, и его перестают читать через неделю.

Про цену работ

Про «сколько стоит парсинг сайта» честный ответ такой: разброс в разы, и определяется он не объёмом, а тем, сколько исключений придётся разбирать руками. Сбор с однотипного каталога и сбор с сайта, где у каждого региона своя вёрстка, — это два разных проекта при одинаковом числе строк в таблице.

Поэтому мы сначала смотрим не число страниц, а три вещи: стабильность вёрстки, наличие защиты от загрузки и то, как часто данные меняются.