Системы мониторинга цен конкурентов

4 Comments

1. retif 02.12.2014 at 14:13

   продолжение с примерами будет?

   Reply ↓
2. spy-83 02.12.2014 at 14:31

   (1) retif, будет
   
   в процессе написания сейчас

   Reply ↓
3. a.babenko 03.12.2014 at 11:32

   А как быть, если сайты защищаются от парсинга? Уже немало примеров, когда ограничивают число запросов в единицу времени…

   Reply ↓
4. spy-83 03.12.2014 at 13:55

   (3) a.babenko, для обхода таких ограничений запросы к сайтам осуществляются через прокси

   В системе мониторинга задаются список из нескольких десяткос проски серверов, и система загружает страницы сайтов через них, перебирая каждый по очереди.
   
   В итоге для загружаемого ресурса это будут запросы от «разных» источников

   Также некоторые системы имеют функционал распознавания капчи, что тоже создает видимость, что работает человек а не робот

   Reply ↓