Быстрая загрузка множества изображений с сайта на примере парсера www.moda-nsk.ru

Пример того, как ускорить загрузку изображений из web методом распараллеливания загрузок.

Суть метода

Сами страницы сайта парсятся с использованием объекта ПостроительDOM

На каждый URL содержащий скачиваемое изображения создается COM-Объект Msxml2.ServerXMLHTTP.6.0 и запускается его скачивание. При чем, работа программы по парсингу сайта продолжает, а скачивание файла(картинки происходит в отдельном потоке). По окончании парсинга всех страниц мы ждем пока все COM-объекты ответят, что скачивание заверишлось, после чего раскладываем полученные данные по таблице.

URL страницы для примера http://www.moda-nsk.ru/component/option,com_vm_ext_search/Itemid,103/cid,104/mf_id,-1/

В архиве две обработки для сравнения — одна работает в лоб(долго), другая с использованием асинхронной загрузки

При разработки использовались материалы статьи Параллельные HTTP-запросы

Обычные формы

Проверялось на платформе 8.3.13, конфигурация УЛФин, но будет работать в абсолютно любой конфигурации. Думаю, будет работать и на 8.2.

Leave a Comment

Ваш адрес email не будет опубликован. Обязательные поля помечены *