Парсер Яндекс Маркета

Варианты алгоритмов поиска

Поиск по сайтам — используется несколько алгоритмов поиска данных с известных сайтов, описание представлено ниже

Сайты поиска

Яндекс Маркет API

Используется промежуточный ПЛАТНЫЙ сервер apisystem (цены)

Товары Майл API — для работы с этим сайтом требуется ключ авторизации, который можно получить, оформив заявку.

Особенности

Поля данных доступны для редактирования, что в свою очередь позволяет непосредственно самому пользователю как создавать новые описания, так и производить редактирование значений, загруженных с сайта.

Для удобства восприятия поле "Категория" изменяет цвет текста, в зависимости от того, существует значение с таким наименованием в базе или нет. (Существует — зеленый, отсутсвует — серый).

В списке "Свойств и значений" те свойства, наименования которых уже есть в базе, также подкрашиваются зеленым цветом.

Если "Категория" подсвечена зеленым, то есть возможность загрузить свойства данной категории для более быстрого наполнения данных. (Кнопка над списком свойств "Загрузить свойства категории").

Почему мы не пошли по пути стандартного парсинга страниц яндекса и майла?

Все просто! Любое даже не большое изменение в верстке сайта, а точнее в программных названиях полей страницы сайта, требует доработки парсера и найти это изменение трудоемкая задача. Стандарты API яндекс маркета и майл разработаны таким образом, что любое изменение документируется, но при этом старая функция остается поддерживаемой и поэтому обработка не сломается в самый не подходящий момент.

Почему мы используем промежуточный сервер icsystem?

Для работы с API Яндекс Маркета требуется получить от разработчиков ключ авторизации, который бывает двух видов: Контентный и Партнерский. Так вот партнерский ключ получить может любой интернет магазин, который работает и размещается на яндекс маркете, но есть большое, но это Партнерский API предоставляет не всю информацию с яндекса. Контенткный (более полная база информации) получить могут только программисты, чьи идеи понравятся разработчикам яндекс маркета. Так что для обычного обывателя проще использовать промежуточный сервер, да он платный, но есть так же  и бесплатный вариант, но со своими ограничениями.

Что влияет на скорость обработки информации?

1. Это все таки железо компьютера, чем он мощнее, тем проще будет работать внутренний код обработки.
2. Скорость соединения интернет, чем он стабильнее и качественее, тем лучше. Картинки, загружаемые с сайтов-доноров, имеют различный размер от 1кБ до почти 1Мб.
3. Для майла ограничений по скорости нет, так как при использовании ключа авторизации сайт больше не накладывает ограничений. Для icsystem при оплаченных запросах все ограничения отменяются, но когда этих запросов нет среднее время на обработку 1 товара увеличивается примерно в 4-5 раз. 

ПРИМЕНЕНИЕ

Обработку для УТ 11.1 открываем просто через меню "Файл", через дополнительные обработки она пока не добавляется

ОБНОВЛЕНИЯ

Доработана загрузка картинок и описаний для товаров, которые не имеют собстывенную карточку в яндекс маркете, но при этом есть ссылки на интернет магазины, в которых размещены эти товары и есть краткое описание и картинка.

Период бесплатной тех. поддержки составляет 3 месяца