Мод обработки загрузки характеристик яндекс.маркет




Принцип обмена данными из 1С с сайтом (на MySQL) и выдачи (публикации) этих данных по запросу.
PHP-Скрипт автоматической загрузки данных из файла данных в формате CSV в базу данных сайта работающего на WordPress.

В продолжение моей темы: 1С:Альфа-Авто Автосалон Автосервис: обмен с сайтом.
С помощью данного скрипта можно загружать в автоматическом режиме, по расписанию, данные сервисных книжек (ремонтов авто) из 1С:Альфа-Авто Автосалон Автосервис.
Также можно загружать данные в ручном режиме: для этого делается скрытая страница, где размещается специальная кнопка.
Комментарии размещенные внутри скрипта разъяснят логику и порядок действия.
Комментарии с "/////    echo" использовались для отладки.
Дополнительно создана таблица для журналирования результатов загрузки данных.
Скрипт включает в себя защиту от SQL инъекций (думаю безопасность соблюдена в полной мере).
В кратце:
1. Пишется скрипт, который запускает этот.
2. Создается регламентное задание в WordPress, по которому запускается скрипт из п.1. 
3. Этот скрипт осуществляет проверку на существование файла обмена в папке.
4. Если данные не новые, загрузка не производится.
5. Если данные новые, очищается таблица сервисных книжек.
6. Загружаются новые данные.

Собственно сам скрипт:

<?php // Полная загрузка сервисных книжек, создан 2024-01-05 12:44:55

global $wpdb2;
global $failure;
global $file_hist;

/////  echo '<H2><b>Старт загрузки</b></H2><br>';

$failure=FALSE;
//подключаемся к базе
$wpdb2 = include_once 'connection.php'; ; // подключаемся к MySQL
// если не удалось подключиться, и нужно оборвать PHP с сообщением об этой ошибке
if (!empty($wpdb2->error))
{
/////   echo '<H2><b>Ошибка подключения к БД, завершение.</b></H2><br>';
$failure=TRUE;
wp_die( $wpdb2->error );
}

$m_size_file=0;
$m_mtime_file=0;
$m_comment='';
/////проверка существования файлов выгрузки из 1С
////файл выгрузки сервисных книжек
$file_hist = ABSPATH.'/_1c_alfa_exchange/AA_hist.csv';
if (!file_exists($file_hist))
{
/////   echo '<H2><b>Файл обмена с сервисными книжками не существует.</b></H2><br>';
$m_comment='Файл обмена с сервисными книжками не существует';
$failure=TRUE;
}

/////инициируем таблицу лога
/////если не существует файла то возврат и ничего не делаем
if ($failure){
///включает защиту от SQL инъекций и данные можно передавать как есть, например: $_GET['foo']
/////   echo '<H2><b>Попытка вставить запись в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>$m_comment));
wp_die();
/////    echo '<H2><b>Возврат в начало.</b></H2><br>';
return $failure;
}
/////проверка лога загрузки, что бы не загружать тоже самое
$masiv_data_file=stat($file_hist);   ////передаем в массив свойство файла
$m_size_file=$masiv_data_file[7];    ////получаем размер файла
$m_mtime_file=$masiv_data_file[9];   ////получаем дату модификации файла
////создаем запрос на получение последней удачной загрузки
////выбираем по штампу времени создания (редактирования) файла загрузки AA_hist.csv, $m_mtime_file

/////   echo '<H2><b>Размер файла: '.$m_size_file.'</b></H2><br>';
/////   echo '<H2><b>Штамп времени файла: '.$m_mtime_file.'</b></H2><br>';
/////   echo '<H2><b>Формирование запроса на выборку из лога</b></H2><br>';
////препарируем запрос
$text_zaprosa=$wpdb2->prepare("SELECT * FROM `vin_logs` WHERE `last_mtime_upload` = %s", $m_mtime_file);
$results=$wpdb2->get_results($text_zaprosa);

if ($results)
{   foreach ( $results as $r)
{
////если штамп времени и размер файла совпадают, возврат
if (($r->last_mtime_upload==$m_mtime_file) && ($r->last_size_upload==$m_size_file))
{////echo '<H2><b>Возврат в начало, т.к. найдена запись в логе.</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>'Загрузка отменена, новых данных нет, т.к. найдена запись в логе.'));
wp_die();
return $failure;
}
}
}
////если данные новые, пишем в лог запись о начале загрузки
/////echo '<H2><b>Попытка вставить запись о начале загрузки в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>0, 'last_size_upload'=>$m_size_file, 'comment'=>'Начало загрузки'));

////очищаем таблицу
$clear_tbl_zap=$wpdb2->prepare("TRUNCATE TABLE %s", 'vin_history');
$clear_tbl_zap_repl=str_replace("'","`",$clear_tbl_zap);
$results=$wpdb2->query($clear_tbl_zap_repl);
/////   echo '<H2><b>Очистка таблицы сервисных книжек</b></H2><br>';
if (empty($results))
{
/////   echo '<H2><b>Ошибка очистки таблицы книжек, завершение.</b></H2><br>';
//// если очистка не удалась, возврат
$failure=TRUE;
wp_die();
return $failure;
}

////загружаем данные
$table='vin_history';         // Имя таблицы для импорта
//$file_hist Имя CSV файла, откуда берется информация     // (путь от корня web-сервера)
$delim=';';          // Разделитель полей в CSV файле
$enclosed='"';      // Кавычки для содержимого полей
$escaped='\

27 Comments

  1. Yashazz

    Советую: не качайте и не связывайтесь с подобными блоками. Стоит Яндексу поменять DOM или чуть поиграть с форматом, а они это любят делать, так все эти обработки идут в dev/null

    Reply
  2. ewgen87

    (1) Yashazz, С такими убеждениями можно и в каменном веке сидеть ничего не менять. У вас есть предложение как загрузить характеристики сотней товаров, с десятками характеристик на каждый товар, при условии изменения формата страницы? По сути — обработка рабочая.

    Reply
  3. luckardo

    не пашет УТ 10,3 украина

    Reply
  4. ewgen87

    Переработал обработку — теперь парсит сразу

    Парсер характеристик яндекс.маркет(рабочая версия)

    Reply
  5. ewgen87

    Если у вас ругается на «ЯчейкаТаблицы = КолонкиТаблицы.ДочерниеУзлы[2];» поставьте «ЯчейкаТаблицы = КолонкиТаблицы.ДочерниеУзлы[1];»

    Reply
  6. rebellium

    1С 8.3.5.1098 + УТ 11.1.7.54

    Не открывается обработка. Разворачивается пустая область.

    Reply
  7. ewgen87

    (6) rebellium, Обработка для «УТ 10.3» для УТ 11.1.7.54 скорее всего работать не будет

    Reply
  8. rebellium

    (7)

    А поправить это можно? Прям космически важная и нужная обработка

    Reply
  9. ewgen87

    (8) rebellium, Установил для пробы ут 11 — разобраться очень сложно, эту обработку переделывал для себя, а чтобы разобраться в ут 11 нужно много времени. а вот эта обработка у Вас работает: http://infostart.ru/public/153736/ ? она для УТ11

    Reply
  10. rebellium

    (9)

    Запускается, но выдаёт ошибку при разборе с основной страницы товара. Видимо из-за разметки Маркета. Если из страницы с характеристиками, то выдаёт ошибкуВ

    {(6, 38}): Поле не найдено «ДополнительныеРеквизитыИСведения.ЭтоГруппа»

    НЕ ДополнительныеРеквизитыИСведения.<<?>>ЭтоГруппа

    Reply
  11. ewgen87

    Изменилась разметка в яндекс.маркет ( буду стараться переделать

    Reply
  12. ewgen87

    17.02 Переписал обработку — теперь работает с новой разметкой яндекса, но так как яндекс не на весь товар обновил разметку, то реализовал что-бы парсер работал и со старой версией

    Reply
  13. harlag

    УТ 10.3.30.1 + 17.02.2015.ЗагрузкаХарактеристикТовараСЯндекМаркет

    как добавить кнопку «Поиск Яндекс.Маркет» под картинкой как на видео?

    Reply
  14. ewgen87

    (13) harlag, Для этого нужно в конфигурацию встроить внешнюю обработку. В справочник Номенклатура на форме «Форма элемента» добавить кнопку. В обработчик событий кнопки добавить

    ОбработкаЗагрузкаХарактеристикМаркет = Обработки.ЗагрузкаХарактеристикТовараСЯндекМаркет.ПолучитьФорму(«Форма»);

    ОбработкаЗагрузкаХарактеристикМаркет.Номенклатура = Ссылка;

    ОбработкаЗагрузкаХарактеристикМаркет.ОткрытьМодально();

    Reply
  15. ewgen87

    Немного поменялся код в яндексе выкладываю код процедуры КнопкаВыполнитьНажатие в ФормаВыбораСтраницы:

    Процедура КнопкаВыполнитьНажатие(Кнопка)
    ОбработкаОбъект.ВебСтраница1 = ЭлементыФормы.ПолеHTMLДокумента1.Документ.URLUnencoded;
    ОбработкаОбъект.АдресСсылка = ВебСтраница1;
    НайденнаяСсылка = Найти(ВебСтраница1,»?hid»);
    НайденнаяСсылкаСтар = Найти(ВебСтраница1,»model»);
    НайденнаяСсылкаШовУид = Найти(ВебСтраница1,»?hid&show-uid»);
    
    Если НайденнаяСсылка > 0 тогда
    АдресСсылка1 = СтрЗаменить(АдресСсылка,»?hid»,»/spec?hid»);
    АдресСсылка2 = СтрЗаменить(АдресСсылка,»/spec?hid»,»?hid»);
    ВерсияМаркета = Истина;
    КонецЕсли;
    
    Если НайденнаяСсылкаШовУид > 0 тогда
    АдресСсылка1 = СтрЗаменить(АдресСсылка,»?hid&show-uid»,»/spec?hid»);
    АдресСсылка2 = СтрЗаменить(АдресСсылка,»/spec?hid»,»?hid&show-uid»);
    ВерсияМаркета = Истина;
    КонецЕсли;
    
    
    Если НайденнаяСсылкаСтар > 0 тогда
    АдресСсылка1 = СтрЗаменить(АдресСсылка,»model.xml»,»model-spec.xml»);
    АдресСсылка2 = СтрЗаменить(АдресСсылка,»model-spec.xml»,»model.xml»);
    ВерсияМаркета = Ложь;
    КонецЕсли;
    
    Если АдресСсылка1 <> АдресСсылка тогда
    ЭлементыФормы.ПолеHTMLДокумента2.Перейти(АдресСсылка2);
    ЭлементыФормы.ПолеHTMLДокумента1.Перейти(АдресСсылка1);
    Предупреждение(«Перенаправление на страницу характеристик. Дождитесь загрузки страницы и нажмите Ок»);
    Иначе
    ЭлементыФормы.ПолеHTMLДокумента2.Перейти(АдресСсылка2);
    Предупреждение(«Попытка загрузки характеристик»);
    КонецЕсли;
    Данные = ЭлементыФормы.ПолеHTMLДокумента1.ПолучитьТекст();
    Данные1 = ЭлементыФормы.ПолеHTMLДокумента2.ПолучитьТекст();
    выполнение = Истина;
    Закрыть();
    КонецПроцедуры
    

    Показать

    Reply
  16. ewgen87

    UPD 14.05

    Яндекс-маркет перешел на https. Для поиска по названию номенклатуры нужно в процедуре «ПриОткрытии()» заменить строку на:

    ЭтаФорма.ЭлементыФормы.АдресСсылки.Значение = «https://market.yandex.ru/search.xml?&text=» + Номенклатура.Наименование;

    Reply
  17. ewgen87

    UPD 23.10

    У Яндекса очередное «супер-мега» обновление:

    в названии класса добавилось слово -wrap:

    layout__col layout__col_size_p75 product-spec-wrap

    Найти в конфигураторе: product-spec

    Заменить на: product-spec-wrap

    Reply
  18. ewgen87

    UPD 19.02.2016

    При точном наименовании номенклатуры (таким-же как в яндекс.маркет) страница переходит сразу в описание, но адресная строка немного другая. Поправил. Должно работать.

    Процедура КнопкаВыполнитьНажатие(Кнопка)
    ОбработкаОбъект.ВебСтраница1 = ЭлементыФормы.ПолеHTMLДокумента1.Документ.URLUnencoded;
    ОбработкаОбъект.АдресСсылка = ВебСтраница1;
    НайденнаяСсылка = Найти(ВебСтраница1,»?hid»);
    НайденнаяСсылкаСтар = Найти(ВебСтраница1,»model»);
    НайденнаяСсылкаШовУид = Найти(ВебСтраница1,»?hid&show-uid»);
    НайденнаяСсылкаРедир = Найти(ВебСтраница1,»?was_redir=1&hid»);
    
    Если НайденнаяСсылка > 0 тогда
    АдресСсылка1 = СтрЗаменить(АдресСсылка,»?hid»,»/spec?hid»);
    АдресСсылка2 = СтрЗаменить(АдресСсылка,»/spec?hid»,»?hid»);
    ВерсияМаркета = Истина;
    КонецЕсли;
    
    Если НайденнаяСсылкаШовУид > 0 тогда
    АдресСсылка1 = СтрЗаменить(АдресСсылка,»?hid&show-uid»,»/spec?hid»);
    АдресСсылка2 = СтрЗаменить(АдресСсылка,»/spec?hid»,»?hid&show-uid»);
    ВерсияМаркета = Истина;
    КонецЕсли;
    
    
    Если НайденнаяСсылкаСтар > 0 тогда
    АдресСсылка1 = СтрЗаменить(АдресСсылка,»model.xml»,»model-spec.xml»);
    АдресСсылка2 = СтрЗаменить(АдресСсылка,»model-spec.xml»,»model.xml»);
    ВерсияМаркета = Ложь;
    КонецЕсли;
    
    Если НайденнаяСсылкаРедир > 0 тогда
    АдресСсылка1 = СтрЗаменить(АдресСсылка,»?was_redir=1&hid»,»/spec?hid»);
    АдресСсылка2 = СтрЗаменить(АдресСсылка,»?was_redir=1&hid»,»?hid»);
    ВерсияМаркета = Истина;
    КонецЕсли;
    
    Если АдресСсылка1 <> АдресСсылка тогда
    ЭлементыФормы.ПолеHTMLДокумента2.Перейти(АдресСсылка2);
    ЭлементыФормы.ПолеHTMLДокумента1.Перейти(АдресСсылка1);
    Предупреждение(«Перенаправление на страницу характеристик. Дождитесь загрузки страницы и нажмите Ок»);
    Иначе
    ЭлементыФормы.ПолеHTMLДокумента2.Перейти(АдресСсылка2);
    Предупреждение(«Попытка загрузки характеристик»);
    КонецЕсли;
    Данные = ЭлементыФормы.ПолеHTMLДокумента1.ПолучитьТекст();
    Данные1 = ЭлементыФормы.ПолеHTMLДокумента2.ПолучитьТекст();
    выполнение = Истина;
    Закрыть();
    КонецПроцедуры

    Показать

    Reply
  19. graf1976

    Обработка актуальная? Появилась потребность

    Reply
  20. ewgen87

    (19) graf1976, Сегодня проверял — работает, правда желательно пользоваться совместно с обработкой http://infostart.ru/public/14986/ (бесплатная). Так как тут в этой обработке нет проверки на существование такой-же характеристики в реестре, поэтому создается новая, а это нагружает базу. Времени запилить проверку пока нет, поэтому пользуюсь той обработкой для поиска и замены дублей (Объект поиска: СвойстваОбъектов -> по наименованию)

    Reply
  21. ewgen87

    19.09 Сегодня заметил, что я.маркет переделал страницу. Как будет время, постараюсь переделать

    Reply
  22. teomen_

    Автор когда будет время поправить обработку ?

    Reply
  23. ewgen87

    (22) teomen_, Поправил обработку, работает с Internet Explorer 8 и 11 (на других не проверял)

    Reply
  24. NN2P

    Евгений, большое спасибо за обработку.

    УТ 10.3:

    — при попытке разбора страницы, снова падает с ошибкой(см. рис.1);

    — при изменении размера формы обработки кнопка «Яндекс -маркет» не на своём месте

    Reply
  25. ewgen87

    (24)

    а страницы, снова падает с ошибк

    Добрый день!

    К сожалению времени катастрофически не хватает чтобы исправить, попробуйте зайти во вкладку на яндекс.маркет: «Характеристики» потом опять в «Описание» и нажать «Выполнить» и подождать до полной загрузки страницы

    Reply
  26. ewgen87

    (24)

    Евгений, большое спасибо за обработку.

    УТ 10.3:

    — при попытке разбора страницы, снова падает с ошибкой(см. рис.1);

    — при изменении размера формы обработки кнопка «Яндекс -маркет» не на своём месте

    Прикрепленные файлы:

    Попробуйте, закоментировать строку:

     //  НайденнаяСсылкаСтар = Найти(ВебСтраница1,»model»);

    и

     //Если НайденнаяСсылкаСтар > 0 тогда
    //     АдресСсылка1 = СтрЗаменить(АдресСсылка,»model.xml»,»model-spec.xml»);
    //    АдресСсылка2 = СтрЗаменить(АдресСсылка,»model-spec.xml»,»model.xml»);
    //     ВерсияМаркета = Ложь;
    //КонецЕсли;

    У кнопки Яндекс.Маркет не была установлена привязка границ. В свойствах выберите

    Установить правила:

    Привязать к форме к правой границе и к верхней границе

    Форму ни разу не раздвигал, поэтому не обращал внимания

    Reply
  27. teomen_

    Добрый день, УТ 10.3 постоянна начала выпадать ошибка :

    Ошибка при разборе HTML страницы! Возможно, адрес указан не верно или изменилась разметка страницы источника.

    Манипуляция : » попробуйте зайти во вкладку на яндекс.маркет: «Характеристики» потом опять в «Описание» и нажать «Выполнить» и подождать до полной загрузки страницы » не помогает…

    Reply

Leave a Comment

Ваш адрес email не будет опубликован. Обязательные поля помечены *