Работа с конвертацией данных




Принцип обмена данными из 1С с сайтом (на MySQL) и выдачи (публикации) этих данных по запросу.
PHP-Скрипт автоматической загрузки данных из файла данных в формате CSV в базу данных сайта работающего на WordPress.

В продолжение моей темы: 1С:Альфа-Авто Автосалон Автосервис: обмен с сайтом.
С помощью данного скрипта можно загружать в автоматическом режиме, по расписанию, данные сервисных книжек (ремонтов авто) из 1С:Альфа-Авто Автосалон Автосервис.
Также можно загружать данные в ручном режиме: для этого делается скрытая страница, где размещается специальная кнопка.
Комментарии размещенные внутри скрипта разъяснят логику и порядок действия.
Комментарии с "/////    echo" использовались для отладки.
Дополнительно создана таблица для журналирования результатов загрузки данных.
Скрипт включает в себя защиту от SQL инъекций (думаю безопасность соблюдена в полной мере).
В кратце:
1. Пишется скрипт, который запускает этот.
2. Создается регламентное задание в WordPress, по которому запускается скрипт из п.1. 
3. Этот скрипт осуществляет проверку на существование файла обмена в папке.
4. Если данные не новые, загрузка не производится.
5. Если данные новые, очищается таблица сервисных книжек.
6. Загружаются новые данные.

Собственно сам скрипт:

<?php // Полная загрузка сервисных книжек, создан 2018-01-05 12:44:55

global $wpdb2;
global $failure;
global $file_hist;

/////  echo '<H2><b>Старт загрузки</b></H2><br>';

$failure=FALSE;
//подключаемся к базе
$wpdb2 = include_once 'connection.php'; ; // подключаемся к MySQL
// если не удалось подключиться, и нужно оборвать PHP с сообщением об этой ошибке
if (!empty($wpdb2->error))
{
/////   echo '<H2><b>Ошибка подключения к БД, завершение.</b></H2><br>';
$failure=TRUE;
wp_die( $wpdb2->error );
}

$m_size_file=0;
$m_mtime_file=0;
$m_comment='';
/////проверка существования файлов выгрузки из 1С
////файл выгрузки сервисных книжек
$file_hist = ABSPATH.'/_1c_alfa_exchange/AA_hist.csv';
if (!file_exists($file_hist))
{
/////   echo '<H2><b>Файл обмена с сервисными книжками не существует.</b></H2><br>';
$m_comment='Файл обмена с сервисными книжками не существует';
$failure=TRUE;
}

/////инициируем таблицу лога
/////если не существует файла то возврат и ничего не делаем
if ($failure){
///включает защиту от SQL инъекций и данные можно передавать как есть, например: $_GET['foo']
/////   echo '<H2><b>Попытка вставить запись в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>$m_comment));
wp_die();
/////    echo '<H2><b>Возврат в начало.</b></H2><br>';
return $failure;
}
/////проверка лога загрузки, что бы не загружать тоже самое
$masiv_data_file=stat($file_hist);   ////передаем в массив свойство файла
$m_size_file=$masiv_data_file[7];    ////получаем размер файла
$m_mtime_file=$masiv_data_file[9];   ////получаем дату модификации файла
////создаем запрос на получение последней удачной загрузки
////выбираем по штампу времени создания (редактирования) файла загрузки AA_hist.csv, $m_mtime_file

/////   echo '<H2><b>Размер файла: '.$m_size_file.'</b></H2><br>';
/////   echo '<H2><b>Штамп времени файла: '.$m_mtime_file.'</b></H2><br>';
/////   echo '<H2><b>Формирование запроса на выборку из лога</b></H2><br>';
////препарируем запрос
$text_zaprosa=$wpdb2->prepare("SELECT * FROM `vin_logs` WHERE `last_mtime_upload` = %s", $m_mtime_file);
$results=$wpdb2->get_results($text_zaprosa);

if ($results)
{   foreach ( $results as $r)
{
////если штамп времени и размер файла совпадают, возврат
if (($r->last_mtime_upload==$m_mtime_file) && ($r->last_size_upload==$m_size_file))
{////echo '<H2><b>Возврат в начало, т.к. найдена запись в логе.</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>'Загрузка отменена, новых данных нет, т.к. найдена запись в логе.'));
wp_die();
return $failure;
}
}
}
////если данные новые, пишем в лог запись о начале загрузки
/////echo '<H2><b>Попытка вставить запись о начале загрузки в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>0, 'last_size_upload'=>$m_size_file, 'comment'=>'Начало загрузки'));

////очищаем таблицу
$clear_tbl_zap=$wpdb2->prepare("TRUNCATE TABLE %s", 'vin_history');
$clear_tbl_zap_repl=str_replace("'","`",$clear_tbl_zap);
$results=$wpdb2->query($clear_tbl_zap_repl);
/////   echo '<H2><b>Очистка таблицы сервисных книжек</b></H2><br>';
if (empty($results))
{
/////   echo '<H2><b>Ошибка очистки таблицы книжек, завершение.</b></H2><br>';
//// если очистка не удалась, возврат
$failure=TRUE;
wp_die();
return $failure;
}

////загружаем данные
$table='vin_history';         // Имя таблицы для импорта
//$file_hist Имя CSV файла, откуда берется информация     // (путь от корня web-сервера)
$delim=';';          // Разделитель полей в CSV файле
$enclosed='"';      // Кавычки для содержимого полей
$escaped='\

26 Comments

  1. Sergafan10

    Становится мене актуальным, в связи с КД 3.

    Reply
  2. TODD22

    (1)И что там стало менее актуально?

    КД 3 это не замена КД2.

    Reply
  3. dj_serega

    (1) КД3 еще лет 5 будет раскручиваться.

    А еще остались 7.7 и нужно делать выгрузку из них… Поэтому… Пока жива 7.7 и будет жить КД2 😉

    Reply
  4. unichkin

    в п.1 лишнее

    РезультатЗапроса = Запрос.Выполнить();
    Если РезультатЗапроса.Пустой() Тогда
    Отказ = Истина
    КонецЕсли;
    ВыборкаДанных = РезультатЗапроса.Выгрузить();

    Можно сразу:

    ВыборкаДанных = Запрос;

    п.2

    Не понял, зачем вводить буферную переменную, и выгружать результата запроса.

    Запросы.Прием.УстановитьПараметр(«ПустаяДата», Дата(1,1,1));
    Запросы.Прием.УстановитьПараметр(«ДатаОкончания», КонецДня(ДатаОкончания));
    ВыборкаДанных =Запросы.Прием;

    не нужны никакие отказы при пустом результате. Он если пустой, и так ничего не будет.

    в п.5 запрос в цикле + см. п.2

    п.6 тяжеловато

    ОбъектКоллекции.СчетДт.ПринадлежитЭлементу(ПланыСчетов.Хозрасчетный.РасчетыПоСоциальномуСтрахованию)

    п.7 не понял смысла

    «При загрузке:

    Отказ = ОбъектНайден;»

    — т.е. если объект найден, то не обновлять? Там галка есть у ПКО «Не замещать существующие объекты в приемнике…»

    п.8 — а как эти объекты уйдут из таблицы регистрации изменений? Их туда и помещать не надо, если они не должны выгружаться.

    Почему-то когда дело касается КД люди сразу забывают о том что такое точка. Вообще, все это довольно субъективно.

    Reply
  5. unichkin

    Про п.1 — зачеркнуть, это дубль про п.2

    Reply
  6. d4rkmesa

    Плохо все-таки писать РежимЗаписи = «Проведение» в обработчике, нужно пользоваться механизмом отложенного проведения, либо вынести проведение всех документов отдельно в обработчик «после загрузки данных», хотя для каких-то простых документов сойдет. Остальное имеет право на жизнь, нюансы реализации не так важны в целом.

    Reply
  7. vano-ekt

    в обработчики ПКС/ПВД понапихают запросов, а потом ждут пока обмен час пройдет

    Reply
  8. serg_infostart

    (7) в ПКС не увидел, что понапихано…

    В ПВД оно само собой разумеющееся.

    (0) не хватает описания обработчиков Поля поиска.

    Reply
  9. Zhilyakovdr
    ТекстЗапроса = Запросы.ОтражениеЗарплатыВРеглУчете.Текст;
    Запрос = Новый Запрос(ТекстЗапроса);
    Запрос.УстановитьПараметр(«Организация», Данные.Организация);

    меняем на

    Запрос = Запросы.ОтражениеЗарплатыВРеглУчете;
    Запрос.УстановитьПараметр(«Организация», Данные.Организация);

    а можно и на

    Запросы.ОтражениеЗарплатыВРеглУчете.УстановитьПараметр(«Организация», Данные.Организация);
    Reply
  10. Zhilyakovdr

    (7) Запросы в ПВД вполне нормальное явление, в ПКС нет.

    Гляньте типовые обмены, там и не такое увидите.

    Reply
  11. Zhilyakovdr

    Все что вы описали в статье можно легко найти в типовых правилах и примерах в самой КД.

    Пора потихоньку КД3 пользовать

    Reply
  12. Lem0n

    Удобное использование шаблонов обработчиков реализовано в http://infostart.ru/public/398595/ (см. видео с 9:46 и с 16:35),

    Reply
  13. MaxS

    (3)

    Поэтому… Пока жива 7.7 и будет жить КД2

    Не факт. )) Уже появилась одна публикация для связи 1С 7.7 через EnterpriseData.

    Но всё равно КД2 останется, т.к. возможности безграничны, в отличие от КД3, где ограничен формат.

    Reply
  14. Поручик

    КД 2 ещё долго будет жить, потому что с ней намного легче накидать правила переноса. Попробуйте это сделать быстро с КД 3.

    Reply
  15. q_i

    П.10, Вариант 2: какой текст запроса у Запросы.ПоискСотрудника2.Текст?

    Есть подозрение, что «Объект.Работники.ЗагрузитьКолонку(Результат, «Сотрудник»)» потенциально может загрузить сотрудников в неправильном порядке.

    Reply
  16. vovan_victory

    П.5. А зачем в цикле создавать объект запрос?

    Для каждого СтрокаТД Из ТаблицаДанных Цикл
    
    ТаблицаПроводок = СтрокаТД.ОтражениеВУчете;  //1
    
    Для каждого СтрокаТП  Из ТаблицаПроводок Цикл
    
    Если МассивСчетовДТ<>Неопределено И МассивСчетовДТ.Найти(СтрокаТП.СчетДт) <> Неопределено И НЕ СтрокаТП.ПодразделениеДт.Родитель.Пустая() Тогда //2
    Запрос = Новый Запрос;

    Может лучше:

    //Создаем до цикла 1 раз
    Запрос = Новый Запрос;
    
    Для каждого СтрокаТД Из ТаблицаДанных Цикл
    
    ТаблицаПроводок = СтрокаТД.ОтражениеВУчете;  //1
    
    Для каждого СтрокаТП  Из ТаблицаПроводок Цикл
    
    Если МассивСчетовДТ<>Неопределено И МассивСчетовДТ.Найти(СтрокаТП.СчетДт) <> Неопределено И НЕ СтрокаТП.ПодразделениеДт.Родитель.Пустая() Тогда //2
    //А в цикле уже устанавливаем текст, параметры и выполняем
    //Да и текст запроса, если не меняется, тоже выносим из цикла.
    Запрос.Текст = Запросы.ПодразделениеОрганизацииРодитель.Текст;
    Запрос.УстановитьПараметр(«Ссылка», СтрокаТП.ПодразделениеДт);
    РезультатЗапроса = Запрос.Выполнить();

    Показать

    Reply
  17. perepetulichka

    (16) Это понятно, пользуюсь таким способом 🙂 Пункт 5 показан просто как один из способов. Спасибо за комментарий!

    Reply
  18. AlexeyK1

    Здравствуйте, подскажите пожалуйста.

    настраиваю конвертацию между двумя разными «переписанными» конфигурациями(УТ -> WMS) возникла проблема со справочниками.

    в источнике

    Номенклатура + ЕдиницаИзмерения

    переносится в связку

    Номенклатура + ЕдиницаИзмерения1 + ЕдиницаИзмерения2 вторая подчиненна первой, а Владелец у них один,

    так вот когда переносим новую Номенклатуру не могу придумать как ЕдиницуИзмерения2 подчинить ЕдиницеИзмерения1 ведь на момент прогона ссылки у меня на ЕдиницуИзмерения1 не существует (если прогнать 2 раза «Загрузку», то все пучком, понимаю что это неправильно)

    ЕдиницаИзмерения1 и ЕдиницаИзмерения2 переносятся не по ссылке, а создаются

    Может кто то сталкивался с подобной проблемой, и есть возможность это побороть?

    Reply
  19. perepetulichka

    (18) я так понимаю, если вы из ЕдиницаИзмерения формируете ЕдиницаИзмерения1 и ЕдиницаИзмерения2, то все это делается в одном алгоритме.

    Запросом проверяем есть ли объекты в системе (судя по всему ГУИД с источником или у одного элемента или не совпадает совсем, для удобства кстати можно в приёмнике добавить реквизит «ГУИДИсточника» объекту и по нему искать).

    Затем если их нет, создаём первый, записываем его и второму Владельцем заполняем ссылку.

    Или поскольку при второй загрузке у вас все находится, то может стоит выгрузку поменять местами, сначала выгрузить Владельца, он запишется в системе, затем дочерний.

    Или показывайте правила, как вы их создаёте.

    Reply
  20. AlexeyK1

    вот в ПКО при выгрузке Номенклатуры делаю выгрузить по правилу сразу создаю 2 ЕдиницыХранения, понимаю что такая ситуация что у меня нету GUID для этих элементов был бы GUID я бы его пихнул в сыль родителя второй ЕдиницыХранения и всё пучком было бы

    ВходящиеДанные = Новый Структура;
    ВходящиеДанные.Вставить(«Владелец», Источник);
    ВходящиеДанные.Вставить(«Наименование», «Пар»);
    ВходящиеДанные.Вставить(«Код», «0000000001»);
    ВходящиеДанные.Вставить(«Родитель», «»);
    ВходящиеДанные.Вставить(«Коэффициент», 1);
    ВходящиеДанные.Вставить(«КоэффициентКИС», Источник.абРазмерныйРяд.Количество);
    ВходящиеДанные.Вставить(«МодельСкладскогоУчета», «001»);
    ВходящиеДанные.Вставить(«АктивнаяОбластьОтбора», «000000001»);
    ВходящиеДанные.Вставить(«ОбластьРазмещения», «000000001»);
    ВходящиеДанные.Вставить(«КлассЕдиницыХранения» ,»715″);
    ВходящиеДанные.Вставить(«ОтборПоДатам» ,»НеВыполнять»);
    ВходящиеДанные.Вставить(«РучноеРазмещение» ,»Истина»);
    ВыгрузитьПоПравилу(,,ВходящиеДанные,,»усЕдиницыХранения»);
    
    
    ВходящиеДанные1 = Новый Структура;
    ВходящиеДанные1.Вставить(«Наименование», «Короб(» + Строка(ВходящиеДанные.КоэффициентКИС) + «)»);
    ВходящиеДанные1.Вставить(«Владелец», Источник);
    ВходящиеДанные1.Вставить(«Родитель»,  «0000000001»); //понимаю что тут ссыль должна быть ВходящиеДанные, но какая ? прост вставить
    // ВыгрузитьПоПравилу(,,ВходящиеДанные,,»усЕдиницыХранения»);?
    ВходящиеДанные1.Вставить(«Код», «0000000001»);
    ВходящиеДанные1.Вставить(«Коэффициент», ВходящиеДанные.КоэффициентКИС);
    ВходящиеДанные1.Вставить(«КоэффициентКИС», ВходящиеДанные.КоэффициентКИС);
    ВходящиеДанные1.Вставить(«МодельСкладскогоУчета», «001»);
    ВходящиеДанные1.Вставить(«АктивнаяОбластьОтбора», «000000001»);
    ВходящиеДанные1.Вставить(«ОбластьРазмещения», «000000001»);
    ВходящиеДанные1.Вставить(«КлассЕдиницыХранения» ,»778″);
    ВходящиеДанные1.Вставить(«ОтборПоДатам» ,»НеВыполнять»);
    ВходящиеДанные1.Вставить(«РучноеРазмещение» ,»Истина»);
    
    ВыгрузитьПоПравилу(,,ВходящиеДанные1,,»усЕдиницыХраненияКороба»);
    
    

    Показать

    Сейчас понимаю что первую ЕдиницуХранения можно было привязать к ЕдиницеИзмерения в базе Источнике и его GUID юзать… но поезд ушел….

    теперь походу придётся правила переписывать и завязываться на ЕдиницуИзмерения для первой ЕдиницыХранения… с проверкой на существование Единицы хранения старыми правилами

    Reply
  21. perepetulichka

    (20) но смотрите, вы перед выгрузкой по правилу выгружаете ЕдиницаИзмерения1 и ЕдиницаИзмерения2, а затем самим ПКО формируете Источник.

    Следовательно в файле у вас сначала ЕдиницаИзмерения1 и ЕдиницаИзмерения2, а потом сама Номенклатура (владелец), система все записывает последовательно.

    Как насчет переместить ваши структуры в модуль «После выгрузки»?

    Reply
  22. perepetulichka

    (21) правильнее в модуль «После выгрузки в файл».

    Условия возникновения события

    Событие выполняется после выгрузки объекта в файл обмена. Может быть использован для выгрузки дополнительной информации по выгруженному объекту в файл обмена. При этом информация будет записана в файл обмена после выгруженного объекта.

    Reply
  23. AlexeyK1

    (21) спасибо попробую

    Reply
  24. alex_bitti

    (7) обмен идет часами в основном из-за итогов в регистрах, в частности в бух долго грузятся реализации товаров при включенных итогах, запросы в правилах работают также как и стандартная выгрузка/загрузка практически, в стандартной тоже можно напихать параметров))

    Reply
  25. alex_bitti

    отлично написано! такую бы статью лет 6 назад прочитать бы мне)) большинство приемчиков пришлось придумывать самому, похоже у всех так)

    Reply
  26. wowan ht

    Здравствуйте.

    КД версия 2

    Задача: выгрузить из источника записи Регистра сведений и в приемнике создать Документ на каждую запись.

    В источнике отсутствует такой объект.

    Создал ПВД с пустым объектом и произвольным запросом, результат которого попадает в ВыборкаДанных

    Далее создал ПКО также с пустым источником, реквизиты приемника заполняю из выборки.

    При использовании обработки «Универсальный обмен данными» все выгрузки-загрузки отрабатывают без проблем.

    В источнике создал план обмена, включил его в подсистему Синхронизация (обмен данными), загрузил правила.

    При попытке выгрузки возникает ошибка, что такой объект не найден по типу в метаданных.

    Можно как-то выкрутиться из данной ситуации?

    Пробовал создавать ОписаниеОбъекта в ПВД — не прокатило

    Пробовал вставлять запрос в обработчик «Перед получением измененных» — та же картина

    Есть еще варианты?

    Заранее спасибо

    Reply

Добавить коментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *