Версионирование правил обмена в Git




Принцип обмена данными из 1С с сайтом (на MySQL) и выдачи (публикации) этих данных по запросу.
PHP-Скрипт автоматической загрузки данных из файла данных в формате CSV в базу данных сайта работающего на WordPress.

В продолжение моей темы: 1С:Альфа-Авто Автосалон Автосервис: обмен с сайтом.
С помощью данного скрипта можно загружать в автоматическом режиме, по расписанию, данные сервисных книжек (ремонтов авто) из 1С:Альфа-Авто Автосалон Автосервис.
Также можно загружать данные в ручном режиме: для этого делается скрытая страница, где размещается специальная кнопка.
Комментарии размещенные внутри скрипта разъяснят логику и порядок действия.
Комментарии с "/////    echo" использовались для отладки.
Дополнительно создана таблица для журналирования результатов загрузки данных.
Скрипт включает в себя защиту от SQL инъекций (думаю безопасность соблюдена в полной мере).
В кратце:
1. Пишется скрипт, который запускает этот.
2. Создается регламентное задание в WordPress, по которому запускается скрипт из п.1. 
3. Этот скрипт осуществляет проверку на существование файла обмена в папке.
4. Если данные не новые, загрузка не производится.
5. Если данные новые, очищается таблица сервисных книжек.
6. Загружаются новые данные.

Собственно сам скрипт:

<?php // Полная загрузка сервисных книжек, создан 2024-01-05 12:44:55

global $wpdb2;
global $failure;
global $file_hist;

/////  echo '<H2><b>Старт загрузки</b></H2><br>';

$failure=FALSE;
//подключаемся к базе
$wpdb2 = include_once 'connection.php'; ; // подключаемся к MySQL
// если не удалось подключиться, и нужно оборвать PHP с сообщением об этой ошибке
if (!empty($wpdb2->error))
{
/////   echo '<H2><b>Ошибка подключения к БД, завершение.</b></H2><br>';
$failure=TRUE;
wp_die( $wpdb2->error );
}

$m_size_file=0;
$m_mtime_file=0;
$m_comment='';
/////проверка существования файлов выгрузки из 1С
////файл выгрузки сервисных книжек
$file_hist = ABSPATH.'/_1c_alfa_exchange/AA_hist.csv';
if (!file_exists($file_hist))
{
/////   echo '<H2><b>Файл обмена с сервисными книжками не существует.</b></H2><br>';
$m_comment='Файл обмена с сервисными книжками не существует';
$failure=TRUE;
}

/////инициируем таблицу лога
/////если не существует файла то возврат и ничего не делаем
if ($failure){
///включает защиту от SQL инъекций и данные можно передавать как есть, например: $_GET['foo']
/////   echo '<H2><b>Попытка вставить запись в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>$m_comment));
wp_die();
/////    echo '<H2><b>Возврат в начало.</b></H2><br>';
return $failure;
}
/////проверка лога загрузки, что бы не загружать тоже самое
$masiv_data_file=stat($file_hist);   ////передаем в массив свойство файла
$m_size_file=$masiv_data_file[7];    ////получаем размер файла
$m_mtime_file=$masiv_data_file[9];   ////получаем дату модификации файла
////создаем запрос на получение последней удачной загрузки
////выбираем по штампу времени создания (редактирования) файла загрузки AA_hist.csv, $m_mtime_file

/////   echo '<H2><b>Размер файла: '.$m_size_file.'</b></H2><br>';
/////   echo '<H2><b>Штамп времени файла: '.$m_mtime_file.'</b></H2><br>';
/////   echo '<H2><b>Формирование запроса на выборку из лога</b></H2><br>';
////препарируем запрос
$text_zaprosa=$wpdb2->prepare("SELECT * FROM `vin_logs` WHERE `last_mtime_upload` = %s", $m_mtime_file);
$results=$wpdb2->get_results($text_zaprosa);

if ($results)
{   foreach ( $results as $r)
{
////если штамп времени и размер файла совпадают, возврат
if (($r->last_mtime_upload==$m_mtime_file) && ($r->last_size_upload==$m_size_file))
{////echo '<H2><b>Возврат в начало, т.к. найдена запись в логе.</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>'Загрузка отменена, новых данных нет, т.к. найдена запись в логе.'));
wp_die();
return $failure;
}
}
}
////если данные новые, пишем в лог запись о начале загрузки
/////echo '<H2><b>Попытка вставить запись о начале загрузки в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>0, 'last_size_upload'=>$m_size_file, 'comment'=>'Начало загрузки'));

////очищаем таблицу
$clear_tbl_zap=$wpdb2->prepare("TRUNCATE TABLE %s", 'vin_history');
$clear_tbl_zap_repl=str_replace("'","`",$clear_tbl_zap);
$results=$wpdb2->query($clear_tbl_zap_repl);
/////   echo '<H2><b>Очистка таблицы сервисных книжек</b></H2><br>';
if (empty($results))
{
/////   echo '<H2><b>Ошибка очистки таблицы книжек, завершение.</b></H2><br>';
//// если очистка не удалась, возврат
$failure=TRUE;
wp_die();
return $failure;
}

////загружаем данные
$table='vin_history';         // Имя таблицы для импорта
//$file_hist Имя CSV файла, откуда берется информация     // (путь от корня web-сервера)
$delim=';';          // Разделитель полей в CSV файле
$enclosed='"';      // Кавычки для содержимого полей
$escaped='\

22 Comments

  1. harmit

    Хорошее решение.

    Reply
  2. baton_pk

    Огонь!!!! Вот ещё буквально пару месяцев и я бы сам такое сел писать!!!

    Reply
  3. artbear

    Круто, да!

    Reply
  4. artbear

    Схема с разделением одного большого файла на несколько более мелких/детальных очень удобна.

    Юзали ее в разных вариантах.

    Самый ранний, который я помню — разбор глобального модуля 1С 7.7 на файлы процедур/функций после разбора gcomp для выгрузки в cvs/snv. 2003 год

    Reply
  5. tsukanov

    Прикольно. Спасибо )

    А эту задачу нельзя решить с помощью подходящего инструмента мёрджа?

    Reply
  6. olegtymko

    Идея очень хорошая! Жирный плюс. Хранение в таком же виде правил регистрации пока не планируется?

    Reply
  7. bforce

    (6)

    Хранение в таком же виде правил регистрации пока не планируется?

    Мы их в своей работе не используем, так как выгружаются огромным набором за период. Поэтому такой задачи не стояло, но ее можно решить тем же способом.

    Reply
  8. bforce

    (5)

    А эту задачу нельзя решить с помощью подходящего инструмента мёрджа?

    Конечно можно, но нужно помнить два важных момента.

    1. Человек, который выполняет слияние должен четко понимать что происходит и делать безошибочный выбор в сторону того или иного фрагмента. Причем делать это он должен безошибочно.

    2. Дело в том, что при загрузке вы Конвертацию данных элементам справочников каждый раз присваиваются новые идентификаторы, и при формировании общего файла эти элементы выбираются с сортировкой по ссылкам. Ссылки у всех разработчиков разные, а значит и сортировка элементов не будет никогда соответствовать друг другу. Так что слияние двух даже самых мелких изменений превращается в очень сложную задачу.

    Второго пункта можно избежать, если перед слиянием или в момент коммита будет выполняться сортировка правил (у меня в репозитории есть шаблон сортировки). Иначе, мне кажется, нужно обладать довольно уникальными способностями, чтобы переварить это все в голове (особенно, когда файл у вас на 50 тыс. строк).

    Reply
  9. tsukanov

    (8) Я немного о другом. Мне кажется можно сделать дифф (утилиту), который будет игнорировать сортировку и прочее. Ну и соответственно мёрдж на основе этого диффа. По аналогии как конфигуратор модули сравнивает/объединяет по процедурам.

    Reply
  10. bforce

    (9)

    По аналогии как конфигуратор модули сравнивает/объединяет по процедурам.

    На самом деле, в самой конвертации имеется инструмент для сравнения правил обмена. Причем это действительно похоже на сравнение/объединение конфигураций с возможностью выбора нужных для объединения элементов.

    Так что, да, можно использовать и этот метод. Однако правильность объединения придется всегда контролировать глазами, так как встроенный механизм не позволяет сделать двухстороннего сравнения. Поэтому работать с git лучше.

    Reply
  11. baton_pk

    а ещё подсветка синтаксиса на bsl-файлах отработает, а на bsl внутри xml лесом пошлёт. 🙂 мелочь, а приятно.

    ну и git blame отдельно по каждому куску.

    Reply
  12. tsukanov

    (10) Действительно. Я уже и забыл, что в конвертации есть это. Спасибо что напомнили )

    Посмотрел тут: https://infostart.ru/public/177339/

    Двухстороннее сравнение — это three-way merge? Судя по статье оно там есть.

    Reply
  13. artbear

    (12) Двухстороннее это не three, это two 🙂

    Reply
  14. tsukanov

    (13) Ну я пытался угадать )) А что за зверь тогда? Просветите, плиз )

    Reply
  15. bforce

    (12)

    Обычно двухстороннего сравнения достаточно (в конвертации как раз такое), чтобы понять есть ли конфликт, но понять это нужно будет в голове. Дважды измененные (как при работе на поддержке от конфигурации поставщика) стандартный инструмент не показывает. Нужно будет все измененные объекты где-то зафиксировать, чтобы потом сравнить с таким же списком из другой задачи или сравнивать по одному.

    В общем, сомнительное удовольствие. Но, если нравится, то пожалуйста. Меня на такую монотонную работу надолго не хватает. А если она еще еженедельная/ежедневная, то …

    Reply
  16. tsukanov

    (15) Понятно. Но вообще странно, что нет фильтра по дважды измененным. Мне кажется его там добавить труда не составит.

    Reply
  17. kuzyara

    Почему не префиксы вместо искусственной иерархии ext?

    Будет ли такое же версионирование декомпилированных форм?

    Reply
  18. acsent

    А может проще из КД сразу выгружать дополнительно в нужном формате?

    Reply
  19. Totoro

    Молодец!

    Reply
  20. bforce

    (17)

    Почему не префиксы вместо искусственной иерархии ext?

    Только из-за того, что уже есть «снандарт» выгрузки конфигураций и расширений. Не более.

    Придумать тут можно самые разнообразные варианты, но это будет лично мое. Потом кто-нибудь предложит свою версию, которая делает по другому. Поэтому проще опереться на уже придуманный и используемый подход.

    К тому же, если у меня 10 ПКО в одной группе и на каждый созданы все обработчики (8 штук), то это уже 90 файлов в одном каталоге. Не очень удобно.

    (17)

    Будет ли такое же версионирование декомпилированных форм?

    Не понял. Какие формы в правилах обмена?

    (18)

    А может проще из КД сразу выгружать дополнительно в нужном формате?

    Со стороны конечного пользователя-разработчика, конечно, проще. И это будет гораздо удобнее. Но только для него одного. Но есть и минусы, которые перевесили.

    1. Сложность. Надо очень аккуратно впилиться в типовую конфигурацию и ничего при этом не поломать, ни в ней, ни в своей логике разбора. Это сложнее, чем отдельный скрипт.

    2. Зависимость. Если смотреть не только на разработчика, а на ПМ-щика, автоматизированное тестирование и деплой, то тут дополнительная зависимость от КД ни к чему. Лишние действия по сбору и разбору. В КД, кажется, нет Параметров запуска, чтобы что-то автоматизировать.

    Но реализовать такое, конечно, хотелось. Какой-нибудь поставкой (чтобы легко интегрировать), выделить обособленным модулем, расставить где нужно свои вставки.

    Reply
  21. stas_ganiev

    Круто! Очень круто!!!

    За упоминание моей работы спасибо! 🙂

    Reply
  22. AlexWhite

    Спасибо! Если захотите что-то еще усовершенствовать в этом решении и понадобится финансирование, обращайтесь!

    Reply

Leave a Comment

Ваш адрес email не будет опубликован. Обязательные поля помечены *