Групповая обработка (Управляемая консоль отчетов)




Принцип обмена данными из 1С с сайтом (на MySQL) и выдачи (публикации) этих данных по запросу.
PHP-Скрипт автоматической загрузки данных из файла данных в формате CSV в базу данных сайта работающего на WordPress.

В продолжение моей темы: 1С:Альфа-Авто Автосалон Автосервис: обмен с сайтом.
С помощью данного скрипта можно загружать в автоматическом режиме, по расписанию, данные сервисных книжек (ремонтов авто) из 1С:Альфа-Авто Автосалон Автосервис.
Также можно загружать данные в ручном режиме: для этого делается скрытая страница, где размещается специальная кнопка.
Комментарии размещенные внутри скрипта разъяснят логику и порядок действия.
Комментарии с "/////    echo" использовались для отладки.
Дополнительно создана таблица для журналирования результатов загрузки данных.
Скрипт включает в себя защиту от SQL инъекций (думаю безопасность соблюдена в полной мере).
В кратце:
1. Пишется скрипт, который запускает этот.
2. Создается регламентное задание в WordPress, по которому запускается скрипт из п.1. 
3. Этот скрипт осуществляет проверку на существование файла обмена в папке.
4. Если данные не новые, загрузка не производится.
5. Если данные новые, очищается таблица сервисных книжек.
6. Загружаются новые данные.

Собственно сам скрипт:

<?php // Полная загрузка сервисных книжек, создан 2024-01-05 12:44:55

global $wpdb2;
global $failure;
global $file_hist;

/////  echo '<H2><b>Старт загрузки</b></H2><br>';

$failure=FALSE;
//подключаемся к базе
$wpdb2 = include_once 'connection.php'; ; // подключаемся к MySQL
// если не удалось подключиться, и нужно оборвать PHP с сообщением об этой ошибке
if (!empty($wpdb2->error))
{
/////   echo '<H2><b>Ошибка подключения к БД, завершение.</b></H2><br>';
$failure=TRUE;
wp_die( $wpdb2->error );
}

$m_size_file=0;
$m_mtime_file=0;
$m_comment='';
/////проверка существования файлов выгрузки из 1С
////файл выгрузки сервисных книжек
$file_hist = ABSPATH.'/_1c_alfa_exchange/AA_hist.csv';
if (!file_exists($file_hist))
{
/////   echo '<H2><b>Файл обмена с сервисными книжками не существует.</b></H2><br>';
$m_comment='Файл обмена с сервисными книжками не существует';
$failure=TRUE;
}

/////инициируем таблицу лога
/////если не существует файла то возврат и ничего не делаем
if ($failure){
///включает защиту от SQL инъекций и данные можно передавать как есть, например: $_GET['foo']
/////   echo '<H2><b>Попытка вставить запись в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>$m_comment));
wp_die();
/////    echo '<H2><b>Возврат в начало.</b></H2><br>';
return $failure;
}
/////проверка лога загрузки, что бы не загружать тоже самое
$masiv_data_file=stat($file_hist);   ////передаем в массив свойство файла
$m_size_file=$masiv_data_file[7];    ////получаем размер файла
$m_mtime_file=$masiv_data_file[9];   ////получаем дату модификации файла
////создаем запрос на получение последней удачной загрузки
////выбираем по штампу времени создания (редактирования) файла загрузки AA_hist.csv, $m_mtime_file

/////   echo '<H2><b>Размер файла: '.$m_size_file.'</b></H2><br>';
/////   echo '<H2><b>Штамп времени файла: '.$m_mtime_file.'</b></H2><br>';
/////   echo '<H2><b>Формирование запроса на выборку из лога</b></H2><br>';
////препарируем запрос
$text_zaprosa=$wpdb2->prepare("SELECT * FROM `vin_logs` WHERE `last_mtime_upload` = %s", $m_mtime_file);
$results=$wpdb2->get_results($text_zaprosa);

if ($results)
{   foreach ( $results as $r)
{
////если штамп времени и размер файла совпадают, возврат
if (($r->last_mtime_upload==$m_mtime_file) && ($r->last_size_upload==$m_size_file))
{////echo '<H2><b>Возврат в начало, т.к. найдена запись в логе.</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>'Загрузка отменена, новых данных нет, т.к. найдена запись в логе.'));
wp_die();
return $failure;
}
}
}
////если данные новые, пишем в лог запись о начале загрузки
/////echo '<H2><b>Попытка вставить запись о начале загрузки в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>0, 'last_size_upload'=>$m_size_file, 'comment'=>'Начало загрузки'));

////очищаем таблицу
$clear_tbl_zap=$wpdb2->prepare("TRUNCATE TABLE %s", 'vin_history');
$clear_tbl_zap_repl=str_replace("'","`",$clear_tbl_zap);
$results=$wpdb2->query($clear_tbl_zap_repl);
/////   echo '<H2><b>Очистка таблицы сервисных книжек</b></H2><br>';
if (empty($results))
{
/////   echo '<H2><b>Ошибка очистки таблицы книжек, завершение.</b></H2><br>';
//// если очистка не удалась, возврат
$failure=TRUE;
wp_die();
return $failure;
}

////загружаем данные
$table='vin_history';         // Имя таблицы для импорта
//$file_hist Имя CSV файла, откуда берется информация     // (путь от корня web-сервера)
$delim=';';          // Разделитель полей в CSV файле
$enclosed='"';      // Кавычки для содержимого полей
$escaped='\

10 Comments

  1. acsent

    необходима возможность обработки не только строки, но всей выборки целиком.

    + желательно ииметь возможность не выводить отбработанные строки, ибо их может быть много

    Reply
  2. Evg-Lylyk

    (1) Постараюсь учесть, есть проблемы: как организовать индикацию при обработки всего

    «не выводить отработанные строки» в принципе можно сделать отключение журнала

    Reply
  3. dhurricane

    Здорово. Спасибо большое за Ваш труд.

    Есть небольшие замечания, пожелания и вопросы.

    1. Хотелось бы все таки управлять транзакцией, т.е. самому решать, нужна она или нет. Плюс вполне вероятна необходимость выполнять в единой транзакции обработку всех строк. Догадываюсь, какие здесь могут возникнуть проблемы, но возможно Вам удастся найти компромиссное решение.

    2. Можно ли расширять примеры обработки строк? Они как-то привязаны к типу колонки? Предположение основывается на том, что в видео ветка примеров подчинена только ссылке.

    3. Слишком много информации о времени в окне индикатора прогресса. 🙂 Кажется, что лучше бы дополнительно отображать информацию о количестве успешно и не успешно обработанных строках.

    4. Возможно удобно было бы иметь настройку, благодаря которой процесс обработки будет прерван при первой же ошибке.

    Reply
  4. Evg-Lylyk

    (3)

    1. Проблем нет

    2. Примеры привязаны к типу все примеры для ссылочных типов. Есть предложения?

    3. Да согласен разумно отразить количество ошибок

    4. Надо подумать

    Спасибо за обратную связь, постараюсь учесть

    Reply
  5. dhurricane

    (4) 2. Ничего путного предложить не могу. Если только:

    а. выделить примеры в ветке, например той же пиктограммой f(x);

    б. добавить команду сохранения алгоритма как шаблон, который в последствии отобразится в примерах.

    И пожалуй действительно, примеры нужны только для ссылочных типов. Для прочих ветка примеров будет будет только загромождать интерфейс. Разве что отдать это на откуп пользователю консоли при реализации пункта (б).

    Reply
  6. Evg-Lylyk

    (3) в версии 3.3 реализованы ваши пожелания по Обработке результата

    Reply
  7. 6y6ka_gop

    Подскажите, есть возможность выполнения кода вне цикла, до/после обработки результата?

    Reply
  8. Evg-Lylyk

    (8) Нет, первоначально было, потом убрал для упрощения

    Reply
  9. 6y6ka_gop

    (9) Жаль, такая опция была бы кстати. Иногда есть необходимость что то сделать после выполнения цикла, или обработать саму таблицу значений результата запроса.

    Reply
  10. Evg-Lylyk

    (10) Постараюсь учесть в будущем

    Reply

Leave a Comment

Ваш адрес email не будет опубликован. Обязательные поля помечены *