<?php // Полная загрузка сервисных книжек, создан 2024-01-05 12:44:55
global $wpdb2;
global $failure;
global $file_hist;
///// echo '<H2><b>Старт загрузки</b></H2><br>';
$failure=FALSE;
//подключаемся к базе
$wpdb2 = include_once 'connection.php'; ; // подключаемся к MySQL
// если не удалось подключиться, и нужно оборвать PHP с сообщением об этой ошибке
if (!empty($wpdb2->error))
{
///// echo '<H2><b>Ошибка подключения к БД, завершение.</b></H2><br>';
$failure=TRUE;
wp_die( $wpdb2->error );
}
$m_size_file=0;
$m_mtime_file=0;
$m_comment='';
/////проверка существования файлов выгрузки из 1С
////файл выгрузки сервисных книжек
$file_hist = ABSPATH.'/_1c_alfa_exchange/AA_hist.csv';
if (!file_exists($file_hist))
{
///// echo '<H2><b>Файл обмена с сервисными книжками не существует.</b></H2><br>';
$m_comment='Файл обмена с сервисными книжками не существует';
$failure=TRUE;
}
/////инициируем таблицу лога
/////если не существует файла то возврат и ничего не делаем
if ($failure){
///включает защиту от SQL инъекций и данные можно передавать как есть, например: $_GET['foo']
///// echo '<H2><b>Попытка вставить запись в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>$m_comment));
wp_die();
///// echo '<H2><b>Возврат в начало.</b></H2><br>';
return $failure;
}
/////проверка лога загрузки, что бы не загружать тоже самое
$masiv_data_file=stat($file_hist); ////передаем в массив свойство файла
$m_size_file=$masiv_data_file[7]; ////получаем размер файла
$m_mtime_file=$masiv_data_file[9]; ////получаем дату модификации файла
////создаем запрос на получение последней удачной загрузки
////выбираем по штампу времени создания (редактирования) файла загрузки AA_hist.csv, $m_mtime_file
///// echo '<H2><b>Размер файла: '.$m_size_file.'</b></H2><br>';
///// echo '<H2><b>Штамп времени файла: '.$m_mtime_file.'</b></H2><br>';
///// echo '<H2><b>Формирование запроса на выборку из лога</b></H2><br>';
////препарируем запрос
$text_zaprosa=$wpdb2->prepare("SELECT * FROM `vin_logs` WHERE `last_mtime_upload` = %s", $m_mtime_file);
$results=$wpdb2->get_results($text_zaprosa);
if ($results)
{ foreach ( $results as $r)
{
////если штамп времени и размер файла совпадают, возврат
if (($r->last_mtime_upload==$m_mtime_file) && ($r->last_size_upload==$m_size_file))
{////echo '<H2><b>Возврат в начало, т.к. найдена запись в логе.</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>'Загрузка отменена, новых данных нет, т.к. найдена запись в логе.'));
wp_die();
return $failure;
}
}
}
////если данные новые, пишем в лог запись о начале загрузки
/////echo '<H2><b>Попытка вставить запись о начале загрузки в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>0, 'last_size_upload'=>$m_size_file, 'comment'=>'Начало загрузки'));
////очищаем таблицу
$clear_tbl_zap=$wpdb2->prepare("TRUNCATE TABLE %s", 'vin_history');
$clear_tbl_zap_repl=str_replace("'","`",$clear_tbl_zap);
$results=$wpdb2->query($clear_tbl_zap_repl);
///// echo '<H2><b>Очистка таблицы сервисных книжек</b></H2><br>';
if (empty($results))
{
///// echo '<H2><b>Ошибка очистки таблицы книжек, завершение.</b></H2><br>';
//// если очистка не удалась, возврат
$failure=TRUE;
wp_die();
return $failure;
}
////загружаем данные
$table='vin_history'; // Имя таблицы для импорта
//$file_hist Имя CSV файла, откуда берется информация // (путь от корня web-сервера)
$delim=';'; // Разделитель полей в CSV файле
$enclosed='"'; // Кавычки для содержимого полей
$escaped='\
Пожалуйста, когда нажимаете кнопку «Опубликовать», смотрите, что получается.
Експресс, Посление — ну смех же.
Какое доверие может быть к автору, который банально не смотрит что у него получилось?
Можно предположить, что и внутри сделано на, мягко говоря, невысоком уровне.
Спасибо.
Модераторы тоже пропустили «Експресс» и «Посление» ))
Вопрос автору: чем один вариант отличается от другого? Если назначение варианта = «Последние», да еще с указанием даты можно понять интуитивно, то наименование «Экспресс» и «Глубокий», ставят в тупик.
(3) gull22,
При глубоком варианте, обрабатывается весь регистр без каких либо отборов. Это очень долгий процесс.
Вариант «Экспресс», делает выборку только тех объектов у которых в регистре есть версии идущие подряд, т.е. есть версии с номерами 1,2,3,4,5,6,7,8,9. Если в регистре есть версии с номерами 1,2,5,6,8,10, то записи по такому объекту не попадут в чистку.
Основная проблема с данным регистром заключается в том что он спроектирован на быструю запись, но не на быстрые выборки данных (не хватает индексов).
Как следствие, сделать другие варианты отбора объектов в запросе представляется довольно таки сложно. Точнее сделать их можно, но они будут очень медленно работать. Запрос на выборку из регистра версий за определенный период (при количестве записей больше 100 000) фактически вешает SQL server (идет процессорная нагрузка). Измерение «Номер версии» специально не индексируется, но поскольку является измерением то группировки по нему отрабатывают относительно быстро. Поэтому и был добавлен вариант «Экспресс».
Вариант «Последние» можно использовать как заготовку для регламентного задания. Как ни странно, но сравнение на больше меньше, не так сильно загружает SQL server, как сравнение МЕЖДУ.
Спасибо за полный и содержательный ответ
Скажите пожалуйста с чем связано обновление обработки? Скачал в прошлом году , пользуюсь.
(6) gull22, Добавлено удаление записей с битыми ссылками в измерении Объект. Правда оно медленно работает, но тут вроде ускорить не получается. Если есть предложения учту.
Рекомендация по использованию опции «Удалять записи с «битыми» ссылками».
Если планируете запускать обработку в рабочее время при интенсивно работающих пользователях, рекомендую в запросе выборки «плохих» записей уменьшить количество выбираемых записей с 500 до 10. Если выполнять чистку во вне рабочее время, запрос можно не менять.
Причина.
Не могу утверждать точно, но похоже, что если SQL server не успевает выполнить запрос в определенное время и в таблице появляются новые записи, то запрос выполняется снова.
Количество записей в регистре «Версии объекта» обычно велико, а используемый запрос для выборки «битых» ссылок, ресурсоемкий. На нескольких миллионах записей, для выборки 500 записей с «битыми» ссылками уходит продолжительное время и иногда это мешает работе пользователей. Экспериментально у себя подобрал приемлемую величину в 10 записей. Но обращаю внимание, что эта величина зависит от интенсивности нагрузки на базу, и объема записей в регистре.
Для УФ подойдет?
(9) pavelyar, только с изменением формы на управляемую и переносом функциональной части на сервер.
Но это не сложно.