Программа для удаления старых архивов




Принцип обмена данными из 1С с сайтом (на MySQL) и выдачи (публикации) этих данных по запросу.
PHP-Скрипт автоматической загрузки данных из файла данных в формате CSV в базу данных сайта работающего на WordPress.

В продолжение моей темы: 1С:Альфа-Авто Автосалон Автосервис: обмен с сайтом.
С помощью данного скрипта можно загружать в автоматическом режиме, по расписанию, данные сервисных книжек (ремонтов авто) из 1С:Альфа-Авто Автосалон Автосервис.
Также можно загружать данные в ручном режиме: для этого делается скрытая страница, где размещается специальная кнопка.
Комментарии размещенные внутри скрипта разъяснят логику и порядок действия.
Комментарии с "/////    echo" использовались для отладки.
Дополнительно создана таблица для журналирования результатов загрузки данных.
Скрипт включает в себя защиту от SQL инъекций (думаю безопасность соблюдена в полной мере).
В кратце:
1. Пишется скрипт, который запускает этот.
2. Создается регламентное задание в WordPress, по которому запускается скрипт из п.1. 
3. Этот скрипт осуществляет проверку на существование файла обмена в папке.
4. Если данные не новые, загрузка не производится.
5. Если данные новые, очищается таблица сервисных книжек.
6. Загружаются новые данные.

Собственно сам скрипт:

<?php // Полная загрузка сервисных книжек, создан 2024-01-05 12:44:55

global $wpdb2;
global $failure;
global $file_hist;

/////  echo '<H2><b>Старт загрузки</b></H2><br>';

$failure=FALSE;
//подключаемся к базе
$wpdb2 = include_once 'connection.php'; ; // подключаемся к MySQL
// если не удалось подключиться, и нужно оборвать PHP с сообщением об этой ошибке
if (!empty($wpdb2->error))
{
/////   echo '<H2><b>Ошибка подключения к БД, завершение.</b></H2><br>';
$failure=TRUE;
wp_die( $wpdb2->error );
}

$m_size_file=0;
$m_mtime_file=0;
$m_comment='';
/////проверка существования файлов выгрузки из 1С
////файл выгрузки сервисных книжек
$file_hist = ABSPATH.'/_1c_alfa_exchange/AA_hist.csv';
if (!file_exists($file_hist))
{
/////   echo '<H2><b>Файл обмена с сервисными книжками не существует.</b></H2><br>';
$m_comment='Файл обмена с сервисными книжками не существует';
$failure=TRUE;
}

/////инициируем таблицу лога
/////если не существует файла то возврат и ничего не делаем
if ($failure){
///включает защиту от SQL инъекций и данные можно передавать как есть, например: $_GET['foo']
/////   echo '<H2><b>Попытка вставить запись в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>$m_comment));
wp_die();
/////    echo '<H2><b>Возврат в начало.</b></H2><br>';
return $failure;
}
/////проверка лога загрузки, что бы не загружать тоже самое
$masiv_data_file=stat($file_hist);   ////передаем в массив свойство файла
$m_size_file=$masiv_data_file[7];    ////получаем размер файла
$m_mtime_file=$masiv_data_file[9];   ////получаем дату модификации файла
////создаем запрос на получение последней удачной загрузки
////выбираем по штампу времени создания (редактирования) файла загрузки AA_hist.csv, $m_mtime_file

/////   echo '<H2><b>Размер файла: '.$m_size_file.'</b></H2><br>';
/////   echo '<H2><b>Штамп времени файла: '.$m_mtime_file.'</b></H2><br>';
/////   echo '<H2><b>Формирование запроса на выборку из лога</b></H2><br>';
////препарируем запрос
$text_zaprosa=$wpdb2->prepare("SELECT * FROM `vin_logs` WHERE `last_mtime_upload` = %s", $m_mtime_file);
$results=$wpdb2->get_results($text_zaprosa);

if ($results)
{   foreach ( $results as $r)
{
////если штамп времени и размер файла совпадают, возврат
if (($r->last_mtime_upload==$m_mtime_file) && ($r->last_size_upload==$m_size_file))
{////echo '<H2><b>Возврат в начало, т.к. найдена запись в логе.</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>'Загрузка отменена, новых данных нет, т.к. найдена запись в логе.'));
wp_die();
return $failure;
}
}
}
////если данные новые, пишем в лог запись о начале загрузки
/////echo '<H2><b>Попытка вставить запись о начале загрузки в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>0, 'last_size_upload'=>$m_size_file, 'comment'=>'Начало загрузки'));

////очищаем таблицу
$clear_tbl_zap=$wpdb2->prepare("TRUNCATE TABLE %s", 'vin_history');
$clear_tbl_zap_repl=str_replace("'","`",$clear_tbl_zap);
$results=$wpdb2->query($clear_tbl_zap_repl);
/////   echo '<H2><b>Очистка таблицы сервисных книжек</b></H2><br>';
if (empty($results))
{
/////   echo '<H2><b>Ошибка очистки таблицы книжек, завершение.</b></H2><br>';
//// если очистка не удалась, возврат
$failure=TRUE;
wp_die();
return $failure;
}

////загружаем данные
$table='vin_history';         // Имя таблицы для импорта
//$file_hist Имя CSV файла, откуда берется информация     // (путь от корня web-сервера)
$delim=';';          // Разделитель полей в CSV файле
$enclosed='"';      // Кавычки для содержимого полей
$escaped='\

11 Comments

  1. vcv

    Полдня жизни потрачены зря. Вот этот кусок скрипта у меня чистит журналы автообмена 1С.

    for /F «skip=100 tokens=*» %%i in (‘dir /o-D /B «%BASE%SYSLOGAutoExchange.*.mlg»‘) do (

    echo %DATE% %TIME% REMOVE old journal %%i |%LOG%

    @del /Q /F «%BASE%SYSLOG\%%i»

    )

    Переменные:

    BASE — путь к базе данных 1С

    LOG — имя log-файла

    skip=100 — задает сколько логов сохраняем.

    Reply
  2. lamp

    Прошу прощения, забыл один момент в поставленном задании (добавил его сейчас в описание). Кроме N самых свежих архивов нужно сохранять 10 самых свежих архивов за 1 число месяца.

    Сможете это реализовать скриптом?

    Reply
  3. GSoft

    (2) в принципе эту задачу тоже можно решить скриптами

    (1) все когда то начинают с нуля, я на днях выложил свою первую базу (Год 2002: моя первая база ) на 1С, сейчас бы я за то время которое потратил на нее — сделал бы гораздо более функционально.

    Reply
  4. Altair777

    Что-то я не понял. А где программа?

    Reply
  5. lamp

    Прошу прощения, разместил.

    Reply
  6. Altair777

    (5) Отменил минус

    Reply
  7. vcv
    (2) Прошу прощения, забыл один момент в поставленном задании (добавил его сейчас в описание). Кроме N самых свежих архивов нужно сохранять 10 самых свежих архивов за 1 число месяца.

    Сможете это реализовать скриптом?

    Совершенно не проблема. Единственное, из того, что желательно в вашей задаче, что не удается без внешних утилит реализовать на штатном batch — это независимость от формата даты (это касательно проверки на первое число). Все остальное, что вы хотите, легко и непринужденно умещается в десяток строк скрипта. А формат даты просто ставим нужный DD/MM/YYYY.

    Reply
  8. lamp
    …не удается без внешних утилит реализовать на штатном batch — это независимость от формата даты (это касательно проверки на первое число)

    Да, именно так. Потому что программа обрабатывает разные списки архивов, где формат имени разный (где ДД.ММ.ГГГГ, где ГГГГММДД, где ГГГГ-ММ-ДД) и изменить формат имен архивов невозможно.

    К тому же на Pascal я программирую с 88 года, а вот скриптовый Win язык знаю пока что слабо.

    Reply
  9. vcv

    (8) Не зачем обрабатывать имя, когда есть дата создания файла. Или изменения.

    К тому же на Pascal я программирую с 88 года

    Реализовывать на известном языке, это, конечно, огромный плюс, но есть достаточно специфичные задачи, которые во много раз проще решаются на каком-нибудь специализированном языке. Если, например, стоит задача анализа текстовых логов, решение с помощью perl/php/sed/awk… будет гораздо компактней, проще, легче в поддержке…

    а вот скриптовый Win язык знаю пока что слабо.

    Опоздал ты изучать batch. Для администрирования винды учить надо VisualBasic или Java для писания скриптов для WindowsScript. Или готовиться к будущему изучая PowerShell.

    Reply
  10. vcv

    (8) Скриптовый язык операционки хорош тем, что позволяет использовать различные утилиты. Как штатные, так и сторонние. Что бы не писать много и не изобретать велосипед.

    Вот, набросал на скорую руку, как бы я решил твою задачу встроенными средствами плюс набор консольных утилит, портированных их юниксов.

    @echo off
    REM *** Делаем список бэкапов отсортированный по дате изменения (/TW)
    REM *** по маске *.zip
    set FLIST=»%~dpn0.lst»
    dir /A-D-S /TW /OD *.zip | findstr /R /C:»#k8SjZc9Dxk../../…. » >%FLIST%
    
    REM *** Делаем список неудаляемых бэкапов из 5 самых свежих (-n5)
    REM *** и по 2 шт самых последних в каждое 1-е число месяца (-n2)
    set NoDEL=»%~dpn0.excl»
    tail -n5 %FLIST% >%NoDEL%
    for /F «tokens=*» %%i in (‘cut -b4-10 %FLIST% #k8SjZc9Dxk| sort #k8SjZc9Dxk| uniq’) do (
    findstr /B /C:»11/%%i» %FLIST% | tail -n2 >>%NoDEL%
    )
    
    REM *** Делаем список файлов к удалению
    set DEL=»%~dpn0.del»
    del %DEL% 2>nul
    for /F «tokens=*» %%i in (‘type %FLIST%’) do (
    findstr /B /C:»%%i» %NoDEL% >nul || echo %%i>>%DEL%
    )
    
    REM *** Удаляем все лишнее
    for /F «tokens=*» %%i in (‘cut -b37- %DEL%’) do (
    echo DEL /Q %%i
    )
    del %FLIST%
    del %NoDEL%
    del %DEL%
    

    Показать

    Reply
  11. vcv

    +(10) Чуть не забыл, скрипт расчитан на формат даты, выдаваемой командой DIR в виде DD/MM/YYYY.

    В строке

    findstr /B /C:»11/%%i» %FLIST% | tail -n2 >>%NoDEL%

    нужно 11 заменить на 01. Это у меня больше тестовых файлов на 11

    Reply

Leave a Comment

Ваш адрес email не будет опубликован. Обязательные поля помечены *