SQL2005. Выгружаем базу средствами 1С не выгоняя пользователей.




Принцип обмена данными из 1С с сайтом (на MySQL) и выдачи (публикации) этих данных по запросу.
PHP-Скрипт автоматической загрузки данных из файла данных в формате CSV в базу данных сайта работающего на WordPress.

В продолжение моей темы: 1С:Альфа-Авто Автосалон Автосервис: обмен с сайтом.
С помощью данного скрипта можно загружать в автоматическом режиме, по расписанию, данные сервисных книжек (ремонтов авто) из 1С:Альфа-Авто Автосалон Автосервис.
Также можно загружать данные в ручном режиме: для этого делается скрытая страница, где размещается специальная кнопка.
Комментарии размещенные внутри скрипта разъяснят логику и порядок действия.
Комментарии с "/////    echo" использовались для отладки.
Дополнительно создана таблица для журналирования результатов загрузки данных.
Скрипт включает в себя защиту от SQL инъекций (думаю безопасность соблюдена в полной мере).
В кратце:
1. Пишется скрипт, который запускает этот.
2. Создается регламентное задание в WordPress, по которому запускается скрипт из п.1. 
3. Этот скрипт осуществляет проверку на существование файла обмена в папке.
4. Если данные не новые, загрузка не производится.
5. Если данные новые, очищается таблица сервисных книжек.
6. Загружаются новые данные.

Собственно сам скрипт:

<?php // Полная загрузка сервисных книжек, создан 2024-01-05 12:44:55

global $wpdb2;
global $failure;
global $file_hist;

/////  echo '<H2><b>Старт загрузки</b></H2><br>';

$failure=FALSE;
//подключаемся к базе
$wpdb2 = include_once 'connection.php'; ; // подключаемся к MySQL
// если не удалось подключиться, и нужно оборвать PHP с сообщением об этой ошибке
if (!empty($wpdb2->error))
{
/////   echo '<H2><b>Ошибка подключения к БД, завершение.</b></H2><br>';
$failure=TRUE;
wp_die( $wpdb2->error );
}

$m_size_file=0;
$m_mtime_file=0;
$m_comment='';
/////проверка существования файлов выгрузки из 1С
////файл выгрузки сервисных книжек
$file_hist = ABSPATH.'/_1c_alfa_exchange/AA_hist.csv';
if (!file_exists($file_hist))
{
/////   echo '<H2><b>Файл обмена с сервисными книжками не существует.</b></H2><br>';
$m_comment='Файл обмена с сервисными книжками не существует';
$failure=TRUE;
}

/////инициируем таблицу лога
/////если не существует файла то возврат и ничего не делаем
if ($failure){
///включает защиту от SQL инъекций и данные можно передавать как есть, например: $_GET['foo']
/////   echo '<H2><b>Попытка вставить запись в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>$m_comment));
wp_die();
/////    echo '<H2><b>Возврат в начало.</b></H2><br>';
return $failure;
}
/////проверка лога загрузки, что бы не загружать тоже самое
$masiv_data_file=stat($file_hist);   ////передаем в массив свойство файла
$m_size_file=$masiv_data_file[7];    ////получаем размер файла
$m_mtime_file=$masiv_data_file[9];   ////получаем дату модификации файла
////создаем запрос на получение последней удачной загрузки
////выбираем по штампу времени создания (редактирования) файла загрузки AA_hist.csv, $m_mtime_file

/////   echo '<H2><b>Размер файла: '.$m_size_file.'</b></H2><br>';
/////   echo '<H2><b>Штамп времени файла: '.$m_mtime_file.'</b></H2><br>';
/////   echo '<H2><b>Формирование запроса на выборку из лога</b></H2><br>';
////препарируем запрос
$text_zaprosa=$wpdb2->prepare("SELECT * FROM `vin_logs` WHERE `last_mtime_upload` = %s", $m_mtime_file);
$results=$wpdb2->get_results($text_zaprosa);

if ($results)
{   foreach ( $results as $r)
{
////если штамп времени и размер файла совпадают, возврат
if (($r->last_mtime_upload==$m_mtime_file) && ($r->last_size_upload==$m_size_file))
{////echo '<H2><b>Возврат в начало, т.к. найдена запись в логе.</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>'Загрузка отменена, новых данных нет, т.к. найдена запись в логе.'));
wp_die();
return $failure;
}
}
}
////если данные новые, пишем в лог запись о начале загрузки
/////echo '<H2><b>Попытка вставить запись о начале загрузки в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>0, 'last_size_upload'=>$m_size_file, 'comment'=>'Начало загрузки'));

////очищаем таблицу
$clear_tbl_zap=$wpdb2->prepare("TRUNCATE TABLE %s", 'vin_history');
$clear_tbl_zap_repl=str_replace("'","`",$clear_tbl_zap);
$results=$wpdb2->query($clear_tbl_zap_repl);
/////   echo '<H2><b>Очистка таблицы сервисных книжек</b></H2><br>';
if (empty($results))
{
/////   echo '<H2><b>Ошибка очистки таблицы книжек, завершение.</b></H2><br>';
//// если очистка не удалась, возврат
$failure=TRUE;
wp_die();
return $failure;
}

////загружаем данные
$table='vin_history';         // Имя таблицы для импорта
//$file_hist Имя CSV файла, откуда берется информация     // (путь от корня web-сервера)
$delim=';';          // Разделитель полей в CSV файле
$enclosed='"';      // Кавычки для содержимого полей
$escaped='\

25 Comments

  1. IamAlexy

    добавление статей — тихий ужас..

    два слова «drop» и «database» или «create» и «database» тупо удаляют весь набранный текст при попытке сохранить статью..

    вообще клева.. ввел, отредактировал, оформил, сохранил — статья стерлась 🙂

    ппц..

    Reply
  2. PowerBoy

    (0) Спасибо за статью. Несколько вопросов?

    1. Разница по времени архивирования моментального снимка и обычного бакапа?

    2. Разница по размеру файла моментального снимка и обычного бакапа?

    Reply
  3. coder1cv8

    (0) мАлАдец! )

    ЗЫ: Больше терпения в борьбе с сырым интерфейсом ИС!

    Reply
  4. IamAlexy

    (2) по времени?

    на трехгиговой базе я бы сказал примерно одно и то же. Но тут есть одно «НО»

    у полного бекапа размер 3 гига а у выгрузки 100 мегов..

    и синхронизация файлов полного бекапа с удаленным ФТП крайне накладна по трафику и времени…

    + хранение архивов в dt’шниках предпочтительнее по причине того что резко поднять копию на ноуте программиста или главбуха (любит она дома с копией поиграться) — дело 2х минут.. скопировал выгрузку за нужную дату/время и развернул базу…

    Reply
  5. sergey_garin

    Вы забыли добавить, что в Standard Edition механизм снапшотов не поддерживается

    Reply
  6. Трактор

    Решение очевидное, но всё-равно статья полезная. Плюс.

    А трудности со словами дроп и датабасе это защита от SQL инъекций 🙂 Глючная защита у Битрикса.

    Reply
  7. IamAlexy

    (5) по ссылке http://msdn.microsoft.com/ru-ru/library/ms175158(SQL.90).aspx написано русским по белому 🙂

    «Моментальные снимки баз данных доступны только в выпуске Microsoft SQL Server 2005 Enterprise Edition. Все модели восстановления поддерживают моментальные снимки базы данных.»

    Reply
  8. d.snissarenko

    О_о так тут все готово к sql инъекциям

    Reply
  9. d.snissarenko

    а я то думал чего за ерунда, когда пытался сохранить статью с кодом выгрузки в мускул )))

    Reply
  10. artbear

    Статья хорошая, плюсую.

    Но неужели так много организаций, которые могут позволить себе купить Microsoft SQL Server 2005 Enterprise Edition 🙂 ?

    Там цена где-то 30 000 долларов 🙂

    Reply
  11. IamAlexy

    (10) зато все могут себе позволить триальную версию SQL2005 на 180 дней.. а затем тупо переинсталить сервак 🙂

    в небольших организациях у которой нед денег на лицензию (а вы назали стоимость лицензии «на процессор» вродебы) вполне себе выход — раз в полгода потратить 1 выходной день приходящего админа на переустановку сервера…

    Reply
  12. boogie

    А я раром сжимаю после выгрузки бекап SQL и получаю практически такой же объём как dt.

    Reply
  13. IamAlexy

    (12) и зачем — только ради экономии места?

    так для того чтобы поднять базу вам придется задействовать SQL да еще перед этим разархивировать из файла…

    основное преимущество — получение стандартных выгрузок для загрузки которых в тестовую/архивную/программистскую базу лишних телодвижений делать не надо — просто выбрать выгрузку нужной даты/времени

    Reply
  14. Dimasik2007

    (0) support, картинки явно не отсюда?

    Reply
  15. IamAlexy

    после сбоя какие то левые картинки появились…

    у меня в статье вообще не было картинок

    Reply
  16. 1C_Wolf

    хорошая идея, :). Еще раз подтверждает то что нет ничего невозможного, есть только ограничение на использование серого вещества 🙂

    Reply
  17. vkl

    Стандартный backup + 7-zip работают гооораздо быстрей и размер получается не больше чем dt, и нет необходимости создавать снимок базы, а восстановление автор похоже не проверял. Сравните ради интереса сколько восстанавливается стандартный backup и dt-ешник. Впрочем, сохрани вас … от восстановления базы.

    PS: Извините, не заметил в статье «размер базы 3 Гига» 🙂

    Но тут уж точно без Microsoft SQL Server 2005 Enterprise Edition никак.

    Начиная гигов с 20-30 загрузка базы из DT длится часами.

    Reply
  18. IamAlexy

    (17) на небольших базах (до 3х гигов) стандартный бекап и 7зип работают не быстрее 🙂

    + архив больше по размерам.

    выгрузка меньше и быстрее на внешний фтп заливается.

    а вот когда база вырастет — тогда да.. будем думать чо делать 🙂

    Reply
  19. director04

    Кто подскажет в чем может быть дело. Подняли новый сервер (х64). Установил сервер 1С (х64). Настроил SQL на работу с моментальными снимками. По началу все работало идеально. Но на второй день, толи админы что-то переконфигурячили, толи еще в чем причина, но:

    при запуске в пользовательском режиме 1С (база данных — моментальный снимок), сервер 1С тут же зависает. Не помогает его остановка и перезапуск, ни убийство процесса приведшего к зависанию.

    Приходится тупо перезапускать весь сервер.

    Что мы могли намудрить?

    Reply
  20. Dimasik2007

    (19) Моментальный снимок — это база только для чтения. Поэтому ее можно открыть в конфигураторе и выгрузить, а в пользовательском режиме открыть нельзя.

    Reply
  21. rid636674

    можно поподробнее про 5 пункт, я скачал эфект сэйвер, но видимо чтото делаю нетак, ошибка вылетает.

    Reply
  22. IamAlexy

    (21) даже не знаю что сказать

    там же все примитивно: на первых четырех пунктах делается снимок базы к котормому можно 1Ской подключиться как к отдельной базе данных

    то есть на сервере предприятия добавляется база, а в качетсве базы на сервере баз данных указывается наш снимок «UPR_Snapshot_Sample» и соответственно далее в эффекторесейвере или в любом другом инструменте для выгрузки просто из вот этой «снимочной» базы делается выгрузка

    Reply
  23. murat_
    Внимание: Моментальные снимки баз данных доступны только в выпуске Microsoft SQL Server 2005 Enterprise Edition.

    Нужно было бы в начало статьи вставить, чтобы не тратить время на чтение !

    🙂 🙂 🙂

    Reply
  24. ilya_i

    Для 2008 R2 такая же фигня, только для Enterprise Edition, ну и Datacenter Edition конечно тоже. Обидно, ведь удобная штука.

    Reply
  25. AlexO

    (0)

    настраиваем привычное нам средство архивирования баз данных на работу с информационной базой в кластере «UPR_Snapshot_Sample».

    Так и надо было писать — «настраиваем автоматическую архивацию в DT средствами «Эффектор:Сейвер»».

    А то «привычное нам средство..». У каждого — свое «привычное средство» 🙂

    Reply

Leave a Comment

Ваш адрес email не будет опубликован. Обязательные поля помечены *