Хранение файлов в томах на диске (для УПП 1.3)




Принцип обмена данными из 1С с сайтом (на MySQL) и выдачи (публикации) этих данных по запросу.
PHP-Скрипт автоматической загрузки данных из файла данных в формате CSV в базу данных сайта работающего на WordPress.

В продолжение моей темы: 1С:Альфа-Авто Автосалон Автосервис: обмен с сайтом.
С помощью данного скрипта можно загружать в автоматическом режиме, по расписанию, данные сервисных книжек (ремонтов авто) из 1С:Альфа-Авто Автосалон Автосервис.
Также можно загружать данные в ручном режиме: для этого делается скрытая страница, где размещается специальная кнопка.
Комментарии размещенные внутри скрипта разъяснят логику и порядок действия.
Комментарии с "/////    echo" использовались для отладки.
Дополнительно создана таблица для журналирования результатов загрузки данных.
Скрипт включает в себя защиту от SQL инъекций (думаю безопасность соблюдена в полной мере).
В кратце:
1. Пишется скрипт, который запускает этот.
2. Создается регламентное задание в WordPress, по которому запускается скрипт из п.1. 
3. Этот скрипт осуществляет проверку на существование файла обмена в папке.
4. Если данные не новые, загрузка не производится.
5. Если данные новые, очищается таблица сервисных книжек.
6. Загружаются новые данные.

Собственно сам скрипт:

<?php // Полная загрузка сервисных книжек, создан 2024-01-05 12:44:55

global $wpdb2;
global $failure;
global $file_hist;

/////  echo '<H2><b>Старт загрузки</b></H2><br>';

$failure=FALSE;
//подключаемся к базе
$wpdb2 = include_once 'connection.php'; ; // подключаемся к MySQL
// если не удалось подключиться, и нужно оборвать PHP с сообщением об этой ошибке
if (!empty($wpdb2->error))
{
/////   echo '<H2><b>Ошибка подключения к БД, завершение.</b></H2><br>';
$failure=TRUE;
wp_die( $wpdb2->error );
}

$m_size_file=0;
$m_mtime_file=0;
$m_comment='';
/////проверка существования файлов выгрузки из 1С
////файл выгрузки сервисных книжек
$file_hist = ABSPATH.'/_1c_alfa_exchange/AA_hist.csv';
if (!file_exists($file_hist))
{
/////   echo '<H2><b>Файл обмена с сервисными книжками не существует.</b></H2><br>';
$m_comment='Файл обмена с сервисными книжками не существует';
$failure=TRUE;
}

/////инициируем таблицу лога
/////если не существует файла то возврат и ничего не делаем
if ($failure){
///включает защиту от SQL инъекций и данные можно передавать как есть, например: $_GET['foo']
/////   echo '<H2><b>Попытка вставить запись в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>$m_comment));
wp_die();
/////    echo '<H2><b>Возврат в начало.</b></H2><br>';
return $failure;
}
/////проверка лога загрузки, что бы не загружать тоже самое
$masiv_data_file=stat($file_hist);   ////передаем в массив свойство файла
$m_size_file=$masiv_data_file[7];    ////получаем размер файла
$m_mtime_file=$masiv_data_file[9];   ////получаем дату модификации файла
////создаем запрос на получение последней удачной загрузки
////выбираем по штампу времени создания (редактирования) файла загрузки AA_hist.csv, $m_mtime_file

/////   echo '<H2><b>Размер файла: '.$m_size_file.'</b></H2><br>';
/////   echo '<H2><b>Штамп времени файла: '.$m_mtime_file.'</b></H2><br>';
/////   echo '<H2><b>Формирование запроса на выборку из лога</b></H2><br>';
////препарируем запрос
$text_zaprosa=$wpdb2->prepare("SELECT * FROM `vin_logs` WHERE `last_mtime_upload` = %s", $m_mtime_file);
$results=$wpdb2->get_results($text_zaprosa);

if ($results)
{   foreach ( $results as $r)
{
////если штамп времени и размер файла совпадают, возврат
if (($r->last_mtime_upload==$m_mtime_file) && ($r->last_size_upload==$m_size_file))
{////echo '<H2><b>Возврат в начало, т.к. найдена запись в логе.</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>'Загрузка отменена, новых данных нет, т.к. найдена запись в логе.'));
wp_die();
return $failure;
}
}
}
////если данные новые, пишем в лог запись о начале загрузки
/////echo '<H2><b>Попытка вставить запись о начале загрузки в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>0, 'last_size_upload'=>$m_size_file, 'comment'=>'Начало загрузки'));

////очищаем таблицу
$clear_tbl_zap=$wpdb2->prepare("TRUNCATE TABLE %s", 'vin_history');
$clear_tbl_zap_repl=str_replace("'","`",$clear_tbl_zap);
$results=$wpdb2->query($clear_tbl_zap_repl);
/////   echo '<H2><b>Очистка таблицы сервисных книжек</b></H2><br>';
if (empty($results))
{
/////   echo '<H2><b>Ошибка очистки таблицы книжек, завершение.</b></H2><br>';
//// если очистка не удалась, возврат
$failure=TRUE;
wp_die();
return $failure;
}

////загружаем данные
$table='vin_history';         // Имя таблицы для импорта
//$file_hist Имя CSV файла, откуда берется информация     // (путь от корня web-сервера)
$delim=';';          // Разделитель полей в CSV файле
$enclosed='"';      // Кавычки для содержимого полей
$escaped='\

27 Comments

  1. cool.vlad4

    а в вашей версии УПП есть модули ПрисоединенныеФайлы, ПрисоединенныеФайлыКлиент?(скорее всего есть) Имхо через него все проще можно было сделать. там уже готовые функции все есть.(т.е. через БСП это сделать)

    Reply
  2. wowik

    (1) cool.vlad4, сделайте, опубликуйте свой вариант, чё пальцы гнуть)

    Reply
  3. cool.vlad4

    (2) а я где-то пальцы гнул?

    Reply
  4. Ivon

    Механизм интересен, но хранение в файловых шарах имеет свои минусы, порой очень существенные. Я бы делал хранение в отдельной БД — и бекапить проще и безопасность данных выше.

    Reply
  5. thelans

    На сколько я знаю в MS SQL есть возможность хранить файлы, сохранённые в поле BLOB, на диске. В 1С дорабатывать при этом ничего не надо, а выставить соответствующие настройки СУБД.

    Reply
  6. Xershi

    (5) thelans, что то новенькое. Где про это почитать подробнее?

    Reply
  7. webester

    (5)(6)Угу очень интересно, как это работает.

    Reply
  8. kosmo0

    В подобных случаях у меня зачастую возникает вопрос — неужели люди не создают тестовые базы для всяких безобразий? (причем чтобы и пользователи могли изменения и/или новинки потестить).

    К чему весь разговор. Тестовые базы зачастую это загруженная сохраненка рабочей БД. И в этом случае тестовая база может легко и непринужденно что-нибудь сотворить с сохраненными файлами рабочей БД. Так что не помешало бы сделать маленький механизм контроля какой БД с файлами можно работать, а какой — нет (либо только смотреть, но не менять).

    Reply
  9. SuhoffGV

    (5) thelans, Только выгрузка в DT и бэкап средствами СУБД быстрее от этого не станут. А если хранить файлы в ФС то выгрузка в dt будет намного быстрее.

    Reply
  10. SuhoffGV

    (8) kosmo0, Создают. У меня в базе есть константа «СтрокаСоединенияСРабочейБазой». И процедура общего модуля «ЭтоРабочаяБаза()» которая проверяет совпадает ли строка соединения текущей базы с значением константы. Если совпадает, то база считается рабочей и критичный функционал работает нормально.

    Но к сожалению хранение файлов во внешних каталогах пока не написали, но уже назрело. Бэкап средствами СУБД идет 80 минут. Только из-за файлов в базе.

    Reply
  11. Xershi

    (10) SuhoffGV, а каков их объем? У нас 40 гигов на ссд за 130 сек бекапит.

    Reply
  12. vshish

    Все хорошо и вроде бы правильно, но. Как писал в [1] да есть Присоединенные файлы, и есть еще некоторые подводные камни.

    Я о них знаю потому, что сам делал такую доработку. Вот она http://infostart.ru/public/411416/

    и вообще этот метод работает и на КА 1.1 и на УТ 10.3 и на УПП 1.3 правда с релиза как появился механизм электронного обмена документами.

    Reply
  13. CSiER

    (6) Xershi, рискну предположить, что речь идет про filestream — но структурой бд «рулит» 1С (как в этом случае быть при реструктуризациях, триггерах и прочих мелочах с данными — тоже интересно).

    Reply
  14. cool.vlad4

    (6) Xershi, c 2008 sql server filestream как верно выше заметили и с 2012 filetables появились, котороые позволяют делать таблицы, связывать их с папкой, где можно будет работь уже с файлами привычными операциями. технология крутая, но как ее связать с 1С (какой профит от этого получить) , я не знаю. в принципе хранения в томах из БСП имхо достаточно для 1С, может ошибаюсь, поправьте.

    Reply
  15. SuhoffGV

    (11) Xershi, 40Гб только дамп сжатый а gzip занимает. База в postgresql на 300Gb SAS дисках. Размер самой базы по данным pg_admin — 65Gb. Из них чуть более 32,2Гб в виде файлов в базе.

    Reply
  16. qapex

    добрый день, сервер 1с на linux, с правами на linux настроили, файлы записывает на шару, а при открытии выдает ошибку. По коду получилось, что ПолучитьФайлы() возвращает пустой массив и дальше код не отрабатывает. Получается, что ПолучитьФайлы() работает от клиента (и пути, и права), а запись файлов через сервер (и пути, и права под которыми сервер 1с запущен). А путь предполагается использовать один и тот же?

    Reply
  17. wowik

    (16) qapex, ПолучитьФайлы() — что за процедура?

    Reply
  18. qapex

    извините, НайтиФайлы()

    Reply
  19. wowik

    (18) qapex, ну вообще должно работать, если папка открыта для сети и обращаетесь через «\». Не знаю в чем дело.

    Reply
  20. Himikuda

    Всё работает класс) Огромное спасибо! хоть база пухнуть не будет. Только есть нюанс, имена файлов не корректно отображаются (набор символов) зато читаются., может кто то подскажет как это возможно поправить?

    Reply
  21. vovan_matveev

    Спасибо, wowik!

    Статья очень помогла.

    Я ограничился только тем что храню только присоединенные файлы (которые добавляются и отображаются через формы справочника Хранилище дополнительной информации)

    таким образом я ограничился только первой частью статьи (доработка справочника Хранилище дополнительной информации и общий модуль), последней чстью (сохранение и открытие внешних файлов).

    А вместо объемной средней части (где подмена функций во всех ссылках на «Хранилище.Получить()» я ограничился изменением одной функции модуля формы в справочнике Хранилище дополнительной информации.

    В моем случае в базе уже были картинки хранящиеся внутри базы. поэтому мне было важно отображать и старый файлы и новые файлы из тома.

    // Процедура показывает картинку текущей строки таблицы Изображения
    //
    // Параметры:
    //  Элемент — элемент формы, Изображения
    //
    // Возвращаемое значение:
    //  Нет.
    //
    Процедура ПоказатьКартинкуТекущейСтроки(Элемент)
    
    Если Элемент.ТекущиеДанные = Неопределено Тогда
    ЭлементыФормы.ПолеИзображения.Картинка = Новый Картинка();
    Возврат;
    КонецЕсли;
    
    //Проверка на новую строку, если новая то не обновляем изображение.
    Если НЕ Элемент.ТекущаяСтрока.Пустая() Тогда
    //Изменения на основе wowik
    ТекущаяКартинка = Элемент.ТекущиеДанные.Ссылка.Хранилище.Получить();
    Если  ТекущаяКартинка = Неопределено Тогда
    ТекущаяКартинка = ОбщийМодульРМ.ПолучитьДвоичныеДанныеФайлаВХранилище(Элемент.ТекущиеДанные.Ссылка);
    КонецЕсли;
    //—Изменения на основе wowik
    ЭлементыФормы.ПолеИзображения.Картинка = ?(ТекущаяКартинка <> Неопределено, ТекущаяКартинка, Новый Картинка());
    КонецЕсли;
    
    ОбновитьКнопкиОсновногоИзображения(ЭлементыФормы.Изображения.ТекущаяСтрока);
    
    КонецПроцедуры
    

    Показать

    Reply
  22. alen-s

    (16)

    У Вас получилось решить эту проблему?

    Reply
  23. alen-s

    Разобралась))

    Reply
  24. n0ther

    Почему в справочник не добавлен реквизит Том с типом ТомаХраненияФайлов? Так же быстрее и проще, чем перебирать все тома.

    Reply
  25. wowik

    (24)

    ее и проще, чем перебирать все тома.

    это уже бантики)

    Reply
  26. albertik88

    Добрый день, у меня упп версии 1.3.5.1 — она полностью доработана и абсолютно не обновляется…у меня вообще отсутствует вкладка электронные документы в настройках программы…а сейчас возникла необходимость хранение файлов вне базы…если есть возможность скинь мне базу cf, или выложи в облако…буду очень признателен и благодарен! zakievar@mail.ru

    Reply
  27. pss1985

    я у себя такое как-то реализовывал, но еще добавил права на открытие файла. Создал таб часть «Пользователи» с реквизитами Пользователь и право записи, право чтения. Если в ней есть пользователь, то дается право на осуществление действий с этим файлом. Бывают случаи, когда надо некоторым пользователям запретить открытие и изменение файла.

    Reply

Leave a Comment

Ваш адрес email не будет опубликован. Обязательные поля помечены *