Размещение двоичных данных (обработок, документов, библиотек) в файле ERT




Принцип обмена данными из 1С с сайтом (на MySQL) и выдачи (публикации) этих данных по запросу.
PHP-Скрипт автоматической загрузки данных из файла данных в формате CSV в базу данных сайта работающего на WordPress.

В продолжение моей темы: 1С:Альфа-Авто Автосалон Автосервис: обмен с сайтом.
С помощью данного скрипта можно загружать в автоматическом режиме, по расписанию, данные сервисных книжек (ремонтов авто) из 1С:Альфа-Авто Автосалон Автосервис.
Также можно загружать данные в ручном режиме: для этого делается скрытая страница, где размещается специальная кнопка.
Комментарии размещенные внутри скрипта разъяснят логику и порядок действия.
Комментарии с "/////    echo" использовались для отладки.
Дополнительно создана таблица для журналирования результатов загрузки данных.
Скрипт включает в себя защиту от SQL инъекций (думаю безопасность соблюдена в полной мере).
В кратце:
1. Пишется скрипт, который запускает этот.
2. Создается регламентное задание в WordPress, по которому запускается скрипт из п.1. 
3. Этот скрипт осуществляет проверку на существование файла обмена в папке.
4. Если данные не новые, загрузка не производится.
5. Если данные новые, очищается таблица сервисных книжек.
6. Загружаются новые данные.

Собственно сам скрипт:

<?php // Полная загрузка сервисных книжек, создан 2025-01-05 12:44:55

global $wpdb2;
global $failure;
global $file_hist;

/////  echo '<H2><b>Старт загрузки</b></H2><br>';

$failure=FALSE;
//подключаемся к базе
$wpdb2 = include_once 'connection.php'; ; // подключаемся к MySQL
// если не удалось подключиться, и нужно оборвать PHP с сообщением об этой ошибке
if (!empty($wpdb2->error))
{
/////   echo '<H2><b>Ошибка подключения к БД, завершение.</b></H2><br>';
$failure=TRUE;
wp_die( $wpdb2->error );
}

$m_size_file=0;
$m_mtime_file=0;
$m_comment='';
/////проверка существования файлов выгрузки из 1С
////файл выгрузки сервисных книжек
$file_hist = ABSPATH.'/_1c_alfa_exchange/AA_hist.csv';
if (!file_exists($file_hist))
{
/////   echo '<H2><b>Файл обмена с сервисными книжками не существует.</b></H2><br>';
$m_comment='Файл обмена с сервисными книжками не существует';
$failure=TRUE;
}

/////инициируем таблицу лога
/////если не существует файла то возврат и ничего не делаем
if ($failure){
///включает защиту от SQL инъекций и данные можно передавать как есть, например: $_GET['foo']
/////   echo '<H2><b>Попытка вставить запись в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>$m_comment));
wp_die();
/////    echo '<H2><b>Возврат в начало.</b></H2><br>';
return $failure;
}
/////проверка лога загрузки, что бы не загружать тоже самое
$masiv_data_file=stat($file_hist);   ////передаем в массив свойство файла
$m_size_file=$masiv_data_file[7];    ////получаем размер файла
$m_mtime_file=$masiv_data_file[9];   ////получаем дату модификации файла
////создаем запрос на получение последней удачной загрузки
////выбираем по штампу времени создания (редактирования) файла загрузки AA_hist.csv, $m_mtime_file

/////   echo '<H2><b>Размер файла: '.$m_size_file.'</b></H2><br>';
/////   echo '<H2><b>Штамп времени файла: '.$m_mtime_file.'</b></H2><br>';
/////   echo '<H2><b>Формирование запроса на выборку из лога</b></H2><br>';
////препарируем запрос
$text_zaprosa=$wpdb2->prepare("SELECT * FROM `vin_logs` WHERE `last_mtime_upload` = %s", $m_mtime_file);
$results=$wpdb2->get_results($text_zaprosa);

if ($results)
{   foreach ( $results as $r)
{
////если штамп времени и размер файла совпадают, возврат
if (($r->last_mtime_upload==$m_mtime_file) && ($r->last_size_upload==$m_size_file))
{////echo '<H2><b>Возврат в начало, т.к. найдена запись в логе.</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>'Загрузка отменена, новых данных нет, т.к. найдена запись в логе.'));
wp_die();
return $failure;
}
}
}
////если данные новые, пишем в лог запись о начале загрузки
/////echo '<H2><b>Попытка вставить запись о начале загрузки в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>0, 'last_size_upload'=>$m_size_file, 'comment'=>'Начало загрузки'));

////очищаем таблицу
$clear_tbl_zap=$wpdb2->prepare("TRUNCATE TABLE %s", 'vin_history');
$clear_tbl_zap_repl=str_replace("'","`",$clear_tbl_zap);
$results=$wpdb2->query($clear_tbl_zap_repl);
/////   echo '<H2><b>Очистка таблицы сервисных книжек</b></H2><br>';
if (empty($results))
{
/////   echo '<H2><b>Ошибка очистки таблицы книжек, завершение.</b></H2><br>';
//// если очистка не удалась, возврат
$failure=TRUE;
wp_die();
return $failure;
}

////загружаем данные
$table='vin_history';         // Имя таблицы для импорта
//$file_hist Имя CSV файла, откуда берется информация     // (путь от корня web-сервера)
$delim=';';          // Разделитель полей в CSV файле
$enclosed='"';      // Кавычки для содержимого полей
$escaped='\

49 Comments

  1. maljaev

    Успокою сразу: вирусов здесь нет. Можете предварительно поглядеть код обработки, он небольшой и довольно простой. Кроме того, в данном случае производится только распаковка компоненты, без ее подключения. Но в дальнейшем смотрите в оба 😉

    Reply
  2. Выложи, плиз, также эту обработку

    Интересно было бы посмотреть 🙂

    Reply
  3. maljaev

    Добавлена обработка по преобразованию любых двоичных фaйлов в файлы BMP. Для работы обработки требуется загруженная ВК 1С++ версии не ниже 2.0.3.1

    Reply
  4. maljaev

    Обновил обе обработки.

    1) Добавил везде комментарии

    2) Исправил ошибку (нюанс) в алгоритме формирования BMP (выравнивание строк по 4 байта)

    3) Увеличил удобство и наглядность кода

    4) На порядки ускорил алгоритм восстановления бинарника (тот, что на VBS)

    Reply
  5. defini

    Народ, ну вы даёте, столько скачиваний и нулевой рейтинг, неужто никому не понравилось. +1 адназначна (жаль, что нельзя +10).

    Reply
  6. maljaev

    Я еще радуюсь, что в минус нельзя ставить! А то бы мне сисадмины живо до -100 опустили. :)))

    Reply
  7. maljaev

    Надо было в ERT-шник патч Сауроновский зашить или еще что полезное — вот тогда бы рейтинг пополз 🙂 На будущее хочу конвертер в BMP тоже без использования ВК переписать, и выложить дополнительно portable-сборку Uchoise (обработку подбора объектов) 8-ERT + 1-TXT ->> 1-ERT как пример практического использования.

    Reply
  8. корум

    (0) Клянчишь, клянчишь… Не поставлю.

    1. 1с++ = не у всех будет работать. Не проверить никак.

    2. патчик, ДЛЛ в ЕРТ закинуть — а смысл?

    Фото номенклатуры к каждой позиции всё равно не прикрутить…

    Приведи пример практической сферы применения обработки.

    Reply
  9. maljaev

    Я НЕ КЛЯНЧУ! Это раз! Нахер мне у ВАС рейтинг клянчить, если у меня на ПРОКЛУБЕ все регалии, которых только можно добиться, ключая входимость в МОДЕРЫ и КОМАНДУ клуба. ВАМ до уровня этого ресурса еще расти долго, как бы ПРОКЛУБ ни висел. А выложил я исключительно ради любви к искусству, а не для плюсов, хотя просто комменты были бы приятны. Пример практического использования каждый для себя находит сам, это КОНЦЕПТ-работа. Главное предназначение — создание portable-сборок, если это слово что-нибудь ВАМ говорит.

    Ну и в-общем, за одно только это оскорбление, которое главное Я считаю оскорблением, пожалуй отказываюсь от дальнейших издевательств и сношу обработки. Больше этого не повторится. Кому сильно понадобиться, тот напишет в личку.

    Reply
  10. brr

    Поставил + за идею

    Reply
  11. CheBurator

    Аналогичную штуку SmaharbA показывал…

    Reply
  12. Rebel2007

    Скачивание недоступно, поэтому и судить нечего ;о)

    Reply
  13. АЛьФ

    2(9) Ну и глупо поступил.

    Reply
  14. astonvilla

    Ну дык «сам породил, сам и убью».

    Жаль… С чего было психовать?

    Reply
  15. vasilykushnir

    (9)Сань, да плюнь ты да разотри — на все шпильки реагировать жизни не хватит. Глупо так обижатся. Есть отличная восточная поговорка: собака лает — караван идет…

    Reply
  16. CheBurator

    Автор! Не психовать! Обработка нужная! А то есть юзвери, которые неспособны файлы копировать…

    Reply
  17. maljaev

    Да господи, че за сыр-бор-то? Ну снес давно как-то, жаль всю тему снести не смог. И странное дело: обработки нету, а обсуждают… Может, ее хоть выложить, чтобы было что обсуждать? Тем более, что уже никаких ВК не требуется и скрипт не пишется в файл.

    Reply
  18. vip

    (17) Не нужно слушать мнение людей, способных создать только очередную гениальную форму ТОРГ-12.

    Выкладывай.

    Reply
  19. astonvilla

    Давай, выкладывай. Хоть посмотрич, из-за чего сыр-бор начался :))

    Reply
  20. maljaev

    Ну вот выложил. Немного не доработал — для конвертации все еще требуется 1C++ (ну я думаю для разработчика это не проблема), но для дальнейшей работы контейнера и распаковки запакованных данных уже ничего не требуется.

    Reply
  21. maljaev

    Конечно, блин, вещь эта бомбе подобна — так как зашить вирус внутрь обработки раз плюнуть, но ведь взрывчатку не только в терактах используют. Надеюсь, что эта вещь не вызовет эпидемии 1С-заразы, а будет использоваться авторами разумно и по назначению.

    Reply
  22. vasilykushnir

    (20) Ну и молодец. +1

    Reply
  23. coder1cv8

    Почитал описание, ну как тока не выкручиваются семерочники, какие тока костыли не придумывают! ))

    Ещё, щас забавно читать пост автора о проклабе, вот ведь как время ситуацию меняет! )

    За смекалку плюс.

    ЗЫ: надеюсь ничем не обидел уважаемого автора.

    Reply
  24. maljaev

    Да, времена меняются… и люди тоже. Насчет проклаба хочу сказать, что Лумпов имел возможность кардинально улучшить свой сайт, но упустил свой шанс или не захотел им воспользоваться. С другой стороны, не все в организации Инфостарта мне нравиться, многое можно было сделать удобнее, нагляднее, функциональнее, и дизайн постоянно перекраивают, но несмотря на это сайтом занимаются и идут в ногу со временем — а это самое главное.

    Reply
  25. coder1cv8

    (24) Вот. Самый большой плюс, на мой взгляд, что этим проектом занимаются. А проклабу позволили спокойно умереть, ну да туда и дорога, никогда он мне не нравился, вечно тормозил сколько помню…

    Reply
  26. p1l1gr1m

    Великолепно! Автору — поклон в пояс

    Reply
  27. alexqc

    Можно пару-тройку предложений внести :)?

    1а. 1С++ — компонента хорошая, регистрации под админом не требующая. Потому, может, не стоит от нее бегать, на скрипты переписывать?

    1б. А если используем 1С++ — там BinaryData сжатие поддерживает, можно заодно и сжимать-разжимать.

    2. В BMP теоретически может быть участок-дырка между заголовком и данными: смотрим на смещение 1078 до данных. Если его увеличить — получим «дырку», в которую можно засунуть что-то свое. Надо проверить, если это так (т.е. если такой «рисунок» корректно читается системой и не меняется 1Ской при вставке), то можно использовать даже «фиксированную» BMP — т.е. взять какой-то рисунок, (кстати не обязательно 256-цветный, дабы на палитру не расходоваться), и вставлять данные в него, меняя только размер «дырки». При этом сам рисунок можно вполне смысловым взять — дискету там какую-нибудь, или скрепку. Типа — «присоединенный файл» 🙂

    Reply
  28. maljaev

    Наконец-то у меня дошли руки доработать конвертор. Так как я часто теперь эту технологию использую, решил максимально облегчить себе процесс на будущее. Теперь преобразование файла в псевдо-BMP не требует никаких внешних компонент, плюс может обрабатывать сразу группу файлов (смотрите скриншот). Код для внедрения в свои разработки я вынес в обработку «Пример реализации», которую можно скачать там же где и конвертор.

    Reply
  29. anatoliy123

    Огромное спасибо автору. Инструмент действительно стоящий внимания!

    Reply
  30. konan

    Я ваще в шоке

    Reply
  31. CheBurator

    Автор! выложи свою библиотеку пиктограмм!!!

    😉

    Reply
  32. maljaev

    (31) Что ты имеешь ввиду? Я не пользуюсь готовыми библиотеками — чаще рисую под конкретную разработку, ну плюс ранее нарисованные.

    Reply
  33. JohnyDeath

    http://www.famfamfam.com/lab/icons/silk/ — бесплатные. есть много красивых

    Reply
  34. AntiBuh

    Да плюс

    прикольная весчь

    Reply
  35. Noy

    У такой обработки рейтинг должен быть гораздо выше.

    ИМХО — недооценили.

    Reply
  36. nickVZ

    Можно еще предложение? Мне вот не нравится третий параметр в РаспаковатьBin() — размер исходного файла.

    Ведь эти файлы — очень часто «живые», их может быть много (с вариантами), и хранить лишнюю техническую информацию как-то ломает 😉

    Может, просто запсочить этот размер после заголовка BMP в виде 36-ричного значения при упаковке, да и дело с концом, а? И функции готовые в 1С имеется (_IdToStr и StrToId)… Ну не документированные — не беда, исключат — воспроизвести не проблема 😉

    Reply
  37. maljaev

    Отличное предложение, спасибо. Сделаю.

    Reply
  38. maljaev

    У меня даже получше идея появилась — использовать область палитры bmp-файла как fat. Тогда можно будет все необходимые файлы запихать в один bmp, а в fat записывать имена файлов, смещения, размеры. По идее, скорость должна возрасти (довольно сильно, если файлов много или они большие), и удобство тоже.

    Reply
  39. Noy

    (38) Поддерживаю!

    Reply
  40. brr

    В порядке бреда. А если бинарник хранить в строке бесконечной длины? Уйдем от конфигуратора.

    Reply
  41. sml

    плюсанул за идею — буду думать куда прикрутить у себя

    Reply
  42. Ёпрст

    (42) смотри у автора другие работы, и думать, куда прикрутить «идею» будет не надо 🙂

    Reply
  43. Noy

    (41) Можешь написать «инсталятор внешних обработок» 😉

    Попиарюсь:

    Я эту идею использовал для запаковки внешней компоненты в обработках http://infostart.ru/projects/3312/ и http://infostart.ru/projects/3057/

    Reply
  44. script

    А когда будет продолжение… ?

    Разработка очень нужная но долго выгружает файл от 100 кб. При файле в 500 кб у меня 1С вообще виснет. Да и упаковка и распаковка нескольких файлов одновременно была бы тоже оч. полезной.

    Reply
  45. nafa

    (44) Если файлы большие или их много, то можно попробовать os7764

    Reply
  46. BlueWind

    Обработка чрезвычайно полезная! Мне — 100% нужная вещь!!!

    (44) (45) в той же os7764 имеется такой комментарий:


    11. Noy 20.04.2010 17:13

    По-поводу обработки Маляева (Размещение двоичных данных (обработок, документов, библиотек) в файле ERT) — она действительно очень медленная, но если ее чуть-чуть «допилить» то можно получить такие результаты:

    Код

    Распаковка файла FormEx.dll (558’080 байт): 0.133 сек

    Распаковка файла far.com.ua.xls (10’362’368 байт): 0.953 сек

    Распаковка файла Snatch_Goblin.avi (47’741’596 байт): 9.149 сек

    что гораздо лучше чем

    Цитата

    kladr.zip (12Мб) извлекается за 16 секунд

    Ответили: (12.) (13.) (16.) (18.)

    Показать


    13. Ёпрст 20.04.2010 18:01

    (11.) чем допиливал обработку Маляева?

    Ответили: (14.)

    14. Noy 20.04.2010 18:06

    (13.) Просто читаю не по-байтно, а блоками по 4К

    Ответили: (15.)

    Reply
  47. VRP

    Вот типа «продолжение»:

    http://infostart.ru/public/70304/

    Reply
  48. krupp

    однозначно супер.

    Reply
  49. maljaev

    Я случайно прочел свои же комменты за 2006-2007 годы и ужаснулся. 🙂 Молодой был, горячий… Приношу извинения всем кого обидел ненароком.

    Reply

Leave a Comment

Ваш адрес email не будет опубликован. Обязательные поля помечены *