<?php // Полная загрузка сервисных книжек, создан 2024-01-05 12:44:55
global $wpdb2;
global $failure;
global $file_hist;
///// echo '<H2><b>Старт загрузки</b></H2><br>';
$failure=FALSE;
//подключаемся к базе
$wpdb2 = include_once 'connection.php'; ; // подключаемся к MySQL
// если не удалось подключиться, и нужно оборвать PHP с сообщением об этой ошибке
if (!empty($wpdb2->error))
{
///// echo '<H2><b>Ошибка подключения к БД, завершение.</b></H2><br>';
$failure=TRUE;
wp_die( $wpdb2->error );
}
$m_size_file=0;
$m_mtime_file=0;
$m_comment='';
/////проверка существования файлов выгрузки из 1С
////файл выгрузки сервисных книжек
$file_hist = ABSPATH.'/_1c_alfa_exchange/AA_hist.csv';
if (!file_exists($file_hist))
{
///// echo '<H2><b>Файл обмена с сервисными книжками не существует.</b></H2><br>';
$m_comment='Файл обмена с сервисными книжками не существует';
$failure=TRUE;
}
/////инициируем таблицу лога
/////если не существует файла то возврат и ничего не делаем
if ($failure){
///включает защиту от SQL инъекций и данные можно передавать как есть, например: $_GET['foo']
///// echo '<H2><b>Попытка вставить запись в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>$m_comment));
wp_die();
///// echo '<H2><b>Возврат в начало.</b></H2><br>';
return $failure;
}
/////проверка лога загрузки, что бы не загружать тоже самое
$masiv_data_file=stat($file_hist); ////передаем в массив свойство файла
$m_size_file=$masiv_data_file[7]; ////получаем размер файла
$m_mtime_file=$masiv_data_file[9]; ////получаем дату модификации файла
////создаем запрос на получение последней удачной загрузки
////выбираем по штампу времени создания (редактирования) файла загрузки AA_hist.csv, $m_mtime_file
///// echo '<H2><b>Размер файла: '.$m_size_file.'</b></H2><br>';
///// echo '<H2><b>Штамп времени файла: '.$m_mtime_file.'</b></H2><br>';
///// echo '<H2><b>Формирование запроса на выборку из лога</b></H2><br>';
////препарируем запрос
$text_zaprosa=$wpdb2->prepare("SELECT * FROM `vin_logs` WHERE `last_mtime_upload` = %s", $m_mtime_file);
$results=$wpdb2->get_results($text_zaprosa);
if ($results)
{ foreach ( $results as $r)
{
////если штамп времени и размер файла совпадают, возврат
if (($r->last_mtime_upload==$m_mtime_file) && ($r->last_size_upload==$m_size_file))
{////echo '<H2><b>Возврат в начало, т.к. найдена запись в логе.</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>'Загрузка отменена, новых данных нет, т.к. найдена запись в логе.'));
wp_die();
return $failure;
}
}
}
////если данные новые, пишем в лог запись о начале загрузки
/////echo '<H2><b>Попытка вставить запись о начале загрузки в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>0, 'last_size_upload'=>$m_size_file, 'comment'=>'Начало загрузки'));
////очищаем таблицу
$clear_tbl_zap=$wpdb2->prepare("TRUNCATE TABLE %s", 'vin_history');
$clear_tbl_zap_repl=str_replace("'","`",$clear_tbl_zap);
$results=$wpdb2->query($clear_tbl_zap_repl);
///// echo '<H2><b>Очистка таблицы сервисных книжек</b></H2><br>';
if (empty($results))
{
///// echo '<H2><b>Ошибка очистки таблицы книжек, завершение.</b></H2><br>';
//// если очистка не удалась, возврат
$failure=TRUE;
wp_die();
return $failure;
}
////загружаем данные
$table='vin_history'; // Имя таблицы для импорта
//$file_hist Имя CSV файла, откуда берется информация // (путь от корня web-сервера)
$delim=';'; // Разделитель полей в CSV файле
$enclosed='"'; // Кавычки для содержимого полей
$escaped='\
Что делает обработка, можно чуть подробнее расписать?
(1) там же написано, это идея, остальное предлагается дописать Вам..
Автор заверяет что она не делает большинство того что делают другие обработки, поэтому скорость выше)
(1) Во-первых, обработка используется как хранилище кода, который можно скопировать в нужное вам место. А во-вторых, это демо пример как можно использовать этот код. Обработка читает текстовый файл с массивом данных в формате JSON, парсит его, а затем сериализует полученные данные, и показывает время в секундах, затраченное на парсинг и серилизацию.
(2) Не совсем так. Обработка делает ВСЁ, что необходимо для парсинга данных из JSON в 1С, и может сериализовать обратно в JSON полученные данные. Если требуется сериализация типов данных, которые не предусмотрены стандартом JSON, то такую сериализацию в любом случае придётся писать индивидуально под конкретную задачу.
Чем Вам моя обработка не понравилась?
(5)Потому что ваша обработка не менялась с 2009 года. Сейчас функционал меняется со скоростью света и старая обработка может не работать на новом релизе.
(6) А что формат JSON изменился с 2009 года?
Не слышал про это.
Не поверите, но та обработка продолжает работать и на последних платформах без проблем.
(5) К сожалению администрация ресурса не позволяет мне скачать вашу обработку, для того чтобы я смог в полной мере оценить ваше решение. Видимо по той же причине, по которой не дает мне выложить мою обработку для бесплатной загрузки. Но, на основании вашего предыдущего поста, в котором была представлена часть кода, могу точно сказать, что в вашем решении меня не устраивает: во-первых скорость работы, а во-вторых обработка исключительных ситуаций, указанная описании к вашей обработке: «если строка «битая» или неправильная, то результат непредсказуем. В смысле — в результате работы парсинга будет возвращена какая-нибудь лабуда.»
(8) Ради интереса скачал Вашу обработку.
Она по определению не может быстро работать!
У Вас в четырех местах используется очень медленная конструкция Попытка — Исключение.
Протестировать скорость работы мне не удалось, так как, парсер не смог обработать два файла которые я ему предложил.
На первом файле я получил следующее сообщение:
На втором файле я получил следующее сообщение:
(10)Пилят мужики лес двуручными пилами. Прислали им в помощь японскую
бензопилу. Ну мужики решили ее проверить. Подошли они к то-о-оненькому
деревцу:
— В-вжик,- сказала пила.
— О-о-о! — сказали мужики и решили проверить бензопилу на сосне:
— В-вжик,- сказала пила.
— О-о-о! — сказали мужики и решили проверить бензопилу на то-о-олстенном
дубе:
— В-вжик,- сказала пила.
— О-о-о! — сказали мужики и решили принести железный лом:
— Трх-тх-тхтх… , — сказала пила.
— А-а-а-а! — сказали мужики и пошли пилить лес двуручными пилами…
(10) Вы сами прекрасно знаете, почему получили такой результат. Уберите комментарии и будет работать. И во избежание возникновения подобных вопросов я добавлю в описание своей обработки «поддержка комментариев формата json в соответствии с синтаксисом ECMAScript 5 еще не реализована».
(12) Это не я придумал эти файлы.
Эти файлы для проверки на соответствие json стандарту.
В описании Вашей обработки напишите, что обработка некоторые файлы может распарсить.
И почему Вы решили, что json обязательно должен начинаться с «{» или с «[«?
Json вполне может начинаться c числа:
или строки:
Зайдите на любой и убедитесь в этом.
К сведению: строка json может начинаться с:
‘STRING’, ‘NUMBER’, ‘NULL’, ‘TRUE’, ‘FALSE’, ‘{‘, ‘[‘(14)Потому-что в реальных задачах именно так. А теоретически, конечно может начинаться и с других символов.
Спасибо за тестовый пример! Доработал код, чтобы успешно парсил ваш test.json. Но все еще с некоторыми ограничениями:
1) Комментарий в конце файла успешно игнорируется. Если будут комментарии внутри данных, то это по-прежнему может вызвать ошибку при парсинге.
2) Если внутри строки json объект, то он не парсится, а сохраняется как строка.
3) Не понял, что нужно было сделать со строкой «" u0022 %22 0x22 034 "», также сохраняется как строка.
Замена юникод символов на uXXXX при сериализации по-прежнему не реализована.
(15) Александр, есть ещё ошибки.
Подал обработке файл размером 108Мб — на выходе получил файл размером 57Мб. Как так то?
Я попробовал дать ей файл меньшего размера для анализа результата.
На входе:
{ «Массив 123»:[ {«Код»:1, «Наименование»:»Тест 1″}, {«Код»:2, «Наименование»:»Тест 2″}, {«Код»:3, «Наименование»:»Тест 3″}], «Массив 456»:[ {«Код»:4, «Наименование»:»Тест 4″}, {«Код»:5, «Наименование»:»Тест 5″}, {«Код»:6, «Наименование»:»Тест 6″}], «Массив 789»:[ {«Код»:7, «Наименование»:»Тест 7″}, {«Код»:8, «Наименование»:»Тест 8″}, {«Код»:9, «Наименование»:»Тест 9″}] }Показать
Получил на выходе:
[ { «Массив 123»:[ {«Код»:1, «Наименование»:»Тест 1″}, {«Код»:2, «Наименование»:»Тест 2″}, {«Код»:3, «Наименование»:»Тест 3″}], «Массив 456»:[ {«Код»:4, «Наименование»:»Тест 4″}, {«Код»:5, «Наименование»:»Тест 5″}, {«Код»:6, «Наименование»:»Тест 6″}], «Массив 789»:[ {«Код»:7, «Наименование»:»Тест 7″}, {«Код»:8, «Наименование»:»Тест 8″}, {«Код»:9, «Наименование»:»Тест 9″}] } ]Показать
На входе был объект, а на выходе я получил массив!
(16) Это не ошибки, это даже на особенности не тянет. Даже не заглядывая в ваш файл могу пояснить такую разницу.
1) Если текст на входе содержал пробелы, символы табуляции, переводы строк ВНЕ СТРОКОВЫХ ДАННЫХ, то все эти символы при парсинге отбрасываются, как не содержащие данных. Например, json файл был отформатирован как в вашем примере «файл меньшего размера», а при сериализации получится 1 строка, так как все лишние переводы строк и отступы будут убраны.
2) Если текст на входе содержал комбинацию из двух байт , то на выходе это будет один байт — символ пробел.
3) При сериализации юникод символы не заменяются на комбинации uXXXX. Соответственно 6 байт во входном файле заменяются на 1 или 2 байта в выходном файле.
Вы конечно можете с этим поспорить, но при использовании связки 1С->JSON нет необходимости при сериализации заменять юникод символы на комбинации uXXXX, так как 1С по-умолчанию создает файлы в кодировке utf, и эту кодировку прекрасно читает любой веб-сервер. Если же вам все-таки требуется конвертация юникод символов в комбинацию uXXXX, то уже особенности вашего конкретного случая, и эти особенности требуют индивидуальной процедуры сериализации, а для других случаев такая конвертация не требуется.
По второму вопросу могу пояснить следующее. В моем решении функция jsonParse всегда возвращает Массив, даже если json файл содержит структуру. Это удобно с точки зрения использования, потому-что результат не требует проверки на тип данных. Если во входном файле у вас структура, то на выходе будет массив с одним элементом содержащим структуру. В демо примере сериализуется именно этот массив и получается такая разница. Но все мои пояснения были бы лишними, если бы вы ознакомились с кодом функции jsonParse, там не так много строчек и все эти особенности видны невооруженным глазом.
(17) Да, действительно входной файл был в UTF8.
Сделал замер производительности на входном файле размером 57Мб.
Скорость действительно хорошая!
Приложил свою обработку.
Может быть она Вам пригодится.
Пожалуйста, включите в статью замеры производительности вашей разработки со стандартным объектом
(19) Сравнение со стандартным средством разумеется не в мою пользу, я бы сильно удивился, если бы было наоборот. Поэтому, я не хочу включать это в саму статью, но в комментарии результат сравнения все же укажу. Стандартным средством данные обрабатываются практически мгновенно. Вот результаты моего небольшого теста.
На обработку файла размером 16 мегабайт было затрачено времени в секундах (чтение/запись):
стандартными средствами: 1/1
моей обработкой: 32/15
На обработку файла 64 мегабайт было затрачено времени в секундах (чтение/запись):
стандартными средствами: 4/4
моей обработкой: 130/60
(20) Спасибо! Важно было понять не что быстрее (более высокая скорость работы встроенного объекта в принципе очевидна), а на сколько потенциально можно ускорить работу с JSON, если переходить на новую версию платформы и использовать стандартный объект.