Жадина с рюкзаком, или немножко о поиске лучшей жизни




Принцип обмена данными из 1С с сайтом (на MySQL) и выдачи (публикации) этих данных по запросу.
PHP-Скрипт автоматической загрузки данных из файла данных в формате CSV в базу данных сайта работающего на WordPress.

В продолжение моей темы: 1С:Альфа-Авто Автосалон Автосервис: обмен с сайтом.
С помощью данного скрипта можно загружать в автоматическом режиме, по расписанию, данные сервисных книжек (ремонтов авто) из 1С:Альфа-Авто Автосалон Автосервис.
Также можно загружать данные в ручном режиме: для этого делается скрытая страница, где размещается специальная кнопка.
Комментарии размещенные внутри скрипта разъяснят логику и порядок действия.
Комментарии с "/////    echo" использовались для отладки.
Дополнительно создана таблица для журналирования результатов загрузки данных.
Скрипт включает в себя защиту от SQL инъекций (думаю безопасность соблюдена в полной мере).
В кратце:
1. Пишется скрипт, который запускает этот.
2. Создается регламентное задание в WordPress, по которому запускается скрипт из п.1. 
3. Этот скрипт осуществляет проверку на существование файла обмена в папке.
4. Если данные не новые, загрузка не производится.
5. Если данные новые, очищается таблица сервисных книжек.
6. Загружаются новые данные.

Собственно сам скрипт:

<?php // Полная загрузка сервисных книжек, создан 2024-01-05 12:44:55

global $wpdb2;
global $failure;
global $file_hist;

/////  echo '<H2><b>Старт загрузки</b></H2><br>';

$failure=FALSE;
//подключаемся к базе
$wpdb2 = include_once 'connection.php'; ; // подключаемся к MySQL
// если не удалось подключиться, и нужно оборвать PHP с сообщением об этой ошибке
if (!empty($wpdb2->error))
{
/////   echo '<H2><b>Ошибка подключения к БД, завершение.</b></H2><br>';
$failure=TRUE;
wp_die( $wpdb2->error );
}

$m_size_file=0;
$m_mtime_file=0;
$m_comment='';
/////проверка существования файлов выгрузки из 1С
////файл выгрузки сервисных книжек
$file_hist = ABSPATH.'/_1c_alfa_exchange/AA_hist.csv';
if (!file_exists($file_hist))
{
/////   echo '<H2><b>Файл обмена с сервисными книжками не существует.</b></H2><br>';
$m_comment='Файл обмена с сервисными книжками не существует';
$failure=TRUE;
}

/////инициируем таблицу лога
/////если не существует файла то возврат и ничего не делаем
if ($failure){
///включает защиту от SQL инъекций и данные можно передавать как есть, например: $_GET['foo']
/////   echo '<H2><b>Попытка вставить запись в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>$m_comment));
wp_die();
/////    echo '<H2><b>Возврат в начало.</b></H2><br>';
return $failure;
}
/////проверка лога загрузки, что бы не загружать тоже самое
$masiv_data_file=stat($file_hist);   ////передаем в массив свойство файла
$m_size_file=$masiv_data_file[7];    ////получаем размер файла
$m_mtime_file=$masiv_data_file[9];   ////получаем дату модификации файла
////создаем запрос на получение последней удачной загрузки
////выбираем по штампу времени создания (редактирования) файла загрузки AA_hist.csv, $m_mtime_file

/////   echo '<H2><b>Размер файла: '.$m_size_file.'</b></H2><br>';
/////   echo '<H2><b>Штамп времени файла: '.$m_mtime_file.'</b></H2><br>';
/////   echo '<H2><b>Формирование запроса на выборку из лога</b></H2><br>';
////препарируем запрос
$text_zaprosa=$wpdb2->prepare("SELECT * FROM `vin_logs` WHERE `last_mtime_upload` = %s", $m_mtime_file);
$results=$wpdb2->get_results($text_zaprosa);

if ($results)
{   foreach ( $results as $r)
{
////если штамп времени и размер файла совпадают, возврат
if (($r->last_mtime_upload==$m_mtime_file) && ($r->last_size_upload==$m_size_file))
{////echo '<H2><b>Возврат в начало, т.к. найдена запись в логе.</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>'Загрузка отменена, новых данных нет, т.к. найдена запись в логе.'));
wp_die();
return $failure;
}
}
}
////если данные новые, пишем в лог запись о начале загрузки
/////echo '<H2><b>Попытка вставить запись о начале загрузки в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>0, 'last_size_upload'=>$m_size_file, 'comment'=>'Начало загрузки'));

////очищаем таблицу
$clear_tbl_zap=$wpdb2->prepare("TRUNCATE TABLE %s", 'vin_history');
$clear_tbl_zap_repl=str_replace("'","`",$clear_tbl_zap);
$results=$wpdb2->query($clear_tbl_zap_repl);
/////   echo '<H2><b>Очистка таблицы сервисных книжек</b></H2><br>';
if (empty($results))
{
/////   echo '<H2><b>Ошибка очистки таблицы книжек, завершение.</b></H2><br>';
//// если очистка не удалась, возврат
$failure=TRUE;
wp_die();
return $failure;
}

////загружаем данные
$table='vin_history';         // Имя таблицы для импорта
//$file_hist Имя CSV файла, откуда берется информация     // (путь от корня web-сервера)
$delim=';';          // Разделитель полей в CSV файле
$enclosed='"';      // Кавычки для содержимого полей
$escaped='\

34 Comments

  1. BigB

    (0) забористая у вас трава

    Reply
  2. karpik666

    Ошибка в таблице вместо 3200 должно быть 3300, и так дальше немного неверно.

    Reply
  3. karpik666

    В заключении вы упомянули, что данную задачу можно применять для определения раскроя, как данный метод можно адаптировать к нему, к примеру задача: дано: макет самый простой — прямоугольный, но ширина и длина у каждого разная, есть ткань определенной ширины и длины, нужно максимально плотно раскроить ткань, чтобы оставалось как можно меньше обрезков, если учитывать площадь макета как ценность в данной задаче, то она не учитывает форму макета, так как по расчету можно поместить на ткань 4 макета, а фактически 3, но с кучей обрезков, так как по форме он не влезает.

    Reply
  4. Шёпот теней

    (3) karpik666,

    предлагаемая задача и решение отражает одномерность — используется для решения распилки брёвен, рубки проволоки и прочее …

    задача, например, раскроя ткани (резка из листа , плит и пр.) уже двумерная (принципы те же)

    1. сначала описываем геометрию деталей

    2. решаем раскладку методами оптимизации ((линейные, целочисленные и эвристические)

    2.1. Симплекс-метод — линейное убывание при локальной оптимальности (Л. В. Канторович «Математические методы организации и планирования производства» (1939 г.))

    2.2.симплекс-методом» — метод оптимизации произвольной функции. (Метод Нелдера — Мида)

    и много других

    Общее решение: http://www.rusnauka.com/34_VPEK_2012/Matemathics/4_121653.doc.htm

    Reply
  5. starik-2005

    (2) karpik666, ну я ждал, когда кто-нибудь заметит ))) Рад, что хоть кто-то дочитал до конца! Но это ошибка в расчетах, а не в алгоритме.

    Reply
  6. starik-2005

    (5) Программулькин, «псевдоязык» — это не то, что Вы подумали. Это некоторые функции, которых в языке нет. Т.е. с «мнимыми/ложными функциями».

    Reply
  7. starik-2005

    (2) karpik666, исправил цифры. Теперь все ок?

    Reply
  8. karpik666

    (8) почти, в комментариях теперь цифры расходятся с таблицей

    Плюс в тексте теперь вы изменили 800 на 700, а в тексте нет

    сумма = 1450 + 1500 + 800
    Reply
  9. starik-2005

    (9) karpik666, чьйорд побьери, михаил светлоф ту-ту ))) Я тут статью отредактировал и нажал случайно «сохранить в черновик». В итоге с меня сняли 20 стартманей — пришлось писать в техподдержку, поэтому ну его нафиг редактировать эти статьи ))) Главное чтобы понятно было даже детям. А калькулятор я не догадался использовать — ведь основа статьи в описании принципа и коде, а не в правильной математике, подсчитанной в уме…

    Reply
  10. minimajack

    (10) да хрен ногу сломит…

    в итоге оптимально должно быть 3200

    10 /1000

    20/1500

    15/700

    Reply
  11. starik-2005

    (11) minimajack, да, Вы правы. Просто я промахнулся с расчетами и вычислил в уме не совсем правильно, поэтому пришлось потом редактировать статью, но отредактировал я ее не до конца, ибо с удивлением обнаружил, что с меня за отмену публикации сняли 20 стартманей и поспешил вернуть все назад, не завершив редактирование до конца.

    По поводу лучшего результата, то он получается именно за счет построения таблицы и потом нахождения в таблице строк, улучшивших результат. Попробуйте сами таблицу построить в соответствии с описанием алгоритма (в той же Calc или Excel).

    Reply
  12. minimajack

    (12) свой результат я получил «имитацией отжига»…и долго удивлялся почему цифры не сходятся

    Reply
  13. starik-2005

    (13) minimajack, имитация отжига и генетический алгоритм могут не дать точного результата, ибо они оптимизируют выборку. Если в них использовать бесконечную оптимизацию, то они могут обойти все варианты за Х! раз, ибо нет предела совершенству. В этом они похожи на жадный алгоритм, но, конечно, приводят к лучшему результату чаще.

    Пример тому — периодическое тупление оптимизатора запросов, который работает на базе генетического алгоритма.

    Reply
  14. Шёпот теней

    (14) просто интересно как «генетический алгоритм» может оптимизировать выборку ???

    создали популяцию одного набора деталей куртки … в итоге получили детали штанов ???

    … вотВОПРОСвот …

    я не силён в «численных методах» к коим относится «Алгори́тм имита́ции о́тжига» из группы «Ме́тоды Мо́нте-Ка́рло» но как его ТЫ будешь применять ??? для оптимизации выборки ???

    .. совсемУЖЖЖсовсем …

    Reply
  15. starik-2005

    (15) Шёпот теней, ну принципы этих алгоритмов в том, что создается «случайная» популяция — обычный рандом. Потом происходят случайные перестановки, приводящие к улучшению или ухудшению результата. Дальше все это повторяется до бесконечности. В 18 веке был придуман такой метод расчета числа pi с помощью «бросания иголки на пол» — это примерно та же тема.

    Reply
  16. minimajack

    (15) Шёпот теней, там используется фитнес функция которая выбирает лучших…скорее всего это и есть оптимизация

    Reply
  17. DoctorRoza

    +. чтобы окупить вложения

    Reply
  18. starik-2005

    (18) DoctorRoza, да я особо не старался — ошибся вон в цифрах )))) Цель была в том, чтобы максимально просто все объяснить.

    Reply
  19. artspeed

    Прочитав статью осознал свою никчемность.

    Бывают же умные люди……

    Простите за оффтоп.

    Reply
  20. starik-2005

    (20) artspeed, да ну дадно Вам! Я сам с этимне за три минуты разобрался — просто интересно было.

    Reply
  21. karpik666

    (20) artspeed, почитай статьи ildarovich вот его понимают вообще единицы. Кстати у него тоже была статья про алгоритм 3d упаковки, очень занимательная статья.

    Reply
  22. starik-2005

    (22) karpik666, действительно у него много классных статей. Он, кстати, по большому счету использовал жажный алгоритм в языке запросо. Он вообще любит теорию и в принципе не сколько рабочие алгоритмы, сколько экстремальные красивые ситуации. Рекомендую!

    Reply
  23. logarifm

    Честно — не очем вообще!

    Reply
  24. starik-2005

    (24) logarifm, кому что…

    Reply
  25. PrinzOfMunchen

    (19) благодарю, хоть кто-то объяснил так, что наконец-то до конца всё дошло..)))

    Reply
  26. starik-2005

    (26) PrinzOfMunchen, очень рад, что получилось объяснить на столько хорошо)))

    Reply
  27. CheBurator

    (22) я общался с Ильдаровичем. От его выкладок вообще офигеваю (сам вообще ни в зуб ногой). а 3d упаковка его пробовал у себя запустить, переписывался с ним в т.ч. — лажает. плохо упаковывает. пока что для упаковки лучше 3D-Packer — не видел, с его использованием у меня складской оператор вместимость ячеек считает по товарам.

    Reply
  28. starik-2005

    (28) CheBurator, ну а что Вы хотите от жадного алгоритма, реализованного больше как «интересная фича» в языке запросов? Не будет он грамотно упаковывать никогда )))

    Reply
  29. starik-2005

    (28) CheBurator, кстати, навеяло Вашим сообщением. Как-то в 80-х японцы поставили перед собой две задачи: создать тачку, не хуже, чем мерс — получился лексус. А вторая задача — создать процессор пятого поколения — с этим они обосрались (извините, но так и есть) по полной программе. Пока они пять лет мутили этот проц, продукция 4-го поколения от интела ушла так далеко вперед, что японцы должны были дружной командой сделать себе «ХарюКири» )))

    Как бы мысль в том, что миллиард операций в секунду делает сейчас ваш проц, а если на нем несколько ядер — и больше. Так вот периодически для не сильно большой выборки можно размещать что-то в чем-то даже методом полного перебора вариантов, находя лучший результат. Все упирается в скорость кода — 1С тут, конечно, совершенно не вариант. Я в свое время на асме реализовал рюкзак, но, конечно, для одномерного раскроя.

    Reply
  30. IvanovAV

    Подобный алгоритм мы используем в нашей самописной программе на 7.7 при автоматической загрузке автомобилей накладными.

    Имеется массив автомобилей разной грузоподъемности, и массив накладных разного веса и объема, (которые едут в один район города) следовательно грузим самые тяжелые накладные в самые большие машины, затем цепочка по оставшимся машинам, в конце догружаем легкими накладными оставшееся место в машинах, получается идеальное распределение веса и объема. Точный код сейчас не вспомню, но принцип примерно такой.

    Reply
  31. wizard.ilmir02

    Добрый день! Подскажите как нужно модифицировать описанный алгоритм рюкзака, что бы его можно было использовать для выборки, в которых существуют повторяющиеся вещи с разным количеством?

    Reply
  32. starik-2005

    (32) в принципе вместо цены — сумма, равная цене, умноженной на количество. Если цены нет — просто количество. Это, конечно, если я правильно понял смысл, ибо в последнее время народ ленится излагать мысли, а я ленюсь разбираться в плохо сформулированных вопросах.

    Reply
  33. wizard.ilmir02

    (33)извините, попытаюсь рассказать подробнее. Задача есть список деталей разной длинны, которые надо разложить на хлыст. Я попытался использовать ваш описанный алгоритм рюкзака 0-1 где подразумевается что количество разных деталей можно взять только один раз.

    Например у нас есть детали : длинной 2, 4 , 3 ,5 и нужно разложить на хлыст размером 10. То можно легко построить таблицу где столбы будут длина от 1 до 10, а детали будут с ценой 1, а масса это будет длина детали. Теперь мне не понятно как использовать алгоритм рюкзака 0-1 для повторяющих деталей . Я нашёл статью где предлагается решение https://cs.stackexchange.com/questions/86531/transforming-a-bounded-knapsack-to-0-1-knapsack , просто дублировать в строчках повторяющие детали, но я не понял как считать стоимость для повторяющихся деталей, ведь стоимость детали одной длины я так понимаю будет одинаковой

    Reply
  34. starik-2005

    (34)

    ведь стоимость детали одной длины я так понимаю будет одинаковой

    Да, алгоритм позволяет в исходных данных указывать одинаковый вес и цену — ведь в музее вполне могут быть предметы, одинаковые по ценности и весу. Просто на выходе Вам должно быть все-равно, какую деталь одинаковой длины брать. Их, в итоге, может оказаться и несколько.

    Reply

Leave a Comment

Ваш адрес email не будет опубликован. Обязательные поля помечены *