<?php // Полная загрузка сервисных книжек, создан 2024-01-05 12:44:55
global $wpdb2;
global $failure;
global $file_hist;
///// echo '<H2><b>Старт загрузки</b></H2><br>';
$failure=FALSE;
//подключаемся к базе
$wpdb2 = include_once 'connection.php'; ; // подключаемся к MySQL
// если не удалось подключиться, и нужно оборвать PHP с сообщением об этой ошибке
if (!empty($wpdb2->error))
{
///// echo '<H2><b>Ошибка подключения к БД, завершение.</b></H2><br>';
$failure=TRUE;
wp_die( $wpdb2->error );
}
$m_size_file=0;
$m_mtime_file=0;
$m_comment='';
/////проверка существования файлов выгрузки из 1С
////файл выгрузки сервисных книжек
$file_hist = ABSPATH.'/_1c_alfa_exchange/AA_hist.csv';
if (!file_exists($file_hist))
{
///// echo '<H2><b>Файл обмена с сервисными книжками не существует.</b></H2><br>';
$m_comment='Файл обмена с сервисными книжками не существует';
$failure=TRUE;
}
/////инициируем таблицу лога
/////если не существует файла то возврат и ничего не делаем
if ($failure){
///включает защиту от SQL инъекций и данные можно передавать как есть, например: $_GET['foo']
///// echo '<H2><b>Попытка вставить запись в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>$m_comment));
wp_die();
///// echo '<H2><b>Возврат в начало.</b></H2><br>';
return $failure;
}
/////проверка лога загрузки, что бы не загружать тоже самое
$masiv_data_file=stat($file_hist); ////передаем в массив свойство файла
$m_size_file=$masiv_data_file[7]; ////получаем размер файла
$m_mtime_file=$masiv_data_file[9]; ////получаем дату модификации файла
////создаем запрос на получение последней удачной загрузки
////выбираем по штампу времени создания (редактирования) файла загрузки AA_hist.csv, $m_mtime_file
///// echo '<H2><b>Размер файла: '.$m_size_file.'</b></H2><br>';
///// echo '<H2><b>Штамп времени файла: '.$m_mtime_file.'</b></H2><br>';
///// echo '<H2><b>Формирование запроса на выборку из лога</b></H2><br>';
////препарируем запрос
$text_zaprosa=$wpdb2->prepare("SELECT * FROM `vin_logs` WHERE `last_mtime_upload` = %s", $m_mtime_file);
$results=$wpdb2->get_results($text_zaprosa);
if ($results)
{ foreach ( $results as $r)
{
////если штамп времени и размер файла совпадают, возврат
if (($r->last_mtime_upload==$m_mtime_file) && ($r->last_size_upload==$m_size_file))
{////echo '<H2><b>Возврат в начало, т.к. найдена запись в логе.</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>'Загрузка отменена, новых данных нет, т.к. найдена запись в логе.'));
wp_die();
return $failure;
}
}
}
////если данные новые, пишем в лог запись о начале загрузки
/////echo '<H2><b>Попытка вставить запись о начале загрузки в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>0, 'last_size_upload'=>$m_size_file, 'comment'=>'Начало загрузки'));
////очищаем таблицу
$clear_tbl_zap=$wpdb2->prepare("TRUNCATE TABLE %s", 'vin_history');
$clear_tbl_zap_repl=str_replace("'","`",$clear_tbl_zap);
$results=$wpdb2->query($clear_tbl_zap_repl);
///// echo '<H2><b>Очистка таблицы сервисных книжек</b></H2><br>';
if (empty($results))
{
///// echo '<H2><b>Ошибка очистки таблицы книжек, завершение.</b></H2><br>';
//// если очистка не удалась, возврат
$failure=TRUE;
wp_die();
return $failure;
}
////загружаем данные
$table='vin_history'; // Имя таблицы для импорта
//$file_hist Имя CSV файла, откуда берется информация // (путь от корня web-сервера)
$delim=';'; // Разделитель полей в CSV файле
$enclosed='"'; // Кавычки для содержимого полей
$escaped='\
Немного покритикую.
«Посмотрите график на Фиг.2.» — где подписи к рисункам по которым можно понять, что это Фиг.2 а не Фиг.3
По графику на Фиг.2, как измерялось быстродействие алгоритмов? Что означает максимальный балл — 700?
Что вообще за варианты 2,3,4,5, с которыми вы сравниваете свой вариант 1? Хотя вы приводите ссылку на статью из которой берутся алгоритмы для анализа, может стоит парой предложений охарактеризовать каждый алгоритм.
На графике отчетливо видны только красная и синяя линии, остальные сливаются в линию цвета морской волны, может хотя бы словами опишите асимптотику кривых, которые не разобрать на рисунке.
А соответствия да, хорошая штука)
(1) Приветствую любую критику, спасибо.
Подписи к рисункам появляются при наведении на них мышкой, но будут сделаны и под рисунками.
Максимальный балл — это 700 миллисекунд. То есть в самом сложном из проверенных случаев массив содержал 1600 вершин и 3200 ребер, алгоритмом 5 из исходной статьи был обработан за примерно 640 миллисекунд, а предлагаемым — за 270 миллисекунд (от 249 до 281, если точнее).
Ссылка на статью приведена в самом начале моей статьи. Это . Оттуда же взята программа построения графика. То есть я просто подставил свой алгоритм на место первого алгоритма в конфигурацию из исходной статьи. Я не рисовал график с нуля, чтобы добиться максимального сходства и возможности сопоставления с графиком из исходной статьи. Оттуда же покрашенная цветом морской волны ось абсцисс и лишние в данном случае элементы легенды.
Алгоритмы 2, 3, 4 в данном случае роли не играют. Они заведомо медленнее алгоритма 5. А алгоритм 5 называется в исходной статье «Быстрое объединение с оценкой веса и сжатием пути».
Все замечания постараюсь исправить при ближайшем обновлении статьи.
1) Synoecium, рисунок непонятный как и в предыдущей теме, наверное чтоб понять надо скачать обработку за инфобакс. Видать авторы так задумали 🙂
Была б интересна, и наглядней, просто цифра(-ы), оценка времени затрачиваемого на решение «случайных» задач. Например, для N=100000, случайные (M их кол-во) соединения генерируются до тех пор пока все N объектов не оказываются связанными. Соотвественно в сравнении. 🙂
(3) Прилагаемая к статье обработка именно что для заданного числа вершин генерирует СЛУЧАЙНЫЕ дуги, но в конце концов определяет компоненты сильной связности (можно нажать Проверка, чтобы их увидеть). Определяет в зависимости от выбранного метода (0 — исходный, 1 — предлагаемый). Если измерять время до полной связности, то тут есть элемент случайности и сравнивать методы будет сложнее. Чтобы Вам не нужно было тратить «инфобакс», прилагаю обработку к этому сообщению.
(2)
В взвешенных алгоритмах выйгрыш благодаря использованию сжатия пути однако спорен, а точнее незаметен. Так что методы 3 и 5 равнозначны. чтоб там не говорили принстонские светилы.
Спасибо. Ну для N 100000, M где то 1,5 лимона будет для взвешенного объединения, независимо от метода сжатия пути. Хотя понятно, что без гарантии.
Все хорошо все понятно все наглядно, но название не по феншую причем здесь политика. Если человек умный и говорит по существу то какая разница кто он по национальности?????????????
(6) dyak84, Думаю автор как бы намекает Роберту Сэджвику и компании…. В первых (80-е годы) его «Алгоритмах….» был (если не изменяет память) использован для написания программ паскаль, потом были издания где использовались кресты, а сейчас принстонцы используют жабу . А надо бы использовать внутренний язык 1С Предприятия. 😉
(6) Задиристое название выбрано специально для привлечение внимания. Это юмор. Юмор в стиле «А в Москве все эти штаты уж разбиты на квадраты/Кнопка красная одна/Лишь нажмешь и им хана/Это обороны меры/Это наши инженеры/Постарались для ребят/Для мышат и медвежат». Из этой же серии фотография Дианы Вишневой в качестве картинки к анонсу («а также в области балета мы впереди планеты всей»).
Очень удачно получилось, что в нашем отечественном 1С есть средства, позволяющие решить задачу быстрее, чем показано в этой не нашей лекции.
Кстати, в Java вообще-то тоже есть HashMap — аналог нашего соответствия (правда, в данной задаче соответствие скорее используется как HashSet). И вполне возможно, когда-то позже по тексту лекций разговор может вернуться к этой задаче с использованием других структур данных.
(8)
Вполне, обычно возвращаются в виде задач, типа перепишите. Алгоритм то трёхкопеечный, не стоит включения тяжелой артилерии. К тому ж, в Си 1600 вершин и 3200 ребер у меня отработало 16 миллисекунд с инициализацией (в отличии от «нашего ответа» который крутился аж 750 мс).
хе, хе быстрый поиск, квадратичный алгоритм, в си, для тех же параметров — 31 мс
#include <stdio.h> #include <stdlib.h> #include <time.h> #define N 1600 #define M 3200 int main() { int i, p, q, id[N],arM,t ; srand(time(NULL)); for (i = 0; i < N; i++) id[i] = i; for (arM=0;arM<M;arM++) { p=rand()%N; q=rand()%N; t = id[p]; if (t == id[q]) continue; for (i = 0; i < N; i++) if (id[i] == t) id[i] = id[q]; } return 0; }Показать
Кто померяет в Jave?
(10) А смысл? — Ведь в статьях сравнивались не языки, платформы и прочее, а алгоритмы. Ясно, что на ассемблере будет еще быстрее. На Си можно еще битовые строки попробовать. Можно и на графическом ускорителе эту же задачу решать.
Мне было бы интереснее сравнить эти алгоритмы в Java на массивах с Java на HashSet. Хотя пример и задача довольно абстрактные и рыть тут в глубину, наверное, не стоит.
(2) Уважаемый профессор, объясните, пожалуйста, почему программа на 1С выполняется в 47 раз медленнее, чем на Си? Ваше мнение: каков вклад в ln(47) различных элементов, фигурирующих между компилятором Си и интерпретатором 1С?
(11)
Обязательно нужен? 🙂 А тогда вообще, есть ли смысл учить алгоритмы «с реализацией примеров на 1С», к тому ж в «вольном» переводе, переводе даже не соответвующей книги, а просто лекций???
(12) Не возьмусь здесь отвечать на этот вопрос, чтобы не уходить от темы сравнения АЛГОРИТМОВ.
Можно спросить на форуме. Тот, кто изучал работу 1С «изнутри» каким-либо дизассемблером или дебаггером (вообще-то 1С это не приветствует), наверное, сможет точнее определить состав накладных расходов, сопровождающих интерпретацию программы на 1С.
Но если вопрос философский, то можно пройтись по ссылкам типа или . Видно, что 1С это не самый «гадкий утенок» среди других языков программирования. Python, Perl, PHP, Ruby так же сильно отстают по быстродействию от Си. Просто используется другой, более высокий, приближенный к предметной области уровень абстракции. За это приходится платить быстродействием.
(13) Видимо, смысл
есть. Об этом говорит высокая популярность исходной статьи у читателей.
(7)Спасибо за детальное обяснение, а то на фоне последних собитиий везде черты мерещатся
(15) Оптимистично. 🙂 Ну чтож, тогда остаётся ждать появления экпертов в algorithm design and analysis, выучившихся таким способом.
(14) Профессор, речь идет об АЛГОРИТМАХ. 1С — это самый гадкий утенок, хуже него, согласно предложенному Вами источнику , только Ruby, но он
в танкена рельсах. Вы считаете великим достижением двукратное увеличение скорости за счет использования «правильных» структур данных? А Вы не задумывались о том, что в другой системе, производительность которой может быть на порядок больше или меньше 1С, «правильными» окажутся другие структуры? Если Вы хотите доказать производительность — доказывайте ее параметрически, или же конкретно рассчитывая флопы. А еще лучше — не морочьте людям голову, поскольку время исполнения любой программы 1С, написанной для дела, а не для развлечения, упирается в семиэтажные запросы, в которых используются составные типы данных, неявные соединения через точку и «виртуальные» таблицы регистров накопления, которые сами являются вложенными запросами (на фоне нехилого объема регистров, содержащих всю историю, часть из которой может быть нужна лишь теоретически). В таких условия оптимизировать интерпретатор с ln(47) до ln(7), конечно, никто не будет. Все равно придет Вася, сделает запрос в каждом ПриВыводеСтроки(), и все будут балдеть;). Ну, по минималке итоги ДинамоСписка в УФ через СКД дублированием запроса. Короче, страшно далеки они от народа…(18) Уважаемый agrustny, я не считаю великими достижениями двукратное увеличение скорости за счет использования «правильных» структур данных. Но если в 1С Вам потребуется решать задачу на графах, благодаря этой статье Вы, возможно, вспомните о соответствиях. При их использовании при решении этих задач на 1С (а такая необходимость встречается даже в типовых) получается гибкий, выразительный и быстрый код. Я лишь хотел это еще раз показать. Меня насторожило то, что один из читателей в комментарии захотел применить массивы в задаче определения множества аналогов номенклатуры, когда соответствие подходят лучше и решают задачу быстрее. Разницу в отклике 700 или 250 миллисекунд оператор уже чувствует.
Я задумывался о том о том, что в другой системе, производительность которой может быть на порядок больше или меньше 1С, «правильными» окажутся другие структуры, о том, каковы потребности в памяти моего алгоритма, о том, какова идеальная структура данных для решения этой задачи, об измерении производительности в количестве операций чтения и записи и о много чем еще, но в статью поместить всего этого не получилось. Не счел эту задачу на сейчас достаточно актуальной, чтобы тратить время.
Морочить людям головы я не стремился, и что оптимизировать нужно только то, что реально плохо (APDEX) я из своей практики знаю. И вот, например, в работе я именно так и делал. А почему этого никто не сделал (привел к линейной зависимости эти вычисления) раньше? Как Вы думаете?
(19) Я думаю, что никто этого не сделал раньше из-за отсутствия в персональной БД следующих документов:
1) ЗаказНаПроизводство
2) ИнтересКПроблеме
3) ВыдающийсяТалант
In other words, Вася, безжалостный и беспощадный, рулит вовсю.
Профессор, если уж такое дело, не
дадите на опохмелитьсяпосмотрите мою студенческую работу(19) Благодарю за
пиво без водки деньги на ветервысокую оценку студенческой работы! Пришла вот еще какая-мысль в голову: на обсуждаемых графиках быстродействия отсутствует очень важный инструмент! Да-да, SQL как таковой. Ведь это же язык-интерпретатор, и в этом смысле действительно любопытно, где он на этой шкале между Си (=1 by definition) и 1С (approx 50 from estimation (9)).Спасибо! не все конечно понятно, но то что хотел — освоил
Вот всё мне в изложенном нравится, кроме одного: коллекция «Соответствие» не совместима напрямую ни со списками, ни с массивами, ни с таблицами значений, ни тем более с выборками запросов или результатами Построителей/СКД. Поэтому очень многое насчёт соответствий, к сожалению, сферический кодинг в вакууме, т.к. потеря времени на заполнение соответствия иногда бывает трудно соизмерима с выигрышем скорости при его последующем чтении.
А главное, и извратные способы медленны, и заполнение циклом тоже. Вот кабы можно было, например, скопом заполнить всё соответствие из двуколоночной таблицы или из списка, или ещё откуда, но… Увы нам.
Причем тут алгоритмы и пример использования структуры 1С «Соответствие»?
Алгоритмы — это простейшие операции, которые мы можем наблюдать и контролировать, а когда задача выполняется с помощью библиотек процедур, функций, классов и объектов — это не алгоритм, а иная реализация. Пытаться унизить американцев или блеснуть своим аналитическим мышлением в данном случае — плохая идея. Все равно, что к изобретению колеса добавить открытие каучука: принцип действия не меняется.
Вот, если бы вы для применения к данной задаче использовали открытый массив с индексом с описанием метода поиска в рамках этой задачи, это было бы ответом.
(24) Устал повторять, но не будьте, пожалуйста, так буквальны в понимании названии статьи. Я рассчитывал на читателей с чувством юмора. Вы прочитали комментарий (8)?
В самой статье я говорю не об алгоритмах, а о решении той же задачи. О том, что
Я просто-напросто, читая статью, подумал о том, как можно решить эту задачу на 1С. Попробовал использовать соответствие, поскольку применял его раньше в решении задач на графах, и получил в два с половиной раза более быстрое решение задачи, чем у автора исходной статьи. Мне показалось, что это решение будет интересным и поучительным. Вы так не считаете?
применение специфики платформы для ускорения — не панацея
в бытность свою студентом (80-90-е)
писал на турбопаскале программу рендзю, в ЧМ участвовала
а для увеличения производительности делал ассемблерные вставки, ручками данные между регистрами распределял
так вот —
1. муть это все. ибо при переделки базовых алгоритмов приходилось смотреть на эти вставки и думать — выкинуть или написать новые. не продуктивно, особенно если есть другие занятия
2. а переделки именно алгоритмов и структур хранения данных о позициях давала ускорение в 5-20 раз, тогда как применение ухищрений — раза в 2-4
3. так что мой совет — читайте Кнута, это полезнее
(26) ЧИА, кажется, вы слишком поверхностно отнеслись к содержанию статьи и в итоге «отгадали все буквы, но не смогли назвать слова».
Ассемблерные вставки это совсем не то же самое, что использование соответствия. Ассемблерные вставки не меняют вид зависимости в оценке трудоемкости программы, а только меняют коэффициент в формуле этой оценки. Они здесь не при чем.
Использование соответствия проходит по пункту «переделки алгоритмов и структур хранения данных». По второй части этого пункта.
Если еще помните работы Дональда Кнута, то у него там была такая машина MIX. В томе 1 в разделе 1.3.1 на странице 180 советского издания (оно сейчас стоит у меня на полке) написано, что каждой операции машины MIX приписывается время выполнения, типичное для современных машин. Современность там — 1968 год. Это наш перевод вышел в 1976 году.
У нас сейчас 2014 год и не MIX, а 1С. У нее своя таблица времени выполнения отдельных операций. И моя мысль в том, что при реализации и сравнительном анализе алгоритмов на 1С нужно использовать именно эту таблицу, которая вовсе не mixed.
(27)
то у него есть четкое разделение, и не в 1, а в 3 томе
глава 6.2 поиск путем сравнения ключей
ваш метод, как я думаю, относится к 6.2.4, Сильноветвящиеся деревья
и именно к конкретной оптимизации под реализацию в 1с
перечитайте
у меня на полке издание 2000 года
алгоритмы и источники, те, что я заметил, до 1997г (SODA 8), 1998г (SODA 9)
и, да, в 3 томе многое минимум от 1970(80,90)+
так что ваши книги немного устарели
(27)
Использование соответствия проходит по пункту «переделки алгоритмов и структур хранения данных». По второй части этого пункта.
к сожалению, вы не застали 286 и его приколы
ассемблерные вставки позволяли пропускать чтение данных из памяти если они уже были в регистрах
или не пушить-попить параметры, а читать напрямую из памяти / возвращать (или не возвращать, если дальше был однозначный расчет, все лежало дальше в регистрах)
и т.д. и т.п.
что именно меняло как саму идеологию хранения данных
так и алгоритмы их обработки
просто уж больно это было муторно
и
так и алгоритмы их обработки
просто уж больно это было муторно
по моему — одного поля ягоды
(28) ЧИА, попробую пояснить свою мысль.
Я совсем не против изучения книг Кнута, Сэджвика и прочих. Тем более, что сам большой любитель этой литературы. Я против делания из этого культа и бездумного применения рекомендаций и оценок из этих книг. Нужно понимать, что оценки производительности алгоритмов в книгах делались с оговорками. В расчете на определенную модель вычислителя. Если бы в этом вычислителе применялся, например, какой-нибудь «квантовый сопроцессор», который делал бы сортировку любого массива за один такт работы процессора, то оценки алгоритмов, опирающихся на сортировку, были бы другими. Есть целое направление исследования быстродействия параллельных алгоритмов, где те же классические задачи имеют другие оценки временной сложности.
Так вот, платформа 1С предлагает нам иную модель вычислителя, где оценки относительного времени выполнения элементарных операций отличаются от используемых при анализе классических алгоритмов. Это нужно обязательно учитывать при реализации алгоритмов на 1С. Иначе полученные время выполнения программы на 1С и зависимость времени от размерности задачи просто не совпадет с действительностью, которая одна и является критерием истины, а вовсе не бездумное следование заветам какого-либо классика.
(31) Если идеология менялась — непонятно почему был маленький выигрыш — вы же сами это отметили. Значит, неправильно менялась. Бывает. В случае, описанном в данной статье, это было не так.
(32) Все, что сказано Яковом, совершенно верно, но к данному законченному решению не применимо.
…
Что вы называете муторным? — Посмотрите на текст программы в статье! — Там десяток строчек. Использование соответствия позволило получить и быстрый и выразительный код. Мне кажется, в данном случае вы не стараетесь вникнуть в суть решения, а просто рассуждаете по шаблону.
Алгоритм – слегка улучшенный алгоритм «Быстрый поиск». Вместо кода подмножества, используется ссылка на соответствие. При объединении все так же требуется скопировать часть подмножества (улучшение состоит в том, что не нужно сканировать весь массив).
Если объединять (худший случай) два подмножества в каждом из которых N/2 элементов, то это потребует:
— N/2 операций чтения из соответствия (Для Каждого Этого Из Связи[Ежа] Цикл);
— N/2 операций вставки в соответствие (Связи[Ужа].Вставить(Этого.Ключ));
— N/2 операций чтения из массива (…= Связи[Ужа]);
— N/2 операций записи в массив (Связи[Этого.Ключ] =…).
Операция «Связи[Ужа].Вставить(Этого.Ключ);» затратна и, если проанализировать алгоритм, нужна только для вычисления размера подмножества. Это бессмысленно. Быстрее работать с массивом.
Соответствие эффективно для поиска значения по ключу. Здесь вообще нет обращений типа «Связи[][]». Для перебора можно было взять список значений (не требуется проверять уникальность при добавлении, мы ее проверяем на этапе: Связи[Ежа] <> Связи[Ужа]).
(34) max1c,
Вот тут нужны не голословные, а реальные доказательства. Обработку для тестирования можно взять из исходной статьи. Ваша задача проста — создать алгоритм и написать программу, не использующий соответствия, работающий быстрее моего. Кода тут всего ничего. — Попробуйте!
Кстати, соответствие здесь действительно можно заменить списком значений (на этапе построения). Вот только будет ли это быстрее?