Запрос против рекурсии или разузлование номенклатуры




Принцип обмена данными из 1С с сайтом (на MySQL) и выдачи (публикации) этих данных по запросу.
PHP-Скрипт автоматической загрузки данных из файла данных в формате CSV в базу данных сайта работающего на WordPress.

В продолжение моей темы: 1С:Альфа-Авто Автосалон Автосервис: обмен с сайтом.
С помощью данного скрипта можно загружать в автоматическом режиме, по расписанию, данные сервисных книжек (ремонтов авто) из 1С:Альфа-Авто Автосалон Автосервис.
Также можно загружать данные в ручном режиме: для этого делается скрытая страница, где размещается специальная кнопка.
Комментарии размещенные внутри скрипта разъяснят логику и порядок действия.
Комментарии с "/////    echo" использовались для отладки.
Дополнительно создана таблица для журналирования результатов загрузки данных.
Скрипт включает в себя защиту от SQL инъекций (думаю безопасность соблюдена в полной мере).
В кратце:
1. Пишется скрипт, который запускает этот.
2. Создается регламентное задание в WordPress, по которому запускается скрипт из п.1. 
3. Этот скрипт осуществляет проверку на существование файла обмена в папке.
4. Если данные не новые, загрузка не производится.
5. Если данные новые, очищается таблица сервисных книжек.
6. Загружаются новые данные.

Собственно сам скрипт:

<?php // Полная загрузка сервисных книжек, создан 2025-01-05 12:44:55

global $wpdb2;
global $failure;
global $file_hist;

/////  echo '<H2><b>Старт загрузки</b></H2><br>';

$failure=FALSE;
//подключаемся к базе
$wpdb2 = include_once 'connection.php'; ; // подключаемся к MySQL
// если не удалось подключиться, и нужно оборвать PHP с сообщением об этой ошибке
if (!empty($wpdb2->error))
{
/////   echo '<H2><b>Ошибка подключения к БД, завершение.</b></H2><br>';
$failure=TRUE;
wp_die( $wpdb2->error );
}

$m_size_file=0;
$m_mtime_file=0;
$m_comment='';
/////проверка существования файлов выгрузки из 1С
////файл выгрузки сервисных книжек
$file_hist = ABSPATH.'/_1c_alfa_exchange/AA_hist.csv';
if (!file_exists($file_hist))
{
/////   echo '<H2><b>Файл обмена с сервисными книжками не существует.</b></H2><br>';
$m_comment='Файл обмена с сервисными книжками не существует';
$failure=TRUE;
}

/////инициируем таблицу лога
/////если не существует файла то возврат и ничего не делаем
if ($failure){
///включает защиту от SQL инъекций и данные можно передавать как есть, например: $_GET['foo']
/////   echo '<H2><b>Попытка вставить запись в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>$m_comment));
wp_die();
/////    echo '<H2><b>Возврат в начало.</b></H2><br>';
return $failure;
}
/////проверка лога загрузки, что бы не загружать тоже самое
$masiv_data_file=stat($file_hist);   ////передаем в массив свойство файла
$m_size_file=$masiv_data_file[7];    ////получаем размер файла
$m_mtime_file=$masiv_data_file[9];   ////получаем дату модификации файла
////создаем запрос на получение последней удачной загрузки
////выбираем по штампу времени создания (редактирования) файла загрузки AA_hist.csv, $m_mtime_file

/////   echo '<H2><b>Размер файла: '.$m_size_file.'</b></H2><br>';
/////   echo '<H2><b>Штамп времени файла: '.$m_mtime_file.'</b></H2><br>';
/////   echo '<H2><b>Формирование запроса на выборку из лога</b></H2><br>';
////препарируем запрос
$text_zaprosa=$wpdb2->prepare("SELECT * FROM `vin_logs` WHERE `last_mtime_upload` = %s", $m_mtime_file);
$results=$wpdb2->get_results($text_zaprosa);

if ($results)
{   foreach ( $results as $r)
{
////если штамп времени и размер файла совпадают, возврат
if (($r->last_mtime_upload==$m_mtime_file) && ($r->last_size_upload==$m_size_file))
{////echo '<H2><b>Возврат в начало, т.к. найдена запись в логе.</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>'Загрузка отменена, новых данных нет, т.к. найдена запись в логе.'));
wp_die();
return $failure;
}
}
}
////если данные новые, пишем в лог запись о начале загрузки
/////echo '<H2><b>Попытка вставить запись о начале загрузки в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>0, 'last_size_upload'=>$m_size_file, 'comment'=>'Начало загрузки'));

////очищаем таблицу
$clear_tbl_zap=$wpdb2->prepare("TRUNCATE TABLE %s", 'vin_history');
$clear_tbl_zap_repl=str_replace("'","`",$clear_tbl_zap);
$results=$wpdb2->query($clear_tbl_zap_repl);
/////   echo '<H2><b>Очистка таблицы сервисных книжек</b></H2><br>';
if (empty($results))
{
/////   echo '<H2><b>Ошибка очистки таблицы книжек, завершение.</b></H2><br>';
//// если очистка не удалась, возврат
$failure=TRUE;
wp_die();
return $failure;
}

////загружаем данные
$table='vin_history';         // Имя таблицы для импорта
//$file_hist Имя CSV файла, откуда берется информация     // (путь от корня web-сервера)
$delim=';';          // Разделитель полей в CSV файле
$enclosed='"';      // Кавычки для содержимого полей
$escaped='\

99 Comments

  1. ILM

    Однозначно интересный подход, сейчас попробую его на реальных данных.

    Reply
  2. Арчибальд
    Reply
  3. Арчибальд
    6-уровневый 10-арный граф , имеющий 1 000 000 различных ветвей и при обходе такого графа таблица ВремТаблица6 на выходе цикла алгоритма содержит 1 000 000 записей.

    Позволю себе не согласиться. По этой логике 2-уровневый 3-арный граф должен дать 9 записей. У меня гораздо больше получается… А циклов нет, прошу заметить.

    Reply
  4. ildarovich

    (0) Игорь! Именно так я и представлял себе Ваше решение (по Вашим предварительным словам). Оставляйте «СГРУППИРОВАТЬ ПО»! — Именно это не дает экпоненциально расти времени работы Вашего алгоритма. А с контролем зацикливания лучше придумать что-либо другое! — Нужно просто оставлять во временной таблице пройденные узлы не в виде нарастающей строки пути, а как-либо по-другому…

    Reply
  5. Арчибальд

    (4) Не выйдет. Если мы не помним весь путь, то цикла не обнаружим.

    Кстати, время там не по экспоненте растет, а еще круче. Факториально.

    Reply
  6. ildarovich

    (3) Там, видимо, была оговорка. Имелся в виду не граф, а дерево. Корень дерева — нулевой уровень.

    Reply
  7. Ish_2

    (2) Твой код я посмотрю. А пока так:

    Я уже писал тебе , что алгоритмов работы с графом — «тьмы и тьмы и тьмы » . Сами по себе эти алгоритмы , как и представленный в этой статье, — очевидны , просты , НЕИНТЕРЕСНЫ. За месяц я просмотрел «тучу» алгоритмов — образцовых, доморощенных, школьных. Если хочешь , еще раз пройдусь по интернету и вышлю тебе сколько нужно похожих алгоритмов : 2 ? 5 ? 10 ? Так вот .

    Это истоптанная вдоль и поперек поляна и говорить о первенстве или об авторстве просто смешно .Перебирая реализации , независимо от того «на чём» ? я задавал только один вопрос : «Сколько секунд на тест № 1 ?» . Получал ответ , и говорил автору «спасибо, не нужно.»

    Цель этой публикации — не изобрести НОВЫЙ алгоритм, а решить «узко-конкретный» вопрос :

    КАКИМ ДОЛЖЕН БЫТЬ В СУБД САМЫЙ БЫСТРЫЙ , САМЫЙ НАДЕЖНЫЙ АЛГОРИТМ РАБОТЫ С ГРАФОМ ? И КАК ЕГО РЕАЛИЗОВАТЬ ?

    Я ответил на него как мог.

    Reply
  8. Арчибальд

    (6) Ну нет, автор постоянно в обсуждениях подчеркивал произвольность графа. Если бы речи шла о дереве — можно было бы организовать обход «вглубь» и помечать пройденные дуги. Сложность тогда почти пропорциональна количеству узлов/дуг.

    Reply
  9. ildarovich

    (5) Я имел ввиду помнить не путь, а пройденные вершины — порядок ведь не важен, но эту мысль еще нужно обдумать.

    По поводу роста времени я имел ввиду не рост в зависимости от числа уровней, обусловленной природой задачи, а дополнительный рост времени, обусловленный тем, что мы не сворачиваем таблицу после каждой итерации… хотя, Вы, наверное, правы.

    Reply
  10. Арчибальд

    (7) Конечно же речь не о первенстве/авторстве. У себя я указываю, что алгоритм стандартный. Соответственно, у тебя тоже. А вот сколько таки секунд на тест #1 получилось? Иначе говоря, насколько создание временной таблицы и обход ее запросом быстрее/медленнее создания в памяти массива и обьхода его в цикле?

    Reply
  11. Ish_2

    (10) Робею отвечать . Вроде бы старался в теме отобразить все параметры теста №1.

    Для тебя лично :

    На твоем компьютере (если в нем более 1 Гб оперативной памяти)

    в файловом варианте в демонстрационной конфигурации 1сv8 БП 1.6 или БП 2.0 время

    выполнения теста №1 «Десять» 25 — 60 сек. (неофициально надеюсь , на 18 сек как у меня )

    P.S. На всякий случай, просмотрел тему (у меня IE8) — там четко написано и выделено Жирным щрифтом Тест № 1 «Десять», далее идет таблица с результатами тестирования , в первой строке таблицы две колонки :

    файловый вариант ——————— 25 -60 сек

    Reply
  12. Ish_2

    (2),(3) Хм… Постарался внимательно перечитать еще раз .

    Судя по всему , мы говорим каждый о чем — то своём.

    В каждом предложении комментарии (2) , уверен , непонимание настолько зашкаливает , что я даже не знаю с какого места начинать разговор.

    Reply
  13. ildarovich

    (4) (5) Поторопился с выводами. Действительно, пока не придумывается как совместить контроль зацикливания и «сгруппировать по» в предложенном запросе.

    Но! — Это легко контролировать при записи каждой спецификации! Так что такой контроль нужно просто перенести в другой модуль — вот такое решение!

    Reply
  14. Ish_2

    (13) В статье я неслучайно отказался от рассмотрения этого вопроса:

    Как же сделать , какие предусмотреть дополнительные структуры (справочники), которые :

    1. Автоматически изменяются при записи элемента спецификации (изменении узла графа).

    2. Обладают «ускоряющими » свойствами при построении графа.

    Здесь возможны варианты и варианты. Думаю , это тема отдельного разговора.

    Пока выяснять это рано.

    ( для меня , конечно, потому что я не знаю возможно ли здесь общее решение без привязки к конкретной задаче (конкретному виду графов)).

    Reply
  15. hogik

    (0)

    Ставлю «плюс» на сообщение (2) от Александра (Арчибальд) — ВСЁ сказано.

    Однако, автору рекомендую:

    1) Провести замеры не для «теплого» запуск своего алгоритма.

    2) Подсчитать реальное количество операций ввода/вывода на сервере.

    3) Вспомнить, что индексная структура таблицы БД уже есть — «дерево».

    Скажу грубо.

    Проведено, в очередной раз, тестирование эффективности кэширования системы ввода/вывода ОС-а (для файлового режима) и СУБД (для клиент-серверного режима).

    Хотя, я полностью согласен с утверждение автора:

    «…встроенных возможностей платформы 1с…вполне достаточно…»

    для тех задач, для которых ОНО предназначено. 😉

    P.S.

    Поправка к «Автор провёл опрос… для Теста № 1…140-220 сек.».

    Без использования 1С.

    Для файлового варианта: 35 сек.

    Для клиент- серверного варианта: 70 сек.

    Алгоритм — тупой обход «дерева» рекурсией или циклом (не имеет значения).

    И это время не зависит от «вида дерева».

    Рабочих таблиц в алгоритме не создаётся.

    Исходная таблица не подвергалась «ревизии».

    Т.е. никаких дополнительных полей, индексов, фильтров и т.д. — не создавалось.

    Reply
  16. Ish_2

    (15) Допускаю, что я что-то не понял в посте Арчибальда. Может быть. Но повторяю, меня не интересуют алгоритмы ,как таковые. Меня интересуют объективные тесты.

    Теперь, к сожалению , о более общих вещах.

    Для кого-то совершенно очевидных , для кого -то — нет.

    Владимир , поверьте мне — не мы первые спорим в этом мире .

    Размышлизмами можно делиться до бесконечности.

    За тысячи лет человечество выработало некие правила, азы ведения споров, выяснения ,(пусть и несовершенного) некоторого приближения к истине.

    Первое правило : наличие критерия. Я его предложил в теме : тест №1 и тест № 2 и вопрос СКОЛЬКО ?

    Если Вы его не принимаете ( имеете право !), то предлагайте свой или закончим.

    Если принимаете то :

    Приводите результаты тестирования :

    Ваш вариант (кратко какой ) :

    1. Номер теста .

    2. Время выполнения.

    На той же машине — мой вариант (файловый или клиент -серверный) :

    1. Номер теста .

    2. Время выполнения.

    На одной одной машине объективно сравниваются два разных решения.

    Сравнение — есть основа анализа. Никакого анализа без сравнения быть не может .

    Вы понимаете ?

    Приводить одни результаты без приведения результатов для альтернативного варианта — бессмысленно. Если результаты будут сочтены интересными обеими сторонами, то стороны разбираются и выясняют, как могут, истину.

    Но вначале ( Внимание !) не размышлизмы, а факты. Вы готовы к такому конкретному разговору ?

    Если что-то показалось обидным — то виноват .

    Но как еще проще объяснить , совершенно очевидные вещи — я просто искренне не знаю. Мы играем по правилам , или мы не играем вовсе.

    Reply
  17. hogik

    (16)

    Игорь.

    Вы не читаете мои сообщения. 🙁

    1) «На одной одной машине объективно сравниваются два разных решения.»(с)

    С самого начала обсуждения я Вам сказал, что сравнивать абсолютными величинами — бред. Сказал Вам, что еще и разные среды программирования, разные СУБД, разные ОСы и т.д. Нет! Вы упорно хотели получать от меня абсолютные величины. Вы их получили…

    И вы теперь меня спрашиваете: «Вы понимаете ?»(с)

    2) «…меня не интересуют алгоритмы ,как таковые. Меня интересуют объективные тесты»(с)

    Тесты — чего? Тесты «результатов»?

    3) «Сравнение — есть основа анализа. Никакого анализа без сравнения быть не может.»

    Вам на протяжении всей темы про запросы предлагалось сравнивать.

    4) «Вы готовы к такому конкретному разговору ?»

    Я, давно, с Вами веду конкретный разговор. И не получаю ответов на самые просты вопросы. Ну хоть на пункт #2 из сообщения #15 — дайте ответ.

    5) В моём сообщении #15 есть «P.S.», как замечание к конкретным данным из Вашей публикации. Но есть и другой текст. Вы его прочли?

    Reply
  18. Ish_2

    (17) Понятно.

    Reply
  19. ildarovich

    (16) Игорь!

    Как говорится: «Платон мне друг, но истина дороже!» —

    Я переписал свой алгоритм Как не попасть на миллион на Ваш случай — типовую БП (хранение спецификаций в отдельном справочнике).

    У меня получилось (только файловый вариант):

    Тест №1 — 0,468 сек.

    Тест №2 — 0,172 сек.

    Как будете проверять?

    Вообще я приложил к своей статье внешний отчет для БП, но сам его на БП не проверял (у меня в базе только минимум объектов).

    Reply
  20. Ish_2

    (19) Отлично.

    Давайте договоримся о сценарии тестирования и сравнения.

    Итак, сравниваются две универсальных обработки работы с графом

    Первое. Нужно выбрать площадку(среду) для сравнения.

    Предлагаю демо-конфиграцию БП 1.6 или БП 2.0.(как самую распространенную конф-ию) .Она должна быть у Вас и у меня.

    Второе. У Вас и у меня должны быть сравниваемые внешние обработки.

    Обе обработки должны быть тщательно отлажены и проверены авторами в БП1.6(2.0).

    Чтобы не было возгласов «Ой! я тут исправлю — ой! тут не проверил».

    Т.е. по-врослому.

    Третье.Авторы обмениваются произвольными тестами заполнения Справочника СпецификацииНоменклатуры и сравнивают результаты тестирования.

    Если три пункта (совершенно очевидных) принимаются, то начинаем .

    Если ДА, то первым тестом от меня будет граф 1-10-10-10-10-10-10 со всеми уникальными значениями. Ведь у нас с Вами не заточки под тесты №1 и №2, а универсальные обработки для работы с графом. А для универсальных обработок

    первое свойство — работоспособность и устойчивость. Вначале его проверим , а потом уж будем соревновать в скорости.

    Договорились ?

    Reply
  21. ildarovich

    (20) Договорились.

    1. БП 1.6.

    2. Мне потребуется денек (отвлекают тут меня) на тщательную отладку (на всякий случай).

    3. Согласен.

    4. Первый тест принимается.

    5. Еще хотелось бы электровоз найти. Хотя бы без наименований в виде списка (Код-Код-Количество).

    5. Приз — «плюсик» к статье от проигравшего победителю.

    6. Разумные сроки на ответы (не часы).

    Reply
  22. Ish_2

    (21) Отлично.Принимается.

    Какой вариант выберем в качестве основного ?

    Файловый или клиент-серверный ?

    (обычно сравнения и тесты делаются для клиент-серверного варианта , как более устойчивого и предсказуемого на больших объёмах, но — дело Ваше)

    Reply
  23. ildarovich

    (22) Файловый, если результаты не будут очевидно разными. Тогда решим заново.

    (просто у меня трехзвенка только на работе)

    Reply
  24. m_001

    Надеюсь автор не будет возражать 😉 , если добавлю версию для УПП 1.3.5.1. на платформе 8.2. Просто мы давно перешли на УПП и работаем только с ним.

    Так что посмотрите обработку для УПП в прикрепленном файле.

    Разузлование проходит быстро, ошибки зацикливания тоже ищутся.

    Reply
  25. Ish_2

    (23) Отлично.

    Теперь об удобстве сравнения и анализа. Сравниваемые обработки должны обладать таким развитым интефейсом,

    чтобы пользователь мог быстро интерактивно проверить созданный граф, внести специальные ошибки и посмотреть результат. Не буду же я гадать правильно ли создан огромный граф рассматриваемой обработкой или нет ?

    Т.е. я это должен сделать интерактивно как пользователь , а не ковыряя чужой код, и не ломая голову над созданным графом в виде таблицы.

    Иначе пустые споры : «правильно-неправильно» затянутся , как у меня с Владимиром.

    Предлагаю (но не настаиваю) скачать обработку ЗапросПротивРекурсии.epf и посмотреть как в ней решены вопросы контроля и какие созданы средства для быстрой проверки.

    Еще раз — мы рассматриваем вопрос как создать удобные и быстрые средства контроля и анализ ошибок , а не сам алгоритм (он у каждого свой). Грубо говоря — договоримся и создадим оснастку

    Reply
  26. Ish_2

    (10) Ты уж уважь… Напиши сколько длится в твоей реализации Тест №1 на 77 на твоей машине, и если есть у тебя демо-конфигурация БП 1.6(2.0) , то сколько в ней длится тест №1 для обработки «ЗапросПротивРекурсии.epf».

    Т.е. предлагаю обмениваться числовыми характеристиками.

    Тогда всё упростится и истина , надеюсь, станет ближе.

    Reply
  27. Арчибальд

    (26) ОК. Займусь. Сделаю регулярное дерево и попробую. Чуть позже.

    Reply
  28. Ish_2

    (27) Спасибо. Но на всякий случай… А то тут у нас Сергеем как-то вышло недоразумение.

    Обработка твоя должна быть универсальной , т.е. не «заточкой» для теста №1 с известной регулярной структурой, а эффективной для любого графа. Это значит , и то что алгоритм твой при начале работы — ничего не знает ( не обладает априорной информацией) о характере графа.

    Извиняюсь , если обидел таким разжёвыванием.

    Reply
  29. Ish_2

    (24) Пропустил Ваш пост. Сообщение мне на e-mail чего -то не пришло. Виноват. Посмотрю.

    Reply
  30. Ish_2

    (24) УПП у меня — нет . Но насколько я слышал , там должен быть Регистр где содержится ОсновнаяСпецификацияНоменклатуры. Т.е. спецификаций у номенклатуры может быть несколько. В моей же обработке они все сольются в одну, если их несколько. Это нездорово.

    Поэтому , строго говоря , в код обработки должны быть внесены изменения :

    во временную таблицу Спецификации (процедура КнопкаВыполнитьНажатие()) должны копироваться не все спецификации , а только те, для которых установлено в регистре что это основная спецификация . Примерно так .

    Если сможете сделайте — я выставлю в теме это как Ваш файл .

    И еще одна просьба : приведите , пожалуйста пример насколько быстро разузловывается «самая большая Ваша номенклатура».

    Reply
  31. Ish_2

    (15) Высылаю обещанное.

    Reply
  32. hogik
    Reply
  33. hogik

    (31)

    Про Ваши замеры — «специально для меня».

    По поводу строчки «вылетело SQL».

    На «моей» СУБД стартовый объем занимаемой памяти — 254 мегабайт.

    В процессе обхода дерева в миллиард вершин дошло до 320 мегабайт.

    Рабочих таблиц не использую… 😉

    Reply
  34. WKBAPKA

    ребята, я уже попкорн весь съел… это у вас из серии: что первым было, курица или яицо? 😉

    Reply
  35. WKBAPKA

    на самом деле, всегда эффективнее будет работа с памятью… запросы от платформы к платформе могут иметь разную производительность, все зависит от реализации… работа же с памятью практически всегда будет эффективнее … объем информации в данном случае не имеет значение, т.к. на себя эту задачу берет операционная система… ко всему прочему, как описывается в некоторых учебниках по запросам к 1С, когда запросы преобразовываются в TSQL могут быть выбраны разные планы, в этом случае запрос может выполняться часами… имхо, то что я читал… отсюда могу сделать вывод, что решать данную задачу запросами будет не эффективно, с точки зрения скорости…

    Reply
  36. hogik

    (35)

    «работа же с памятью практически всегда будет эффективнее … объем информации в данном случае не имеет значение, т.к. на себя эту задачу берет операционная система…»(с)

    Ярослав.

    Поиск волшебных палочек продолжается? 😉

    У Игоря — «запросы». У Вас — «операционная система».

    В моём сообщении #33 не опечатка в части количества записей.

    Т.к. у меня формат таблицы от «1С 7.7», то это около 77 гигабайт.

    В «1С 8.х», думаю, размер записи больше будет.

    Читайте таблицу в память, считайте время закачки, покупайте новый «сервер»…

    Reply
  37. Ish_2

    (32)

    — Почём твоя скотина , ковбой ?

    — Что Вы знаете о скотине , мистер … В далекие времена , когда воды Миссисипи были полны и скотина бегала сама по себе…

    — Почём твоя скотина , ковбой ?

    Понятно , что мистер ничего не знает о скотине, а ковбою есть что сказать о труде животновода и вопрос о качестве мяса ой-как непрост .

    Но нужна числовая характеристика в виде цены как некий ориентир, стоит ли продолжать разговор ?

    Нужно узнать хотя бы порядок цены . Рассказ животновода о качестве скотины , как он его понимает, можно потерпеть и послушать в одном случае — когда объявляется цена в приемлемом диапазоне. Понимая , что вопрос быстродействии каждого алгоритма очень непрост , тем не менее нужен какой-то ориентир , начальный критерий отбора для реализации решения конкретной задачи «разузлования». Этот критерий — время исполнения по тесту № 1 должно лежать в диапазане 15-30 сек для «среднеофисных»

    рабочих станций и для «среднеофисных» серверов. Пусть грубо, пусть много»НО» — но критерий есть.

    Почему такой ? — потому что, тогда в реальных «немиллионных» задачах быстродействие

    будет более, чем удовлетворительным.

    А теперь подумайте , будет ли «мистер» слушать рассказы о непростой работе сервера при объявлении «цены» алгоритма в 200 сек, когда нужно 20 ?

    Не судите строго «мистера», когда он обрывает собеседника :

    Так, почём твоя скотина, ковбой ?

    Reply
  38. hogik

    (37)

    Игорь.

    Вы всё о «числах» говорите.

    А я Вам говорю, что Ваш алгоритм не работает.

    Что толку считать за 20 секунд на тестовой задаче.

    Примеряться к реальной 20/10=2 сек., если он НЕ РАБОТАЕТ.

    Я Вам выдал все замеры с пояснение — где работоспособный алгоритм проигрывает. Дал заранее (!!!) опровержение Вашего утверждения про «что 1с-овский интерпретатор неэффективен ?»(с) Пояснил, на пальцах, почему используется в реальных задачах обход дерева «по всем вершинам». Попросил Вас провести замеры Вашего алгоритма в реальных условиях — мимо. Выдал «числа» близкие к «заветному числу», но для работоспособного алгоритма — мимо. И т.д.

    Я не ставлю «минусы» за реально проделанную работу автором.

    Ставил «минус», только, на публикации украденные или нарушающие правила ресурса.

    Но за такую «работу» поставлю.

    Халтура и верхоглядство это.

    Да еще и с элементами откровенного вранья.

    Только не понимаю — зачем Вы это делаете… 🙁

    Reply
  39. Ish_2

    (38)

    В статье приведен взгляд автора на оптимальный алгоритм работы с графом, приведены результаты такого тестирования , которое доступно автору.

    Прикреплен файл с реальной обработкой в реальной среде Демо-конфигурации БП 1.6.

    Желающий может всё проверить .

    Конкретная же цена Ваших альтернативных решений 140- 220 сек — слишком высока для мистера.

    Что же до минуса … Никаких обид.

    Reply
  40. WKBAPKA

    2(36): причем тут волшебная палочка ? я имел ввиду, что все что касается работы с памятью прикладным программистам не доступно, что за это отвечает операционная система и что код будет работать быстрее, если это будет работа с массивами данных в памяти, а не запросы…

    Reply
  41. Ish_2

    (40)

    «код будет работать быстрее, если это будет работа с массивами данных в памяти, а не запросы…»

    Истин общих — нет.

    Если рассматривать вопрос в контексте данной темы , то в статье как раз и показано что запрос эффективнее, чем использование рекурсии в оперативной памяти. И намного.

    См. Рис.9 в теме.

    Reply
  42. huse

    (0) Если сделать рекурсию с кэшем — это будет самое быстрое разузлование. Так как задача разузловки для каждого вида узла будет решаться только один раз.

    ЗЫ И вообще некорректно сравнивать рекурсию с запросами. Запрос — это выборка из БД. Рекурсия — это способ перебора различных списков. Можно пользоваться запросами вместе с рекурсией. Рекурсия дает минимальный и прозрачный код. Перебор не очень очевиден и удобен — посмотрите сколько строк вы написали, чтобы сделать обход дерева. Если говорить о скорости — иногда приходится отказываться от рекурсии, но не всегда и не обязательно.

    ЗЗЫ. Если говорить о задаче разузловки — я бы использовал рекурсию, запросы и кэш (либо ввиде временной таблицы, либо ввиде соответствия).

    Reply
  43. Ish_2

    (42)

    Если сделать рекурсию с кэшем — это будет самое быстрое разузлование.

    Как гипотеза — принимается.

    Добиться каких-то практических результатов от специалистов по TSQL не удалось.

    Сам испытываю от такого подхода предельный скепсис, но буду рад , если появятся какие-то решения уже скорее не на ИС.

    Reply
  44. huse

    (43) Я решал подобную задачу на 7.7 — деталей было около 3-х тысяч. Глубина примерно 5-6 узлов (диван, модуль, каркас, элемент каркаса, деталь, технологическое объединение деталей, материал). Переход от плана производства диванов до потребности в сырье делался около 5-10 минут (за давностью уже не помню). В качестве кэша использовал СписокЗначений.

    Reply
  45. SatanClaws

    ТекстЗапроса = »

    |SELECT ‘» + РадугаСервис.ЗначениеВСтрокуБД(ЗначениеФильтра) + «‘ ID Into » + ИмяВремТаблицы + »

    |

    |While @@RowCount > 0

    |INSERT INTO » + ИмяВремТаблицы + »

    |SELECT

    | Спр.ID

    |FROM

    | $Справочник.» + ЗначениеФильтра.Вид() + » Спр

    | LEFT JOIN » + ИмяВремТаблицы + » ВремТаб (NoLock) on ВремТаб.ID = Спр.ID

    |WHERE

    | ParentID In (SELECT ID FROM » + ИмяВремТаблицы + » (NoLock))

    | And ВремТаб.ID Is Null

    |

    |If (SELECT Count(*) From » + ИмяВремТаблицы + » (NoLock)) > 100

    | Create Index » + СтрЗаменить(ИмяВремТаблицы, «[#», «[#IX_») + » on » + ИмяВремТаблицы + » (ID)

    |»;

    Это, кстати, от неявной рекурсии принципиально мало чем отличается….

    Но за популяризацию идеи — несомненно плюс.

    Reply
  46. Ish_2

    (44) Что-то подобное делал и я , лет 8-9 назад. Глубина такая же 5-6.

    Но от рекурсии отказался из-за тормозов и не поленился написать вложенный 6 раз цикл.

    Так было быстрее. Правда , потом оказалось , что одно изделие имеет уровень 7…

    Если же перейти к реализациям на 1с8 , то думаю , здесь рекурсии делать просто нечего. Огромный проигрыш. Известные мне реализации проигрывают поуровневому обходу графа «в лоб» (сверху-вниз) , описанному в теме , от 7 до 10 раз.

    Reply
  47. huse

    (46) я так же — сначала написал тупую рекурсию. считало ж-у-у-у-тко долго. по-раскинул мозгами — проблема была в повторных расчетах узлов. добавил кэш и все сильно-сильно ускорилось.

    Reply
  48. Ish_2

    (47) Ну , мнений-прогнозов может быть как угодно много.

    Мой прогноз : в 1cv8 c кэшем ли , без кэша ли, с повторным расчетом узлов (хотя не могу себе такого представить), без повторного расчета узлов (только так ,разумеется) рекурсионный подход проигрывает. Проигрывает жестоко , безнадежно.

    Да , ладно бы речь о каких-то блохах, скажем,

    рекурсионная реализация на «миллионном» тесте № 1 дала 40 сек против 20 сек (всего лишь в 2 раза).

    Тут многое можно оспорить в условиях эксперимента , можно привести миллион причин почему это произошло

    и требовать пересмотра условий. Даже 80 сек (в 4 раза)еще не дает гарантий. Но 140 сек(в 7 раз) — это перебор.

    С другой стороны , конечно , это всего лишь эксперимент одного автора на ИС . И не более того.

    В свободное время, смеха ради попробуйте реализовать Тест №1 и запустите свою обработку графа.

    Может быть , Вы меня опровергнете ?

    Опубликую в теме сразу : так мол и так, Huse доказал… и опроверг все построения автора.

    Обещаю.

    Reply
  49. huse

    (48) а твоя обработка требует разузлование.dt?

    Reply
  50. Ish_2

    (49) Виноват , не понял. Что такое разузлование.dt ?

    Моя обработка запускается в любой конфигурации БП1.6(2.0) для платформы 1с8.

    Ничего не требует. По кнопке запускается тестовое заполнение миллионного теста и «кнопка выполнить». Всё. См. Рис.9 темы.

    Reply
  51. cool.clo

    (44) Абсолютно похожим образом решал немного другую задачу — необходимо было нескольких сайтах свести номенклатуру, отсортировать по всем вложенным категориям(их где-то 6-7) и внести для всех общую артикулизацию. Также делал кэш (в смысле тоже СписокЗначений). Действительно с кэшем было веселее(когда я его сделал сам поначалу удивился как быстро). НО! Номенклатуры всего-то было тысяч 20…, поэтому я думаю рекурсия здесь не самый оптимальный метод. Согласен с Ish_2. В 1С я думаю этот метод просто не самый быстрый. (имею ввиду 8, поскольку с 7.7 не имел дела, вообще раньше делал небольшие учетные программки на Delphi (+SQL). 1С в функционале просто беспощадно выигрывает, но вот скорость надо сказать — вопрос кто выигрывает спорный, несмотря на то, что программы совершенно разные , да и программист я не ахти. )

    Reply
  52. kim241

    В рекурсивном примере добавьте индекс для таблицы значений и скорость резко взлетит 😉

    Reply
  53. Арчибальд

    (28) Весь день отвлекали враги. Вот только теперь добрался до результатов.

    Сразу оговорюсь: Таблицу, описывающую граф, я создаю не из справочника, а непосредственно. На тесте №1 замерить результат я не смог: он менее секунды. Тогда я к листьям из этого теста прицепил по 10 дуг со случайно выбранными концами (т.е. разузловываем не просто дерево, а с возможными циклами с 10 миллионами возможных путей длины 8). В этом случае разузлование длится около секунды, но заведомо меньше 2-х.

    Работал локально, база ДБФ-ная. 1С не перезапускал. Одна хитрость: кроме ТЗ_Дуги я использовал ТЗ_Узлы с колонками «Отец» и «СписокДетей», т.е. описание графа избыточно, примерно как в первоначальном тексте http://infostart.ru/public/78032/

    Прекращайте писать запросы!

    Reply
  54. Ish_2

    (53) Честно сказать , ничего не понял.

    Я полагал , что постановка аналогична той что в текущей теме . Дана таблица значений:

    Владелец, Номенклатура, Количество — задается начальный корень «владелец» и всё — поехали !

    Или

    Родитель, Ребенок , количество — задается начальное значение Родитель» и всё !

    Ты уж тогда опиши , что у тебя задано и что нужно найти.

    Или представь обработку .ert

    Для меня то , что ты написал полный ребус.

    Reply
  55. huse

    А откуда вообще предпосылка, что рекурсия медленная? Ведь другими словами Вы хотите сказать, что вызов функции в 8-ке медленный.

    Reply
  56. huse

    (50) понял — вечерком разверну — сделаю свой вариант в твоей обработке.

    Reply
  57. Ish_2

    (55) Строго говоря , прав только опыт. И чем больше опытов — тем лучше.

    (56) Ага. Так легче будет разбираться.

    Reply
  58. Арчибальд

    (54) Дана ТаблицаЗначений Отец, Сын, Количество.

    Есть конкретный отец.

    По ней я делаю еще одну ТаблицуЗначений Отец, Дети

    Дети — это СписокЗначений Сын,Строка(Количество) — мне в семерке неудобно искать всех сыновей каждый раз, я уж один раз ее (таблицу дуг) перелистаю.

    Потом разузловываю. Все за 1 секунду.

    Reply
  59. Ish_2

    (58) Ок. Буду смотреть.

    Reply
  60. hogik

    (40)

    Ярослав.

    1) «все что касается работы с памятью прикладным программистам не доступно»(с)

    Доступно.

    2) «за это отвечает операционная система»(с)

    Допустим. Но размер используемой памяти «заказывает приложение». Существуют ограничения количественные и «качественные» (одновременный доступ к данным с разных ЭВМ). И для уменьшения потребного размера необходимо в памяти иметь только нужную и возможную информацию. Этим, в частности, и занимается СУБД. А если в одной таблице, например, лежат «деревья» для разных «тепловозов» и требуется обработать конкретный «тепловоз» — надо отобрать нужные данные из таблицы БД. В схеме БД в постановке от Игоря — отобрать нужные данные равносильно решить конечную задачу.

    3) «за это отвечает операционная система и что код будет работать быстрее»(с)

    Для обсуждаемой темы, нет никакой связи в ответственности ОС-а и скорости кода.

    4) «если это будет работа с массивами данных в памяти, а не запросы…»(с)

    Безусловно. Остаётся НУЖНЫЕ данные рационально положить в память.

    (53)

    «Прекращайте писать запросы!»(с)

    Александр.

    А если нету никаких других средств обработки данных в БД?

    И даже в НАШЕЙ «1С 7.7» SQL-ной версии всё делается запросами.

    Для примера (примера !!!).

    Метод ВыбратьЭлементы().

    В DBF-ной версии ничего не выбирается. Это только установка на первую запись множества. А в SQL-ной версии это передача от сервера клиенту всего множества элементов справочника. А если они все не нужны приложению? А если приложение вызывает этот метод многократно?

    Reply
  61. hogik

    (58)

    Александр, дополнение к (60) о «Прекращайте писать запросы!» из (53).

    Методы «НайтиПоКоду(), НайтиЭлемент() и т.д» — в платформе реализуется запросами.

    Reply
  62. Ish_2

    (62) Это ты сгоряча. Попробуй накидать такую процедуру .

    Reply
  63. Ish_2

    (64) Да , согласен. Задача редкая и актуальна для крупных предприятий.

    Reply
  64. Ish_2

    (58) Эффектное начало «Прекращайте писать запросы !» — возбудило интерес.

    Я даже хлопнул в ладоши — » Это по-нашему ! Ай, да Арчибальд !»

    Ты щелкнул «миллионный граф» , как и Сергей, — за секунду и даже не насторожился : этого сделать еще никому и нигде не удалось .

    Теперь по существу. Будем плясать от печки — от постановки задачи.

    Графы номенклатуры (спецификации) в БД хранится в табличном в виде см. рис. 1 текущей темы . Другими словами , Таблица с колонками

    Владелец,Номенклатура, Количество полностью и однозначно описывает любой граф номенклатуры текущей конфигурации.

    Любые другие дополнительные структуры для хранения информации о графе ( в твоей обработке это «глТЗ_Узлы») — избыточны, и могут применяться в реальных проектах для ускорения обработки графа. Эта избыточность , как неизбежное зло, приводит к «геморрою» при модификации графа (согласованные изменения нужно проводить сразу в нескольких таблицах и следить за целостностью)

    Вот они-то, эти избыточные структуры, и не должны использоваться при решении.

    Еще раз. Когда стартует твой алгоритм ( у тебя процедура «Разузлование»)

    он должен иметь на входе справочник с реквизитами Владелец,Номенклатура,КОличество ( у тебя это таблица «глТз_Дуги») . ВСЁ ! Точка.

    В ней должен быть полностью описан исходный граф .

    Ты же на входе имеешь две таблицы глТЗ_Дуги и глТЗ_Узлы.

    Вот и весь секрет : в миллион раз упростив задачу — ты решил её за секунду.

    Reply
  65. Ish_2

    (45) А можно поподробнее ? Как ставилась задача и как решалась ?

    Здесь я вижу один из альтернативных подходов к задачам , подобным «разузлованию» :

    откажемся от встроенных возможностей платфомы 1с как неэффективных ! —

    и во внешней обработке обратимся к базе 1с через ADO- соединение.

    Ну и как ? Насколько помогло ? Каков максимальный граф ? и каково время обработки графа ?

    Reply
  66. Арчибальд

    (66) На входе алгоритма я имею Справочник.Наборы с реквизитами Отец, Сын (элементы справочника Номенклатурные позиции) и Количество. Это безызбыточное определение графа, бесспорно. Ну и что?

    Для графов существует множество задач, и для решения их могут и должны использоваться разные представления. Для разузлования я выбрал глТЗ_Узлы, формирую эту единственную таблицу простейшим запросом (см. рис.) и при разузловании пользуюсь только ей. Никаких избыточных структур. Решал бы я другую задачу — возможно, я бы использовал еще какое-нибудь представление.

    Ну, а дополнительное условие — не преобразовывать структуру — напоминает известную историю, когда у пациента удаляли гланды, а тот по условию должен был держать рот закрытым.

    Reply
  67. Арчибальд

    +68 Т.о. «запросно-лобовой» подход к задаче разузлования совпадает с подходом «что тут думать, трясти надо». И трясем 20 секунд. Мой же вариант — сначала полсекунды «подумать» (преобразовать представление графа), а потом за полсекунды разузловать его.

    Reply
  68. prizrak58

    под конфигурации Комплексная автоматизация не работает, выдает ошибку:

    {Форма.Форма(34)}: Ошибка при вызове метода контекста (Выполнить): {(2, 14)}: Поле не найдено «Спец.Ссылка.Владелец»

    Спец.Ссылка.<<?>>Владелец КАК Владелец,

    Запрос.Выполнить();

    по причине:

    {(2, 14)}: Поле не найдено «Спец.Ссылка.Владелец»

    Спец.Ссылка.<<?>>Владелец КАК Владелец,

    Reply
  69. Ish_2

    (68) Начинаем разбираться :

    В постановке задачи текущей темы четко сказано, что мы имеем на входе :

    Таблицу Владелец,Номенклатура,Количество

    ( у тебя это Справочник.Наборы со структурой Отец,Сын,КОличество). И Все !

    Эта и только эта таблица должна быть известна при старте алгоритма,

    все другие структуры должны создаваться внутри процедуры Разузловать(),

    по которой мы контролируем время.Это требование настолько элементарное ,

    что я не собираюсь его доказывать.

    Что же мы имеем в твоей обработке ?

    Внутри процедуры Разузловать() идет обращение к таблице глТЗ_Узлы , которая

    создана вне процедуры Разузловать(), вне зачета времени.

    Серьезное ли это нарушение ? — Отвечаю: Да .

    Достаточное ли основание , чтобы прекратить дальнейшее рассмотрение кода ? — Отвечаю : Да .

    Вывод : автор обработки решает какую-то свою задачу , отличную от той, которая задана в теме.

    Reply
  70. Ish_2

    (69) Да , не торопись ты с лозунгами. Разберись со своей обработкой.

    Reply
  71. Ish_2

    (69) Прочти , пожалуйста (80) и (82).

    Я просто хочу быть понятым.

    У тебя на входе Справочник.Наборы , который я как-то хитро неизвестным тебе образом задал. В нем не один граф, в нем все графы номенклатуры предприятия.

    Задаю тебе точку входа и ВСЁ.

    Если ты рассмотришь задачу под таким углом зрения — ты всё поймешь. Именно так она ставится в реальных задачах разузлования. Так она стоит и у меня.

    Другие разновидности задачи — ТРИВИАЛЬНЫ.

    (81) Мало того , тест № 2 (20 уровней), такой же миллионник как и Тест№1, приведен здесь для того , чтобы утверждать универсальность обработки:

    представленная обработка обработает граф произвольного вида до 20 уровня с миллионом уникальных узлов за время за 120-300 сек + время копирования справочника+время выгрузки миллиона элементов на форму в табличное поле.

    Итого примерно 120-400 сек.

    Reply
  72. huse

    (83) Ты говоришь что-то непонятное. Взял бы да посмотрел уже обработку. Я использую Справочник.СпецификацииНоменклатуры (а не Наборы). Я не особо разбираюсь в БП 1.6. Посмотрел твой код и предположил, что в этом справочнике лежит разузловка. Использую только этот справочник. Заполнение его и Справочник.Номенклатура производился твоим кодом.

    (82) Мой универсальный алгоритм будет работать тем дольше, чем больше уникальных узлов он обрабатывает.

    Мы имеем граф (1-10-10-10-10-10-10).

    Твой алгоритм пошагово модифицирует граф:

    1. (10)-10-10-10-10-10

    2. (100)-10-10-10-10

    3. (1000)-10-10-10

    4. (10000)-10-10

    5. (100000)-10

    6. (1000000)

    И в результате обрабатывает 1 111 111 элементов.

    Мой алгоритм:

    1. 1-10-10-10-10-(10)

    2. 1-10-10-10-(10)

    3. 1-10-10-(10)

    4. 1-10-(10)

    5. 1-(10)

    6. (10)

    И в результате обрабатывает 60 элементов.

    Если граф будет

    1-10-100-1000-10000

    Твой алгоритм:

    1. (10)-100-1000-10000

    2. (1 000)-1000-10000

    3. (1 000 000)-10000

    4. (10 000 000 000)

    Будет обрабатывать 10 001 001 010 элементов

    Мой алгоритм:

    1. 1-10-100-(10000)

    2. 1-10-(10000)

    3. 1-(10000)

    4. (10000)

    Будет обрабатывать 40 000 элементов

    Если не веришь — напиши тест №4 и убедись.

    Reply
  73. Ish_2

    (84) Смотрю.Ок.

    Reply
  74. SatanClaws

    (67)

    Да это кусок из 1С++ класса, строящий фильтр по условию вхождения в группу справочника.

    Для осьмерки, на сколько я знаю, ни метапарсера толкового, ни преобразователя «ссылка <-> идшник в базе» нет.

    ЗЫ там, кстати, еще и ошибка сделана — одного Нолока не хватает.

    Пойду убьюсь исправлю.

    Reply
  75. Ish_2

    (86) 1с++. Нет слов.

    Reply
  76. Ish_2

    (84) Код не смотрел. До этого не дошло. Провел два эксперимента.

    1. Запустил файловый режим.

    Нажал твою кнопку «Выполнить1» для специально приготовленного миллионного теста с уникальными узлами .

    Примерно через 25 мин . через диспетчер задач прервал выполнение 1сПредприятия.

    2. Взял Тест №1. Интерактивно ( табличное поле Спецификации это позволяет) внес в спецификации зацикливание. Дальше смотри рисунок .

    2.

    Reply
  77. ildarovich

    (25) Игорь! Я провел эксперименты. Ваши выводы и результаты по тесту №3 не подтверждаются. Вашу обработку брал из Вашей статьи, свою — из своей «Как не попасть на миллион». Заполнялку брал свою(приложена к моей статье).В результате на тесте с 1 111 111 позициями номенклатуры Ваша обработка работала 145 секунд, моя (рекурсия в оперативной памяти) — 115! Могу объяснить только тем, что Вы заполняли спецификации «слоями», так что две последовательно выбираемые спецификации лежат рядом или (чем еще?).

    Reply
  78. ildarovich

    (89) В итоговой таблице (описании тестовых структур — не в результатах!) есть незначительные неточности. Вечером исправлю и дополню таблицу.

    Reply
  79. Ish_2

    Давайте по порядку.

    (84) Huse , надеюсь мы закончили тестирование и вопросов больше нет.

    (89) Арчибальд, мне нужно от тебя словесное уведомление ,

    1. Что на входе алгоритма (процедура Разузловать()) у тебя только справочник Отборы структурой Отец , Сын, Количество и одна выбранная Позиция номенклатуры и ВСЕ !

    2. Я могу заполнить твой справочник как угодно , каким угодно по виду миллионным графом с уникальными элементами или с любыми зацикливаниями и твоя обработка а ) не вылетит б) покажет хотя бы строкой все зацикленные ветки , которые я внес.

    Арчибальд .Без таких явных двух словесных подтвержений тестирование обработки и контроль бессмысленно.

    (91) Ildarovic, тоже жду словесного подтверждения :

    1. Ваша обработка должна быть работоспособной в БП 1.6 (2.0), предыдущая обработка была с ошибками и вылетала. Разбирать код её я не стал.

    1. Что на входе алгоритма у Вас только справочник СпецификацияНоменклатуры одна выбранная номенклатуры и ВСЕ !

    2. Я могу заполнить Ваш справочник как угодно , каким угодно по виду миллионным графом с уникальными элементами или с любыми зацикливаниями и Ваша обработка

    а ) не вылетит б) покажет хотя бы строкой все зацикленные ветки , которые я внес.

    Сергей, Без таких явных трех словесных подтвержений тестирование обработки и контроль бессмысленно.

    Дополнительно для Сергея.

    Сравнительная таблица которую Вы прислали стоит очень недорого. Надо начинать с проверки устойчивости и правильности Вашей обработки. И мы начнем с проверки миллионного теста со всеми уникальными значениями.

    Дополнение. Всеми этими свойствами , разумеется обладает представленная в теме

    обработка ЗапросПротивРекурсии.epf . Т.е. вопрос :

    Почём твоя скотина , ковбой ?

    — я задал вначале себе.

    Reply
  80. ildarovich

    (92) Подтверждаю:

    1. Обработка работоспособна в БП1.6, приложена к статье. На предыдущей было черным по белому написано — «для БП (не проверялась!)».

    1. Именно так — на входе ссылка на разузловываемую номенклатуру.

    2. Заполняйте справочник как угодно. Обработка а) не вылетит б) покажет узел, входящий в цикл (выдача цепочки не нужна (обосновано в тексте программы) и на быстродействии не сказывается).

    Можете привязаться только к пункту 2б, но это бессмысленно. Мне просто не хотелось идти у Вас на поводу и делать проверку цепочки таким ненадежным способом как поиск кода (наименования) в строке пройденного пути — ведь об уникальности кодов (наименований в справочнике мы не договаривались!). Перечень цепочек может быть слишком большим и не говорит о конкретном месте ошибки. Нужен анализ, который у Вас тоже не делается.

    Также можете попривязываться к тому, что я делаю засечку «финиша» в момент возврата результата в виде соответствия — требование вывода в табличный документ ? появилось позже. Вывод (уточните для меня еще раз, куда) сразу сделаю.

    А все таки пришлите свою заполнялку для дерева 1 111 111, чтобы я мог убедиться в послойном заполнении, можете проверить мою — работает не три часа, в 1,5 — рекурсия 😉 !

    Reply
  81. Ish_2

    (93)

    1.требования вывода в табличный документ — у меня нет. Если есть то укажите.

    Результат разузлования должен выводится на форму в виде табличного поля (таблицы значений).

    2. Как же пользователь узнает где ошибка в графе ? как он её будет искать ?

    У меня выдаются первые 100 ошибок в виде графа — причем именно там где они произошли (можете убедиться ) и пользователь может интерактивно их тут же исправить. Скажите как я проконтролирую правильность вашей обработки если мне выдастся просто сообщение для миллионного графа : элемент такой -то ? где его искать и в каких местах спецификации если он повторяется в 1000 спецификаций и лишь в одной из них он зацикливается ??

    В условии задачи указана БП 1.6 — в этой конфигурации в справочнике Номенклатуры коды уникальны.

    Что предложите ?

    Reply
  82. Арчибальд

    (92)

    Арчибальд, мне нужно от тебя словесное уведомление ,

    1. Что на входе алгоритма (процедура Разузловать()) у тебя только справочник Отборы структурой Отец , Сын, Количество и одна выбранная Позиция номенклатуры и ВСЕ !

    2. Я могу заполнить твой справочник как угодно , каким угодно по виду миллионным графом с уникальными элементами или с любыми зацикливаниями и твоя обработка а ) не вылетит б) покажет хотя бы строкой все зацикленные ветки , которые я внес.

    По первому пункту ДА.

    По Второму пункту. а) ДА, б) при нахождении каждого зацикливания сообщается начало и конец ветки и ветка «обрезается». То есть ДА.

    Дополнительно: я явно указываю предельную длину цепочки. При превышении цепочка обрезается. Однако этот момент не критичен, можно этого и не делать — работоспособность сохраняется.

    Reply
  83. Ish_2

    (95)Правильно ли я понял . Пример если в графе есть ветка:

    Корень-Эл357-Эл31-Эл11-…Эл20— Эл54-Эл78—…Эл20.

    Эту строку — ветку от корня я увижу целиком ? как сейчас на экране ?

    так , как в моей обработке (только в строковом виде ) ?

    P.S. Прошу поверить это не дурь и не придирки —

    иначе я не проверю правильность контроля зацикливания.

    не найдет её и пользователь, который работает со спецификациями, тот для которого всё и предназначено.

    Reply
  84. Ish_2

    (95)+ Сам посуди , элемент Эл20 может в встретиться в 1000 спецификаций и лишь в одной из них он зациклен. Я его тогда не найду по информации «Корень — Эл20«

    Reply
  85. ildarovich

    (94) Предложу подумать

    1. Сколько цепочек будет выведено как циклические (без ограничений 100), если в тесте №2 ввести в две спецификации нижнего уровня две разных номенклатуры первого (уровни с нуля) уровня. Как выбрать ошибочную связь? (На самом деле в цепочках нужно посчитать дуги и проверить только самые часто встречающиеся — такой результат будет самым точным, но такой анализ выходит за рамки задачи).

    Я бы предложил для поиска ошибок отдельную процедуру (функцию), на вход которой подается ошибочный узел из моего диагноза.

    Вывод перепишу.

    Reply
  86. Арчибальд

    (97) Зачем мне все ветки? Если в графе есть дуга с началом в Эл20 и концом в любом из предков Эл20, скажем, Эл50, ты предлагаешь мне перечислить все цепочки от Эл50 до Эл20? Ошибка-то одна, ее и фиксим, т.е. обрезаем дугу и сообщаем ее начало и конец (см. рисунок в 95 посте). А сколько различных циклов порождает эта ошибка — зачем это считать?

    Reply
  87. Ish_2

    (98) А зачем думать ? Посмотрите как выводятся ошибки у меня в ЗапросПротивРекурсии.epf .

    В демо БП запустите обработку. Заполните тестовый пример Тест № 1.

    В табличном поле спецификации появится сформированное дерево с корнем Тест № 1.

    Интерактивно открывайте любую ветку появится форма элемента справочника «СпецификацияНоменклатуры» —

    исправляйте её как хотите. Вносите зацикливания и смотрите на странице панели «Ошибки»,

    что получится после «кнопки выполнить».

    Reply
  88. hogik

    (100)

    Не удержусь — отвечу.

    «Интерактивно открывайте любую ветку появится форма элемента справочника»(с)

    Посадите на Ваш алгоритм двух пользователей.

    Интерактивно… 🙂

    Reply
  89. Ish_2

    (104) Хорошо , что не удержались !

    Только , Вадимир, в 8-ке два пользователя параллельно могут открыть форму элемента справочника.

    При записи, правда, у последнего из двух попытавшихся записать этот элемент возникнут проблемы .

    Reply
  90. hogik

    (106)

    Игорь, спасибо за пояснения отличий 8-ки от 7-ки. 😉

    Но, не про «проблемы» записи я Вам напомнил.

    Прочтите, пожалуйста, моё сообщение #32 целиком.

    Там есть слова: «Т.е. никакого воздействия данными отчета на исходную таблицы БД — невозможно». Готов дать пояснения…

    P.S. Еще раз не удержусь — напишу.

    Мне очень понравилось сравнение НАШЕЙ темы с «ковбоем, мистером и скотиной».

    Однако у «скотины» кроме цены есть еще масса характеристик.

    И если «мистер» собирается покупать «скотину» для людей или себя, то он, прежде всего смотрит на «скотину». А уже потом справляется о цене. И обсуждает разные нюансы выращивания «скотины».

    А если «м…» собирается перепродать «скотину» и наварить на этом, то это уже другое название покупателя на букву «м». Его интересует прежде всего цена…

    Reply
  91. Ish_2

    (109) Диалог двух персонажей и главный вопрос :

    Почем твоя скотина , ковбой ?

    могут иметь много толкований .

    Против Вашего я никоим образом не возражаю.

    Reply
  92. hogik

    (110)

    Игорь.

    Вы, опять, в моих сообщения читаете только знакомые Вам слова. 🙁

    P.S.

    Всё — я «отписываюсь» от данной темы обсуждений.

    Пора заняться написанием очередного отчета для пользователей (людей).

    У меня же нету СКД… 😉

    Reply
  93. ildarovich

    (94) Вношу поправку в итоговый отчет. Некоторые результаты «Запроса» оказались лучше.

    Свои исследования я на этом заканчиваю, научившись по ходу дела быстро обрабатывать большие графы в памяти.

    Вот моя итоговая таблица

    Reply
  94. ildarovich

    (112) Считаю, что рекурсия победила как минимум со счетом 2:1.

    По результатам закономерности из (113) смогу синтезировать тест в пользу любой гипотезы. Синтетические тесты, поэтому, малоинтересны.

    Даешь ЭЛЕКТРОВОЗ!

    Reply
  95. Ish_2

    (114) Сергей , не нужно спешить объявлять о победе.

    Поднимитесь вверх по теме и посмотрите . что произошло с обработкой Huse на нерегулярном графе ? Не сделано главного : Ваша обработка не проверена на работоспособность и устойчивость на специально для этого созданном графе.

    Ваша обработка же универсальная , устойчивая, работоспособная.

    Неужто неинтересно узнать правду , что произойдет с Вашей обработкой в миллионном графе с нерегулярной структурой ?

    Reply
  96. ildarovich

    (115) Надеюсь, это будете делать Вы ?

    Слышал, что если долго трясти ящик с радиодеталями, когда-нибудь получится телевизор.

    А если речь о специально созданном тесте, то вот Вам тест из моего ФОКУСА — «Матрешка».

    Создайте спецификацию всем известной матрешки из вложенных друг в друга миллиона матрешек (пусть это будет тест №5). Вообще определите максимальную вложенность матрешек, решаемую Вашим методом. За свой метод рекурсии я ручаюсь.

    Reply
  97. Ish_2

    (114) Господа . Предлагаю следующий порядок тестирования :

    вначале мы разберемся с обработкой Сергея , а потом обсудим обработку Арчибальда.

    Я скачал обработку Сергея из его темы с названием что-то вроде : «Супер-быстрая обработка для БП 1.6».

    Постараюсь сегодня доложить результаты .

    Reply
  98. huse

    (88) Красавец ))) ты бы еще задачу полностью переформулировал и потом что то доказывал. Ошибки я могу собирать — не интересно. Разница в количестве — в разной обработке ошибочной ситуации. Одинаковой и быть не может — мы по разному куб разбираем.

    Вместо того чтобы чему то научиться из моего кода, ты предпочел придумывать ситуации где он не работает. Зачем тебе тогда этот пост? Покрасоваться?

    PS Моя единственная цель написания кода — было реабилитировать рекурсию. Рекурсию я реабилитировал, а тебя убеждать или заставлять выполнять какие то обещания, которые ты опрометчиво надавал — это не ко мне.

    Reply
  99. Ish_2

    (125) Виноват. Твое молчание после поста (88) — я воспринял однозначно . Как признание того , что опубликованные результаты настолько ясны , что обсуждать -нечего.

    Еще раз : здесь рассматриваются не обработки «заточки», чтобы быстренько решить тесты №1и №2, а универсальные обработки больших графов с обязательным контролем зацикливания. Тесты же №1 и №2 — это быстрые заполнялки при минимальном объеме информации.

    Если рассматриваются «универсальные» обработки , то первым испытанием было :

    проверить устойчивость на миллионном графе (1 111 111 уникальных узлов) твою обработку. Т.е. Если размер Справочника СпецификацииНоменклатуры вырос в десятки тысяч раз — то это не должно так существенно сказываться на твоей обработке.

    Твоя обработка была прервана примерно через 25 мин. Если желаешь — я скажу тебе

    точное время. А лучше сам напиши тест заполнения по Тесту №1 только уникальными значениями.

    Вторым условием — было правильный контроль зацикливания. Он у тебя отсутствовал.

    На Рисунке к посту (88) -всё есть.

    Все выводы (88) ты можешь подтвержить или опровегнуть самостоятельно. И рассказать здесь — что не так. И где я не прав.

    Пока же результаты (88) настолько красноречиво играют против рекурсии , что по-моему каких-то комментариев более не нужно.

    Reply

Leave a Comment

Ваш адрес email не будет опубликован. Обязательные поля помечены *