<?php // Полная загрузка сервисных книжек, создан 2024-01-05 12:44:55
global $wpdb2;
global $failure;
global $file_hist;
///// echo '<H2><b>Старт загрузки</b></H2><br>';
$failure=FALSE;
//подключаемся к базе
$wpdb2 = include_once 'connection.php'; ; // подключаемся к MySQL
// если не удалось подключиться, и нужно оборвать PHP с сообщением об этой ошибке
if (!empty($wpdb2->error))
{
///// echo '<H2><b>Ошибка подключения к БД, завершение.</b></H2><br>';
$failure=TRUE;
wp_die( $wpdb2->error );
}
$m_size_file=0;
$m_mtime_file=0;
$m_comment='';
/////проверка существования файлов выгрузки из 1С
////файл выгрузки сервисных книжек
$file_hist = ABSPATH.'/_1c_alfa_exchange/AA_hist.csv';
if (!file_exists($file_hist))
{
///// echo '<H2><b>Файл обмена с сервисными книжками не существует.</b></H2><br>';
$m_comment='Файл обмена с сервисными книжками не существует';
$failure=TRUE;
}
/////инициируем таблицу лога
/////если не существует файла то возврат и ничего не делаем
if ($failure){
///включает защиту от SQL инъекций и данные можно передавать как есть, например: $_GET['foo']
///// echo '<H2><b>Попытка вставить запись в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>$m_comment));
wp_die();
///// echo '<H2><b>Возврат в начало.</b></H2><br>';
return $failure;
}
/////проверка лога загрузки, что бы не загружать тоже самое
$masiv_data_file=stat($file_hist); ////передаем в массив свойство файла
$m_size_file=$masiv_data_file[7]; ////получаем размер файла
$m_mtime_file=$masiv_data_file[9]; ////получаем дату модификации файла
////создаем запрос на получение последней удачной загрузки
////выбираем по штампу времени создания (редактирования) файла загрузки AA_hist.csv, $m_mtime_file
///// echo '<H2><b>Размер файла: '.$m_size_file.'</b></H2><br>';
///// echo '<H2><b>Штамп времени файла: '.$m_mtime_file.'</b></H2><br>';
///// echo '<H2><b>Формирование запроса на выборку из лога</b></H2><br>';
////препарируем запрос
$text_zaprosa=$wpdb2->prepare("SELECT * FROM `vin_logs` WHERE `last_mtime_upload` = %s", $m_mtime_file);
$results=$wpdb2->get_results($text_zaprosa);
if ($results)
{ foreach ( $results as $r)
{
////если штамп времени и размер файла совпадают, возврат
if (($r->last_mtime_upload==$m_mtime_file) && ($r->last_size_upload==$m_size_file))
{////echo '<H2><b>Возврат в начало, т.к. найдена запись в логе.</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>$m_mtime_file,'last_size_upload'=>$m_size_file,'comment'=>'Загрузка отменена, новых данных нет, т.к. найдена запись в логе.'));
wp_die();
return $failure;
}
}
}
////если данные новые, пишем в лог запись о начале загрузки
/////echo '<H2><b>Попытка вставить запись о начале загрузки в лог таблицу</b></H2><br>';
$insert_fail_zapros=$wpdb2->insert('vin_logs', array('time_stamp'=>time(),'last_mtime_upload'=>0, 'last_size_upload'=>$m_size_file, 'comment'=>'Начало загрузки'));
////очищаем таблицу
$clear_tbl_zap=$wpdb2->prepare("TRUNCATE TABLE %s", 'vin_history');
$clear_tbl_zap_repl=str_replace("'","`",$clear_tbl_zap);
$results=$wpdb2->query($clear_tbl_zap_repl);
///// echo '<H2><b>Очистка таблицы сервисных книжек</b></H2><br>';
if (empty($results))
{
///// echo '<H2><b>Ошибка очистки таблицы книжек, завершение.</b></H2><br>';
//// если очистка не удалась, возврат
$failure=TRUE;
wp_die();
return $failure;
}
////загружаем данные
$table='vin_history'; // Имя таблицы для импорта
//$file_hist Имя CSV файла, откуда берется информация // (путь от корня web-сервера)
$delim=';'; // Разделитель полей в CSV файле
$enclosed='"'; // Кавычки для содержимого полей
$escaped='\
Три «никаких» использовались автором при написании пакета запросов :
1. Никаких вложенных запросов.
Представленный пакет предствляет собой совокупность последовательно получаемых простых временных таблиц.
2. Никаких выражений в условиях соединения .
Применение операторов и выражеий в условиях соединения повышает время исполнения запроса.
3. Никаких сложных выражений в полях выборки .
В частности, оператор ВЫБОР применен лишь для двух полей в последнем запросе пакета .
Особую благодарность хочу выразить Anig99 , стойкостью своей в теме
вынудившего автора написать эту статью.
Подход Anig99 к решению этой задачи , заключающийся в том , что весь алгоритм должен умещаться в один пакет запросов и не содержать кодинга , представляется автору глубоко верным.
Такое же глубокое ,но уже несогласие, автор выражает по поводу алгоритма решения и техники исполнения в вышеназванной теме Anig99 . См (1).
много букв (: но, таки, плюс.
(3) А мне как раз буквы понравились 🙂
(3) Саша, а где зл-лоба ? Обижаешь…
Ну ничего .. Сейчас попробуем.
Пост (2) во второй части означает отвержение твоего алгоритма решения — раз ! осуждение техники исполнения в твоей разработке с посылом к (1) — два ! Забирай плюс назад !
скажите пожалуйста ?
ножом — удобно резать …
топором — удобно колоть …
молотком — удобно забивать …
ключевое слово «удобно» … хотя конечно можно-с и молотком — резать или колоть …
… 1С поставило во главу угла запросы … понятно SQL он и есть SQL …
… но лично я запросами получаю максимально приближенные таблицы — только то, что Запрос делает быстро …
а вот ТАКИЕ вещи просто делаю в «результатах» … как и много другое … потому, что:
… 1. я не такой спец в запросах …
… 2. и есть вещи для которых данный язык (запросов) просто не приспособлен — елементарно «сцепить» тестовые строки …
… вотТАКОЕестьМНЕНИЕ …
(6) Согласен, что ножом только режут, топором колят.
Цель этой статьи как раз и показать на конкретном примере ,
что вырежешь ножом — не вырубишь топором.
Привычные топорные «семерочные» алгоритмы в «восьмерке» будут плохо работать или не работать вовсе на базах 100 -200 Гб.
И правильнее писать такие отчеты ,которые будут работать на любых базах, маленьких или больших, без приписок вроде : «Ой , не для всех баз.»
Конкретный пример : Anig99 занялся оптимизацией отчета и перешел к варианту «один запрос» не от хорошей жизни, а потому что вывод первоначально сделанного «обычного» отчета занимал более 30 мин.
(0) Опять не выставляешь индексы для временных таблиц для тех полей, что используются в условиях соединений.
Совсем не гуд.
Скулевский оптимизатор может не все понять правильно 🙂
Укажи ему явно индексируемые поля для исключения неоднозначности.
(0) Из условия задачи нифига не понял, как из первых 2 таблиц вообще можно получить итоговую таблицу 🙂
Откуда взялись долги и соответственно просроченные долги для накл.2 и 3 ?
Что такое дата отсрочки? и почему она = 01.11?
или ты что-то в описании пропустил, или условия неточны?
(6) Продолжим. Ведь почему неправ Ish_2 — в своем предложении сделать один запрос и за один проход выборки получит необходимую таблицу ?
Симпатично , вроде.
А выборка в базе 200Гб может быть настолько большой , что сделает невозможной дальнейшую обработку и выгрузку данных с сервера на клиента. Это раз.
Для больших объемов данных такая переброска данных с сервера на клиента тоже затратна. Это два.
Поэтому нужно стремиться как можно плотнее использовать запросы
и всю обработку выносить на сервер Бд.
Клиент же должен получать готовые выходные данные , небольшие по объему.
Из этой идеологии и вытекает другое построение алгоритмов , так нелюбимое в среде 1сников.
(9+) Да, под конец рабочего дня сложновато думать 🙂
Условия понял, таблицы связал, ТЗ уяснил.
Сами запросы буду анализировать завтра.
(0) Изучаю условия и обоснования дальше.
Вопрос — нафига нам нужны лишние выборки и ограничения по месяцам/периодам ?
Ведь в условии об этом нигде не сказано, нужно получить выходную таблицу, в которой нет никаких месяцев 🙂
(12+) Или все-таки ограничение по периодам используются для оптимизации работы запроса?
Если так, предлагаю в описании это каким-то образом обозначить.
Иначе сторонний/новый наблюдатель/тестер, не читавший всю дискуссию, в роли которого я сейчас пытаюсь выступить 🙂 , может не понять данной схемы 🙂
(9) Нет , не согласен.
Постановка задачи приведена для конкретного элементарного примера .
Таблицы заполнены значениями на вкус автора,
чтобы читатель мог визуально убедиться в правильности хода вычислений.
И проверить «на глаз» правильность запросов.
Весь продемонстрированный ход алгоритма с показом промежуточных результатов как раз показывает как из двух первых таблиц получается выходная таблица .
ДатаОтсрочки — это дата , которой все суммы документов с более ранней датой считаются просроченным долгом. Обычно в начальных условиях указывается количество дней отсрочки платежа. Я пошел на упрощение и задал в начальных условиях ДатуОтсрочки.
Показывать реальный запрос в статье вряд ли нужно.
Текст запроса и так для статьи слишком велик . Мне не удалось его упростить и сжать сильнее.
(13) Конечно , в выходной таблице никаких меСяцев нет.
Выбор периода «месяц»- это на вкус разработчика.
У меня вначале демонстрационного запроса находятся суммарные итоги по месяцам (как из один из возможных вариантов).
А у Саши Anig99 вначале запроса находятся суммарные итоги — по дням, потом по месяцам, потом по годам.
Я мог сделать также , но для демонстрации принципа алгоритма показалось достаточным обойтись «МЕСЯЦАМИ».
(15) … смЕЕЕшно-с … как только ты ставишь период месяц (разбивка отчёта по месяцам) да ещЁ с такими-то обЪёмами данными в 200 ГБ — у тебя встанет ВСЁ …
гарантирую, что запросы по частям + ТЗ сделает всЁ гОООраздо быстрее … проверял ! и делаю именно тАк …
… что-то не тАк в датскомИСХ_2королевстве … что-то не договариваем-с… да-сссс…
… нет ужжж … каждыму инструмент своЁ предназначение — …
… а если говорить про модное СКД — дык это и есть Запрос+ТаблицаЗначение …
… вот …
У меня всё ещё ремонт… надо сесть вдумчиво почитать. У меня не получается хорошая критика, пока внимательно не прочту.
Плюс за многое чего стоит. Тем более за спор со мной.
(16) За фразу :
Плюс за многое чего стоит. Тем более за спор со мной. — Браво !
Заканчивай ремонт и мы обсудим чем твой алгоритм отличается от моего.
(17) Не-а . Не встанет на 200Гб .
Месячные итоги хранятся отдельно в базе . И обращение будет не ко всей базе , а к месячным итогам. Наоборот — все полетит.
Гарантировать не спеши . Ох , не спеши.
Я ведь нигде не утверждал : запрос +ТЗ медленней .
Я говорил о том , что один пакет запросов — оптимальнее для разных режимов работы , разных размеров баз, для разных по силе «клиентов» и т.д.
Вот чем хорошо перекладывать всю обработку на сервер.
При запросе ты ведь не знаешь за какой период по конретному клиенту нужно делать запрос (может у него есть неоплаченные накладные составляющие текущий долг аж 5 лет назад). Тебе придется или делать один сумашедший запрос по всем клиентам за весь период и твоя любая «клиентская машина» захлебнется. Или же делать несколько запросов по частям выбирая весь период. Что снижает быстродействие.
Время исполнения конкретного алгоритма зависит слишком от многого.
Вот мы встретились с тобой . То , да сё…
Пошли , конечно, прежде всего тестировать и сравнивать быстрдействие твоего метода и моего . И допустим , запрос+ТЗ сработал быстрее.
Может быть такое ? Может.
И ты крикнешь : Ага !!!! С тебя бутылка !
Я вспомню о делах , приму озабоченный вид и по -еврейски (прости, Аркадий) улизну.
И буду прав.Потому что запрос «всё в одном» быстрее не ВСЕГДА. , а в среднем.
На некоторых данных он чуть проиграет, на некоторых данных сильно выиграет, т.е. всреднем оптимальнее.
Но при 200Гб ,уверен, Запрос +Тз в данной задаче захлебнется .
пакеты запросов …
вложенный запрос …
запрос+ТЗ …
… чтобы понять быстродействие — нужно понять «физику» этих процессов …
тогда и писать меньше надо будет …
ВОТ мне и хочется чтобы ТЫ прояснил данную «физику» — дЫк чем оТличается вложенный_запрос от пакетного_запроса …
… тогда можно будет и поговорить более предметно и детально … без МЕТАфизики …
… вотТАКОЕпредложение …
… вот … а вот если тЫ этого не знаешь … ? … ! тогда твоя статья ЭТО профанация .. гадание на кофеёной гуще … «залезе не залезе…. или пролезе … неее … нЕпролезе …»
… вОООООттакаявОООООтпрОООООвОООООкация …
…
а где замеры производительности и планы выполнения??? просто так не верю 😀
в запросе №5 соединение по Периоду — это ошибка я уже писал :D, нужно соединять по МоментВремени
(21) Никаких замеров.
Это демонстрационный вариант. Оптимального алгоритма. Для возможного изучения . И не более того.
(22) В тексте темы указано на это упрощение (уникальный период).
По моменту времени нельзя сортировать и соединять временные таблицы.
Это недостаток 1с платформы. Момент времени может использоваться только в при выборке из регистров для соединения или сортировки .
Это недостаток 1с платформы.
откуда такие данные?
вот только сделал в кострукторе:
Показать
Сделано допущение, что поле «Период» в справочнике «Обороты» содержит только уникальные значения.
— это серьезное допущение, и в базе 200 гигов такое гарантировать никак нельзя
(24) Хм..Странно. А у меня не получилось, правда, давно.
Если это так , как ты пишешь и ты проверил исполнение ,то виноват !
И не получилось еще вот что , после выгрузки в таблицу значений — сортировать по Моменту времени нельзя (неправильно получается)- это уже совсем недавно.
(24) серьезное допущение сделано намеренно с целью упрощения понимания основного принципа алгоритма. Т.е. для демонстрации.
Для реальной конфигурации конечно запрос должен быть переделан.
Справочник «Обороты» — экзотика, тоже ведь серьезное допущение ,а ты его не упомянул .
(20) Радченко для тебя авторитетен?
ИТС, где читал про оптимизацию запросов, с собой нет, поэтому погуглил
Вот отсюда
Сообщение номер 539689
Максим Радченко, 1С
539689
Сами по себе вложенные запросы не страшны. Страшны соединения с вложенными подзапросами. Их использование очень затрудняет выбор оптимального плана для СУБД. Поэтому высока вероятность ошибки оптимизатора и, соответственно, катастрофического замедления запроса.
Разница в производительности может быть огромной. Например, при выборе правильного плана запрос может работать 1.5 сек, а при выборе неправильного — 18 часов (это реальный случай).
Поэтому следует всегда избегать соединений с вложенными подзапросами. Вместо этого надо использовать временную таблицу.
При использовании временной таблицы запрос будет всегда работать стабильно быстро. Ключевое слово тут — стабильно. Запрос, содержащий соединения с вложенными подзапросами, тоже может иногда работать быстро. Но гарантировать этого нельзя.
……
Обратите внимание, что существует экзотический случай, когда вложенный подзапрос ни с кем не соединяется. То есть написано
ВЫБРАТЬ ИЗ (ВЫБРАТЬ ИЗ ( ВЫБРАТЬ ИЗ …)))
и все. В этом случае использовать временные таблицы необязательно. Но можно и использовать. Никакого замедления при этом не произойдет.
Резюмируя можно сказать, что всегда нужно стремиться (с помощью временных таблиц в том числе), делать запрос как можно проще. Избегать вложенных подзапросов, а особенно соединений с ними.
Показать
Ну о том, что один правильный запрос в SQL версии много быстрее цикла с множеством запросов или проход по таблице значений с условиями, спорить не будем?
(27) Почему ты в своем запросе во временных таблицах не использовал МоментВремени ?
Ведь гораздо удобнее писать Таблица1.МоментВремени = Таблица2.МоментВремени ,чем как у тебя ?
(28) В виртуальных таблицах вроде нет момента времени….
(27) … ммм … не хочется вступать в открытую полемику не в «своей теме» … (20) адресован к Исх_2 и более глубок чем твой ответ … НО ? …
1. что значит правильный ?
2. что значит быстрее ?
…
вопрос заключается : если знаешь принцип построения запросов — язык прежде всего декларативный а внутри правила выборки и соединения (оптимизация на основании внутренних алгоритмов) — то тогда можно и сделать правила и ответить на вопрос: когда и где и как и в каком запросе как соединять и как выбирать …
… а то что вложеные запросы надо переводить во временные таблицы — и так все знают — везде об этом пишут НО на уровне общих рекомендаций …
могу порекомендовать следующую ссылку и далее ссылки по всему тексту: …
… а то, что написано ТУТ — напоминает тексты об УправленческомУчёте — и красиво и похоже на правду и хочется верить — но начинаешь повторять и не получается …
… вот …
(30) Шепот ,я сразу не ответил . Шуровал на теме Суппорта по скачиваниям. Бестолку ,конечно. Но и молчать нельзя.
Сейчас отвечу подробно.
(29) я что-то не пойму, почему у тебя один раз логин пишится, другой — полное имя?
(30)Всё не так. Язык запросов SQL (стандарт пока только один -92г.)- описание синтаксиса, он сам по себе — и внутри у него ничего не сидит.
Разные производители придумывают разные оптимизаторы , например оптимизатор SQL-сервер. Описание внутренней структуры оптимизатора никто не публикует и не документирует(документация отсутствует и у оптимизатора запросов 1с в файловом варианте). И для нас он — черный ящик. Мы , строго говоря , лишь догадываемся , что там внутри и не можем
«ответить на вопрос: когда и где и как и в каком запросе как соединять и как выбирать … »
Представляешь в какое положение попадает разработчик ?
Написав сложный запрос с вложенными запросами — он НЕ ЗНАЕТ как запрос будет выполняться в каждом конретном случае у каждого конкретного оптимизатора разных фирм !!!
Хочется себя обезапасить. и не применять вложенные запросы , которые допускают двоякость и троякость толкования.
Технология временных таблиц (разбиение на мелкие запросы и заданный порядок исполнения) дает возможность написания однозначно понимаемого любым оптимизатором алгоритма действий.
Второе соображение , отлаживать запрос с временными таблицами гораздо легче (последовательное выполнение временных таблиц). А как ты будет контролировать и смотреть выполнение каждого вложенного запроса ?
Третье соображение : продемонстрировать для публики (см. тему) запрос с временными таблицами и показом промежуточных результатов удобнее . Легче разбираться в нем и другому программисту.
Декларативность языка запросов ИЗНАЧАЛЬНО предполагает неопределеность в вопросе КАК ? В КАКОМ ПОРЯДКЕ ? и не дает на этот вопрос никакого ответа.
Т.е. я напишу сейчас запрос тебе простенький( с вложенным) и ни ты и никто не скажет определенно как он будет выполняться.
УФФ !
(30) Забыл сказать еще об одном коварстве оптимизатора.
Один и тот же запрос может выполняться по — разной схеме(последовательности действий) в зависимости от размера используемых таблиц . Ты представляешь какая это засада ?
И рассказ о том , что все было хорошо и работатло , а потом вдруг БАЦ и какой то мелкий запросик вместо выполнения в доли секунды — выполняется !! сутки!!! — это не байки . Это проделки оптимизатора запроса.
(35) Ну ,привет. Шепот, я же старался .
Смотри сколько писанины развёл . Ох, злой человек ты человек !
(35) Черт с тобой, уломал.
Сформулируй четко вопрос и я тебе на примере какого либо запроса — отвечу (Обнажу «физику процесса») .
(37) … опять болтунишь … а как же (20) … ?
(39)
Отвечаю прямо об отличии :
Если ты имеешь ввиду отличия между выполнением одной и той же задачи разными способами
1. Запросом, имеющим вложенные запросы
2. Пакетным запросом ( последовательное выполнение нескольких простых запросов).
И задаешь вопрос , так сказать, какова «физика» этих отличий ?
То я спрашиваю , нафига я писал (30) ?
Если ты понимаешь под «физикой» отличий что-то другое — дай определение
этой «физики».
(39) Что касается твоей ссылки
то несомненно нужная и полезная статья ,
приоткрывающая дверь к кухне интерпертации запросов 1с в SQL.
Но эта информация полезна для очень ограниченного круга специалистов, разрабатывающих какие -то специализированные решения на платформе 1с . Статья эта лишь на другом уровне и подробностями раскрывает ,то что есть уже у Радченко.
При использовании временной таблицы запрос будет всегда работать стабильно быстро. Ключевое слово тут — стабильно. Запрос, содержащий соединения с вложенными подзапросами, тоже может иногда работать быстро. Но гарантировать этого нельзя.
Для огромного подавляющего большинства 1с-ников этого вполне достаточно.
Мало того , почти наверняка, можно сказать :
(39) … хм …
вопрос1:
… дык при каких условиях и пАчему Пакетный запрос выполняется быстрее …?
вопрос2:
… дык как же Зделать Нарастающий Итог в запросе …?
самый простой тип нарастающего итога это нумерация строк запроса … прошу тебя не влезая в дебри конфигурации:
1. покажи нАм
и
2. рАсскажи нАм
и
3. укАжи нам
… способы создания нарастающих итогов в запросах …
… лично мне интересно …. сделай это дополнением к статье … я до сих пор не умею делать нарастающие итоги … хотя бы нумерацию освоить … а вот понятных изложений пока не нашЁл … только по простому — чтобы даже мне было понятно …
думаю это будет интерсно и важно и познавательно для многих …
… вОООт …
(41) Пакетный запрос НЕ ВЫПОЛНЯЕТСЯ БЫСТРЕЕ ,чем аналогичный правильно понятый оптимизатором запрос с вложенным запросом.
Ключевые слова здесь «правильно понятый». Чтобы избежать вероятности «неправильной понятости» и применяют пакетный запрос.
Сегодня подготовлю демо-вариант с нарастающими итогами с наглядным примером.
(41) вообще-то это есть в моей статье — в самом начале….
Пакет запросов скорее всего будет выполнятся быстрее, чем объединение вложенных запросов. Причиной тому — сложность для оптимизатора SQL работы с объединением вложенных запросов. Гораздо меньше неоптимальных инструкций SQL возникает при разборе простых запросов и дальнейшей передаче по цепочке временных таблиц.
З.Ы. Честное слово… Такое ощущение, что специально упускаешь из внимания некоторые моменты, которые были уже сказаны
(43) А я сделаю всего лишь еще один нагядный пример к твоей статье.
То же самое , но другими словами.
(43) … помню твою статью …
но твоЁ изложение слишком «продвинуто» и а изложение Исх_2 — запутано …
может ВЫ и понимаете — а я нет …
самое простое = как соединить две таблицы чтобы можно посчитать нарастающий итог … хотя бы нумерация строк запроса … а то сразу » … Метод последовательного приближения. …» …
… хочется как-то более простых и наглядных примеров: типа: как составить запрос: 1. выбрать номенклатуру из папки разрезе характеристик,
+
2. найти остатки в разрезе выбранныйСклад-номенклатура-характеристика,
+
3. найти зарезервировано в разрезе выбранныйСклад-номенклатура-характеристика,
+
4. вывести свободный остаток в разрезе выбранныйСклад-номенклатура-характеристика
и даже бог с ним с разбиением по периодам …
… если бы меня кто этому научил — последовательно и обЪясняя по шагово — спАсибо бы сказал …
… вот …
(45) Сделал приложение : Что такое нарастающие итоги ? И зачем они нуны ?.
Посмотри.
(46) … спасибо … сегодня обязательно посмотрю, доложусь как понял … вот …
(43) Посмотри приложение к статье. Как ?
(48) вроде нормально
однозначный плюс
вот вам занятся не чем,
работа по вам плачет 😀
(50) Спасибо.
(51) Ага. Со скуки.
(51) … без теории НЕТ практики … теория ЕСТЬ основа науки …
… кстати вам не обидно, что из 24 часов только 8 тратите на работу …
… вот …
(53) мне обидно в сутках всего 24 часа и спать надо…
(53) Любимое занятие в субботу : придираться к Шепоту.
Так вот
Пальцем в небо. Тяжело дается диалектический подход . Получше будет так:
Научный подход подразумевает :
Без теории нет практики. Без практики нет теории.
(55) … вах … Ish_2 … ах … Ish_2 … ох …
… твоЁ желание придраться больше чем «Правда» и выше чем «Истина» …
… основой науки есть повторяемый опыт как Эксперимент и Опыт как опыт …
… поэтому его сначало «наблюдают» потом «описывают», потом «повторяют» …
… именно поэтому без Теории нет Науки … нет Практики … нет Опыта …
… хотя некоторых Теория никогда не станет Опытом пока они не получат опыт …
… вотТАКАЯтеория …
(53) Теории меня не убеждают.
Я предпочитаю находить ответы экспериментальным путем.
Но своих убеждений стараюсь не то что не навязывать, а отговаривать от них. Вообщем, главное, без фанатизма. 😎
(57) … смЕЕЕшно-с …
без ТЕОРИИ нет эксперимента … !!! … однозначно !!! …
… есть холерики — им проще 40 раз сбегать и один раз подумать …
… есть меланхолики — им проще 40 раз подумать и один раз сбегать …
НО ! но сначало ТЕОРИЯ а потом Эксперимент …
… вот …
(57) Если автор публикует свое мнение , он уже его в каком -то смысле «навязывает». если автор при этом отговоривает читателей или занимет позицию , дескать я тут мимо проходил, — хитрость эта никакого отклика как правило не находит, а находит недоумение.
Назвался автором — будь им : «навязывай» свой взгляд ,ты этим взглядом и отличаешься от других
(59) … ого … НУ НИ ЧЕГО СЕБЕ … заявлениЦЕ … ухххтыыы …
(56) Срезал.
(59) … ? убил ! …
(63) Дождались Евгения.
Над чем тут мозг ломать — есть.
Речь ведь идет не только о решении конкретной задачи , но и об ощем подходе к использованию нарастающих итогов в запросе.
Если бы ты хоть чуть-чуть расшифровал слова здесь или в статье
«запрос с коррелированными подзапросами» — появилось бы еще одно решение — возможно самое оптимальное.
А 8.2 и агрегатами пугать простую публику не стоит.
(65) Ссылка твоя не открывается.
1. Рейтинг — это не аргумент. Рейтинг — это повод поинтересоваться — а что там ?
2. Запрос в цикле — это зло. Широко известное еще до изобретения «семерки».
Применяется исключительно редко (например тогда , когда результат общего запроса может быть оч.оч. большим по размеру.)
Серверу не все равно обрабатывать кучу мелких запросов или один большой.
Разумеется , быстрее будет выполнен один общий правильно составленный запрос. Хотя бы потому что, обращение к базе данных будет всего одно (а это время !). Поэтому всегда нужно стремиться к одному запросу, а не к циклу запросов.
Убедиться в этом можно практическим путем. Перепиши свой отчет — сделай один запрос к базе для всех контргаентов . Получи выходную таблицу за один проход выборки. Сравни время.
Один запрос , набранный в конструкторе , технологичней в использовании.
Применяя «Запрос + кодинг» для больших баз ты жестко привязан к «силе клиента» , к сети и т.д, т.к. часть кодинга выполняется на «клиенте». Передавая обработку на сервер ты отвязываешься от этих проблем.
Для базы 120 Гб применение твоего запороса в цикле неприемлемо в принципе.
Так вот кратенько…
(65) Сейчас. Прочитаю твои запросы.
(75) Женя ,виноват.
Сейчас не могу. Позднее. Завтра- послезавтра обязательно отвечу.
(70) Можно не коверкать? Вы банально не уважаете своих собеседников. Здесь не миста.
(74) 120 гигов, пустое хранилище, база за 4 года, по 10 тыс документов реализации в месяц. Так понятнее? Куча виртуальных таблиц — это реализация алгоритма. Если его понять, остальное — тут же становится ясно. Я и не надеялся, что кто-то без разъяснений алгоритма разберется (хотя нашелся как минимум 1 человек, который разобрался без моих дополнительных объяснений).
З.Ы. Сейчас я не буду впадать в полемику. Хочу отдохнуть на выходных
(70) ЗУП открой ты вообще ох..ешь, модуль ПроведениеРасчетов, функция ПолучитьДанныеДляРасчета. На экзамене спеца по ЗУП за 4 часа туда еще и изменения внести надо, а 10 ВТ — это мелочи, так что это не критерий.
(79) Согласен… Не всегда всё сложное нужно резать бритвой Оккама… Как я уже писал в какой-то из веток по данной тематике — нужно соизмерять ценность результата и сложность его получения.
(79), (80) … удивили …
… выбран слишком простой демагогический приЁм, чтобы увести разговор от конкретного примера в сторону красоты «филосовской» сложности …
… уверен, я не провоцирую, Eugeneer вас «отметелит» сложной философской простотой — «бритвы Оккаямы» …
… вОООт …
п.с. «Бритва (лезвие) О́ккама» — методологический принцип, получивший название по имени английского монаха-францисканца, философа-номиналиста Уильяма Оккама (Ockham, Ockam, Occam; ок. 1285—1349). В упрощенном виде он гласит: «Не следует множить сущее без необходимости»
…
(82) Никуда я не увожу, я просто сокращаю свой пост за счет емкого понятия на уровне 1го курса института. Все рассуждения Eugeneer можно свести именно к Бритве Оккама — не плодить сущностей без надобности или усложнять сверх необходимости. Ключевые слова здесь «надобности» и «необходимости». Кроме того, он абсолютизирует свой опыт и считает, что проблемы больших объемов данных надуманны. Мой пост относился именно к нему, а не к тебе, Шепот.
С тобой всё по другому. Я никак не могу понять, что тебе надо. То ты просишь раскрыть механику оптимизатора запросов SQL — а это теория, т.к. для каждой базы всё будет по-разному. То ты заявляешь, что тебе нужна конкретика — покажите запрос. То ты пишешь пост в стиле «дао программирования». И всех обвиняешь в увиливании…Никто с темы слезть не пытается. Просто люди по-разному воспринимают проблему: кто-то конкретно запрос на дебиторку, кто-то запрос с нарастающими итогами, кто-то преимущества разных вариантов сочетания запросов и кода, а кто-то вообще не видит проблемы. Одно твое желание я знаю точно — расшевелить болото.
(82) … то ли побил … то ли похвалил … то ли …
… но ткнул понятием 1 курса … ещЁ один демАгоический приЁм …
… прям как у М.Жванецкого «… что может сказать хромой об исскустве Герберта Фон Караяна, если ему сразу сказать что ОН хромой …» …
… значИтельность не может быть больше знАчимости …
… вот …
ШёПоТ провоцирует,не слушайте(точнее не читайте) его, он любитель поспорить.
I_G_O_R … хм …
1. уважаю ваше мнение …
2. мне хочется знать то чего не знаю, в чём сомневаюсь, то что хочу знать ещё лучше …
3. методы получения знаний могут быть разные …
но когда на конкретный вопрос о 2*3 тебе начинают говорить об «ИНТЕГРАЛЬНЫХ МЕТОДОВ ДЕТЕРМИНИРОВАННОГО ФАКТОРНОГО АНАЛИЗА» поневоле начинаешь задумываться … так ли нужна сложность интеграла в получении утроенного сложения … такая вот дЕмагогия …
… вот …
(67),(68) Два примера запросов отвечают на вопрос о самых продаваемых товарах.
И в полях выборки используется номенклатура.
Какое отношение они имеют к задаче получения просроченных долгов контрагентов ? Чем они нам помогут ?
В таком случае , возможно , лучше опубликовать статью где раскрыть замысел полностью.
А вот , неравенство в условии соединения запроса (68) имеет прямое к текущей теме .
Рассмотрим чаить этого запроса
Показать
Представим , что в таблице всего одна группа содержащая 10 000 товаров.
(для крупных торговых сетей ничего фантастического, кстати).
Тогда в результате соединения получим таблицу с количеством записей
(10 000+1)/2*10 000 = 50 005 000 (сумма членов арифметической прогрессии). Т.е. размер первоначальной таблицы увеличился более в чем 5 000 раз. Последующая группировка с условием не отменяет необходимости такого соединения , а лишь при получении выходной выборки фильтрует промежуточную таблицу.
Ты не видишь здесь никакой проблемы ?
Так вот текущая статья и статья Anig99 посвящены как раз тому , чтобы избежать таких больших промежуточных таблиц в процессе исполнения запроса.
Приведенный пример не выдумка . С подобной ситуацией столкнулся Anig99 при работе с базой 120Гб.
Поэтому приводя тексты таких запросов лучше предупреждать пользователя :
«Этот запрос пригоден для небольшого количества данных (малые базы до 30Гб). Не вздумайте применять такие подходы для больших баз (более 120 Гб).»
анализ…это всегда круто!
Хорошая статья.
(86) … ГИГАнтоМАНИЯ …
… гипноз нулей …
… кто больше … 100 ГБ … 120 ГБ … 150 ГБ … 200 ГБ … 80 000 строк …
… сумма членов арифметической прогрессии …
… прямь как в рекламе : не поворяйте этого — это сделано в фотошопе …
… ВОТ …
(89) Шепот… родной город обязывает… ничего ровного. Если завод, то большего города, если гостиница, то самая бесполезная и высокая в городе, если легковушка, то меньше всех…
Магия, не магия, но из малого произрастает большое…. Современные компьтеры расхолаживают программистов позволяя не задумаваться об оптимизации кода и экономии памяти. В результате получаем расчет себестоимости и корректировку стоимости списания по 6 часов… Перешли для получения нового функционала и получения аналитики — но плата за это — длительность не очень сложных расчетов. Вот проблема на самом деле.
(90) … убил … (: …
скорую вызывайте 😮
(90) Вспомнился 1986г . Оперативная память для бортовой БЦВМ измерялась Кб и суровой ниткой делилась между разработчиками различных систем.
Требовалась жесточайшая экономность кода.
Эти Кб занимали , обменивали , одалживали до след. проекта и т.д.
Началась антиалкогольная компания и Кб обменивали на бутылки.
(8) Почему-то пропустил твой комментарий — прочитал только сейчас.
В демонстрационном варианте , думаю, возможно и опустить. Но если дашь ссылку где сказано , что всегда лучше индексировать явно таблицу перед соединением в след.статьях буду ставить.
… почти в тему по поводу идексирования : …
… почти в тему но не совсем : …
…вот …
…
(95) Несколько не то. То что выборка у таблицы с индексом будет осуществляться быстрее — само собой.
Но если мы только получили временную таблицу — индекс у нее отсутствует.
Оптимизатор запроса или мы явно должны ее индексировать ?
Я не нахожу большой разницы . Артур считает , что надежнее всё-таки явно её проиндексировать.
(8) Впрочем, ненужно ссылки. И так понятно , что ты прав.
(97) Вот 🙂
А тем не менее, «пройтись циклом» действительно самый оптимальный вариант. Его трудоемкость O(n), в то время как трудоемкость варианта объединения двух таблиц — от O(n * log n) если хорошо сработает оптимизатор до O(n#k8SjZc9Dxk2) в плохих случаях. Так что, не стоит тыкать пальцем и покатываться со смеху с предлагающих это «семерочников». И говорить про слабость клиента тоже не стоит — раз клиент получил набор данных, значит, что-то уже с ним будет делать (да хоть, например, выводить) и обязательно хоть разок, но пройдет по набору. Вычисление итогов в этом случае — небольшой довесок к выполнению.
(99) Вначале статьи приведены 3 варианта решения задачи.
Под пунктом 2 приведено первоначальное мнение автора этой статьи.
Полностью совпадающее с Вашим. Вообще говоря, количество операций (трудоемкость) при этом варианте значительно меньше.
И если в кого-то автор тыкает пальцем и покатывается со смеху , то прежде всего в себя.
Первый вариант (запросы в цикле) был рассмотрен выше в коментариях.
Надеюсь Вы согласны, что запрос в цикле — это зло.
Второй вариант (одним запросом получить выборку для всех контрагентов и из нее получить выходную таблицу) имеет одно ограничение.
Мы не знаем периода этого запроса ( какова самая рання дата неоплаченного документа ), т.е. вынуждены выгружать на клиента все обороты всех контргаентов за весь период. До определенного размера базы этот ограничение не имеет смысла. Но ведь где -то этот предел существует ! И время передачи только одной выходной таблицы запроса может стать неприемлемо большим.
Для конфигурации в крупной розничной сети , торгующей по дисконтным картам 3-4 года, это ограничение может быть актуальным. Грузить на клиента огромную выборку проблематично.
Говорить о слабости клиента стоит !
При использовании подхода «все в одном запросе» на клиента поступает очень небольшая таблица для визуального отображения и не более того.
Это и есть важнейшее преимущество третьего подхода — его универсальность. Технологичность же подхода определяет отсутствие кодинга : запрос составляется в конструкторе.
Поэтому такой подход и был назван оптимальным : на малых базах(до 30 Гб)много не проиграет , на больших выиграет.
(100) Да, под п.2 мнение совпадающее с моим, однако далее Вы приходите к тому что лучше скрестить 2 таблицы, не говоря почему.
Сейчас вы аргументируя это тем, что «мы не знаем периода запроса».
НО! При подходе «скрестить две таблицы» мы его тоже не знаем!
Дальнейшее рассуждение «При использовании подхода «все в одном запросе» на клиента поступает очень небольшая таблица для визуального отображения и не более того» — значит что? Что по нарастающему итогу делается фильтрация! Т.е. как у вас в статье в приложении. Однако, кроме как там, о фильтре по н.итогу более нигде не сказано — а это всего лишь одно из применений. Может конечно в исходной постановке речь шла именно об том — тут в этих статьях и ссылках друг на друга черт ногу сломит, может я что-то и пропустил — только этого не видно.
Так вот, если задача стоит лишь в определении одного показателя — ее можно решить и другими методами — например, искать остатки двоичным поиском, сужая период.
Ну и наконец, никто не запрещает таки цикл на сервере делать (эта возможность не является стандартом и зависит от реализации, но и MSSQL, и Postgre ее предоставляют). А коли 8ка этого не умеет — проблемы 8ки :). 7.7 с 1С++ это позволяет.
(103) См. мою статью там как раз другой метод оптимизации. Чем-то схожий с двоичным.
(103)
Сейчас вы аргументируя это тем, что «мы не знаем периода запроса».
НО! При подходе «скрестить две таблицы» мы его тоже не знаем!
Предельно конкретно.
У вас 100 контргаентов . Общее количество документов всех контргаентов за весь период 2-4 тыс. Вы выгрузили одним запросом все эти документы в выборку. И за один проход в цикле выборки получили выходную таблицу . Вы выиграете у метода «Все в одном запросе» ? Отвечаю : Да ! Много выиграете ? Отвечаю : несущественно (для пользователя).
И мы с Вами говорим : Ура! «семерочные» подходы рулят !
У Вас 100 000 контрагентов 30 000 000 документов за весь период.
Если Вы скажете что этого мало — я Вам скажу 1 000 000 и 300 000 000.
Не торопитесь выгружать эти обороты в одну таблицу(выборку) и пройтись по ней циклом. Вы жестоко проиграете на одной переброске такой таблицы с сервера на клиента. Вы должны также сказать, что и клиентская машина должна быть очень не простой .
Т.е. появляется масса «НО». Чтобы от этих «НО» отвязаться не проще ли отказаться от перегонки таблиц «сервер-клиент» вовсе , а всю обработку передать на «сервер» , а на клиентскую машину выдавать только результат запроса (оч.маленькую таблицу для отображения в отчете) ?
Это лишь один аргумент.
Второй аргумент . Да , Количество операций в методе «все в одном запросе» больше. Но и выделенный сервер базы данных гораздо мощнее клиентской машины. Операции группирования и суммирования выполняются многократно быстрее чем при при «ручном кодинге цикла» на клиентской машине.
Так вот. Мы не знаем периода запроса для каждого контрагента , но мы его ищем . Сначала суммируем по месяцам — получаем оч.небольшую таблицу — в ней («срещиваем сама с сбоой») находим нар.итоги . По сумме долга определяем период для каждого контргаента. Согласно этому периоду вырезаем только нужные документы для каждого контргаента , их «скрещиваем» и находим тот самый первый неоплаченный документ.
Это и есть подход , который кажется «ужасно затратным». Но он эффективен т.к. сервер базы данных совершает те операции , для которых он и предназначен.
С одним я согласен . Полная аргументация в статье в пользу выбранного подхода опущена напрасно.
Из Ярославля в Москву быстрее доехать через Владивосток, потому что мы поедем на Сервере Баз Данных .
На дохлом велосипеде (клиентской машине) до Москвы добираться дольше.
(106)
«Вы выгрузили одним запросом все эти документы в выборку. И за один проход в цикле выборки получили выходную таблицу …И мы с Вами говорим : Ура! «семерочные» подходы рулят !»
— Маленькое замечание. В «1С 7.7» цикл выполняется не по выборке, а непосредственно по таблице базы данных. В DBF-ной версии — всегда так. В SQL-ной версии — не всегда. Т.е. термин «семерочные подходы» имеет разный смысл в разных версиях «1С 7.7».
(107) Речь исходно идет именно об SQL версии. К тому же ДБФ такие объемы и не снились.
И, кстати, «в ДБФ цикл выполняется по таблице» тоже неверно — это разве что в простейшем случае, типа ВыбратьЭлементы()/получитьЭлемент(). Для н/итогов (да и просто итогов 🙂 ) всяко некая промежуточная выборка должна быть построена.
(107) Конечно. Термин «семерочный» применен для удобства.
На самом деле речь идет о применении оператора «цикл» или о шаблоне мышления программистов СУБД гораздо более старом чем «семерка» .
Суть этого шаблона в том , что с таблицами нужно работать , перебирая записи явно в цикле (т.е. сканируя таблицу). Я же считаю , что это очень дурной тон тогда , когда можно обойтись агрегатными командами или запросами.
Например, в FoxPro решая такую задачу , можно обойтись без циклов и запросов , а только используя агрегатную командe Replace .
Отступление. Привычным и понятным для 1с-ника , например при расчете зарплаты, является подход , реализованный в тип.конф-иях :
позиционируемся на первую запись таблицы — Сотрудник и для него начинаем применять те или иные расчеты , позиционируемя на след . Сотрудника и так далее. На мой взгляд , боле правильным и выгодным подходом для СУБД является следующий : Берем таблицу «Сотрудники» и последовательно к ней применяем Первый расчет (для всей таблицы) , потом Второй расчет и т.д.
Другими словами алгоритм представляет собой последовательность получения временных таблиц. Правда для 1с-ника построение такой БД будет выглядеть диковато, но для специалиста по базам данных — нормально.
В СУБД , проще говоря, нужно стремиться оперировать не записями, а таблицами.
(111)
Проблема в том, что работа со временными таблицами появилась если не ошибаюсь начиная с 8.1. Соответственно «берем … и применяем первый расчет, второй» и т.д. было недоступно в типовом механизме.
Далее, в SQL (по крайней мере MS) нет возможности указать возвращаемый набор результатов. Т.е. нельзя выполнить в одном пакете формирование нескольких врем. таблиц (или табличных переменных), и что-то с них получить: вернется не последний select пакета, а все результаты (в т.ч. промежуточных insert’ов и update’ов). А механизм 1Ски отдаст только первую выборку из набора. Вот и приходится делать несколько пакетов. Но это ладно.
В SQL почему-то отсутствует ряд возможностей, которые вроде-бы хорошо востребованы. Те же н/итоги («кумулятивное суммирование»); работа с иерархией (оператор with, введенный в стандарт только то ли в SQL2003, толи 2005 и поддерживаемый далеко не всеми); генерируюшие функции (например, нужно получить последовательность дней с … по… — приходится извращаться. В постри хоть есть generate_series, но это уже вне стандарта).
(112)
Странный абзац. В 1с Пакет запросов состоящий из нескольких запросов исполнен может быть двумя способами :
1. Запрос.Выполнить() — вернет результат последнего запроса в пакете.
2. Запрос.ВыполнитьПакет() — вернет массив содержащий результаты всех запросов , входящих в пакет.
(8),(17),(21),(27),(87),(88)
Господа , разрешите вас побеспокоить.
В продолжение темы «Подведем итоги . Нарастающие» я опубликовал отчет теперь уже для типовой конфигурации БП 1.6.