Для каждого СтрокаТовары из Товары Цикл
Количество = СтрокаТовары.Количество * СтрокаТовары.Коэффициент / СтрокаТовары.Номенклатура.ЕдиницаХраненияОстатков.Коэффициент;
КонецЦикла;
Дело в том, что этот, с виду ни чем не примечательный код, содержит запрос в цикле.
Для каждого СтрокаТовары из Товары Цикл
//.....................
Количество = СтрокаТовары.Количество * СтрокаТовары.Коэффициент / СтрокаТовары.Номенклатура.ЕдиницаХраненияОстатков.Коэффициент;
//......................
КонецЦикла;
В чем проблема?
Когда мы обращаемя к реквизиту объекта базы «через точку», программа выполняет запрос к базе, чтобы вытащить из базы значение этого реквизита. Строго говоря, это происходит не всегда. Известно, что при чтении одного реквизита считываются значения всех реквизитов этого объекта. Считанные значения кэшируется, но кэш имеет ограниченный размер, и ограниченное время жизни.
Такой запрос выполняется довольно быстро, и обычно не дает заметной задержки. Задрежку, заметную для пользователя, можно получить, если в цикле будет более 100 таких опеаций. Задержки на выполнении запросов более заметны в клиент-серверном режиме, чем в файл-серверном. Зачастую, после перевода файловой базы, которая работала в терминале, на SQL пользователи начинаются жаловаться на то, что программа стала тормозить. Проблема может быть как раз в этих микрозапросах, которые выполяются в цикле. Судя по всему, задержка на выполнение такого микрозапроса складывается в основном из накладных расходов: нужно сформировать текст запроса, отправить его на сервер, откомпилировать, построить план получить результат и т.д. Я могу ошибаться в том, откуда эти накладные расходы берутся, но они есть, в этом я не раз убеждался на практике.
Кэширование, которое выполняет платформа, не всегда спасает: если в цикле каждый раз считывается новая номенклатура, то ее еще нет в кэше, и мы каждый раз несем те самые накладные расходы.
Я лично сталкивался с ситуацией, когда такой вот неаккуратный код замедлял проведение размещение заказа покупателя в 10 раз (справедливости разди, в заказе было 800 строк).
Естественно, нет необходимости переписывать все такие случаи. Если есть потребность оптимизировать какую-то операцию, то надо сначала сделать замер производительности (такая функция есть в конфигураторе, в меню «Отладка»). В нашем случае, мы с топе увидим простую операцию, которая выполняется многократно и съедает много времени. Не забудьте, что замер надо делать на клиент-серверной базе, а не на файловой копии.
Исправляем
Т.к. проблема в накладных расходах, то считав все необходимые данные одним запросом, мы многократно снизим накладные расходы и решим проблему. Первое что приходит в голову, это написать что-то наподобие такого кода:
//....................
Запрос.Текст =
//............
|НакладнаяТовары.Количество КАК Количество,
|НакладнаяТовары.Коэффициент КАК Коэффициент,
|НакладнаяТовары.Номенклатура.БазоваяЕдиницаИзмерения.Коэффициент КАК НоменклатураБазоваяЕдиницаИзмеренияКоэффициент,
//.........
Выборка = Запрос.Выполнить().Выбрать();
Пока Выборка.Следующий() Цикл
//.................
Количество = Выборка.Количество*Выборка.Коэффициент*Выборка.НоменклатураБазоваяЕдиницаИзмеренияКоэффициент;
//.................
КонецЦикла;
Это решит проблему, только мы можем столкнуться с некоторыми неудобствами. Во-первых нам придется везде заменить СтрокаТовары на Выборка. Хорошо, обзовем выборку «СтрокаТовары» (что не очень красиво) или выгрузим запрос в таблицу значений (что уже лучше).
Во-вторых, если запрос сложный, собирается по-частям где-то в общих модулях типовой конфигурации, то мы не захотим его менять. Потому что боимся что-нибудь поломать, а еще не хотим усложнять себе обновление типовой конфигурации с сохранением сделанных настроек.
Поразмыслив, пишем более приятный и удобный вариант:
Запрос.Текст =
"ВЫБРАТЬ
|Номенклатура.Ссылка,
|Номенклатура.ЕдиницаХраненияОстатков.Коэффициент КАК ЕдиницаХраненияОстатковКоэффициент
|ИЗ
|Справочник.Номенклатура КАК Номенклатура
|ГДЕ
|Номенклатура.Ссылка В (&МассивНоменклатуры)";
Запрос.Параметры.Вставить("МассивНоменклатуры", Товары.ВыгрузитьКолонку("Номенклатура"));
тзРеквизитовНоменклатуры = Запрос.Выполнить().Выгрузить();
тзРеквизитовНоменклатура.Индексы.Добавить("Ссылка");
Для каждого СтрокаТовары из Товары Цикл
СтрокаНоменклатуры = тзРеквизитовНоменклатуры.Найти(СтрокаТовары.Номенклатура, "Ссылка");
Если СтрокаНоменклатуры = Неопределено Тогда
ВызватьИсключение "Не найдена номенклатура"+СтрокаТовары.Номенклатура;
КонецЕсли;
//...................
Количество = СтрокаТовары.Количество*СтрокаТовары.Коэффициент*СтрокаНоменклатуры.ЕдиницаХраненияОстатковКоэффициент;
//....................
КонецЦикла;
Мы внесли в код локальные измененения:
- Перед циклом вытащили из базы то, что нам нужно, и сложили в таблицу значений.
- В начале цикла нашли в этой таблице нужную строку.
- Везде, где есть обращение к полям «через точку», заменили на обращение к строке таблицы значений.
Необходимость добавлять индекс в таблицу значений — вопрос спорный, я рассуждаю так:
- Индексирование маленькой тз не даст заметной задержки. Даже если мы потеряем больше времени, чем сэкономим — мы не гонимся за рекордами, нам важно, чтобы пользователю было комфортно.
- Отсутствие индекса в большой тз может дать заметную задержку. Справедливости ради, таблица должна быть действительно большой, начиная с 1000 записей, если я ничего не путаю.
Немного сложнее
Бывает, что неявный микрозапрос, который многократно вызывается, закопан глубоко в общих модулях, да еще используется по всей конфигурации. Что делать в этом случае? Рассмотрим пример:
Функция ПолучитьКурсВалюты(Валюта, ДатаКурса) Экспорт
Структура = РегистрыСведений.КурсыВалют.ПолучитьПоследнее(?(ДатаКурса = Дата('00010101'),ТекущаяДата(),ДатаКурса), Новый Структура("Валюта", Валюта));
Возврат Структура;
КонецФункции // ПолучитьКурсВалюты()
Если многократный вызов этой функции съедает время наших пользователей, мы можем ее усовершенствовать:
Функция ПолучитьКурсВалюты(Валюта, ДатаКурса, СтруктураКэш = Неопределено) Экспорт
// добавили тут
лкДата = ?(ДатаКурса = Дата('00010101'),ТекущаяДата(),ДатаКурса);
Если СтруктураКэш <> Неопределено Тогда
Если НЕ СтруктураКэш.Свойство("КэшКурсов") Тогда
СтруктураКэш.Вставить("КэшКурсов", Новый ТаблицаЗначений);
СтруктураКэш.КэшКурсов.Колонки.Добавить("Валюта");
СтруктураКэш.КэшКурсов.Колонки.Добавить("Период");
СтруктураКэш.КэшКурсов.Колонки.Добавить("Курс");
СтруктураКэш.КэшКурсов.Колонки.Добавить("Кратность");
КонецЕсли;
СтрокиКэш = СтруктураКэш.КэшКурсов.НайтиСтроки(Новый Структура("Валюта, Период", Валюта, лкДата));
Если СтрокиКэш.Количество() > 0 Тогда
Возврат Новый Структура("Курс, Кратность", СтрокиКэш[0].Курс, СтрокиКэш[0].Кратность);
КонецЕсли;
КонецЕсли;
Структура = РегистрыСведений.КурсыВалют.ПолучитьПоследнее(лкДата, Новый Структура("Валюта", Валюта));
// и тут
Если СтруктураКэш <> Неопределено Тогда
НоваяСтрока = СтруктураКэш.КэшКурсов.Добавить();
НоваяСтрока.Валюта = Валюта;
НоваяСтрока.Период = лкДата;
НоваяСтрока.Курс = Структура.Курс;
НоваяСтрока.Кратность = Структура.Кратность;
КонецЕсли;
Возврат Структура;
КонецФункции // ПолучитьКурсВалюты()
Теперь нам надо объявить переменную СтруктураКэш в модуле того объекта, который оптимизируем. Иницилизировать ее не надо, пусть будет Неопределено. Будем передавать эту переменную во все процедуры, которые в конечном итоге вызывают ПолучитьКурсВалюты() — отладчик, замер производительности и стек вызовов в помощь. Придется добавить в типовые процедуры параметр СтруктураКэш = Неопределено, ничего не поделаешь. Но в общем и целом изменений в типовом коде получится немного, а не затронутые нами участки типового кода будут работать по-старому.
Вывод
Оптимизация работы системы не всегда требует чего-то сложного, наподобие анализа блокировок или планов запроса. Часто простой замер производительности и чистка запросов в цикле дает более, чем ощутимый результат.
Related Posts
Восстановление последовательности документов при закрытии месяца в Бухгалтерия 3.0 не завершается
Заполнение табличных частей
Формирование сводных актов выполненных работ
Ввод поступления в переработку на основании передачи сырья (между организациями)- Конспект по установке сервера 1С на linux
Получение имени компьютера и его IP локально и в терминале
Может правильнее это уже посчитать в запросе?
Для небольших массивов имеет право на жизнь, но для больших лучше предварительно поместить во временную таблицу и в следующем запросе выполнить отсечение.
Если вас беспокоит микро-запрос, сделайте вручную индекс в базе данных под запрос.
Так же можно включить «Повторно использование возвращаемых значений» в общем модуле, то есть создать свой ОбщийМодульПовтИсп (повторного использования) и выполнять переадресацию на него из базового модуля.
На мой взгляд, в статью нужно добавить примеры других статей по оптимизации. То, что здесь описано (точнее основная суть) оно уже где-то упоминалось, и регулярно упоминается., Что сократить число обращений к базе. Ценность статьи , освежить память, что БД ссылаться минимальное число раз.
На мой взгляд статья отличная, если рассматривать ее для разработчиков с небольшим опытом.
Чтобы прийти к таком пониманию, придется потратить не один год, причем именно на разработку и качественную.
Спасибо автору, содержательно и доступно.
Я бы добавил в статью, что все это касается ссылок (т.е. «Товары» — это ТЧ объекта «ДокументССылка»), а то кто-нибудь из начинающих точно к объекту («ДокументОбъект») применит с соответствующим результатом.
(0)
программа выполяет запрос к базе
считываются значения всех реквизтов
надо сначала сделасть замер производительности
написать что-то надобоие такого кода
мы можем столкнуться с некоторыми неудобстами
Потому-то боимся что-нибуль поломать
Автор, не ломайте русский язык. Статья — прописные истины для программиста 1С.
А фраза то надо сначала сделасть замер производительности (такая функция есть в конфигураторе, в меню «Отладка») просто в шок повергла: а мужики-то не знали!
Статья понравилась. Оптимизация минимальными усилиями.
В примере с курсами валют для минимальных изменений нужно использовать Временное Хранилище.
Если мы еще не получали курс данной валюты на текущий день, получим и сохраним в Хранилище. Если получали, то возьмем из Хранилища без запроса к базе.
код примерно такой:
Показать
Фактически, у нас есть куча модулей которым нужен курс валюты, и в каждом добавлять переменную СтруктураКэш очень накладно.
(1) pbazeliuk,
снова временная таблица, а учитывая, если ведущие параметры не индексируются — будем иметь дополнительный тормоз
(9) Frogger1971, речь идет о другом, для MS SQL, например, будет что-то на подобие такой команды:
(10) pbazeliuk, и попрощайся с этим индексом после реструктуризации ))
Не совсем понятно, в чем заключается оптимизация, для первого примера.
Особенно строка:
Уже не говоря о смысле примера:
То есть запросом получили таблицу значений, затем её перебираем, в цикле осуществляем поиск самого себя, а потом уже делаем расчеты.
Когда 10 элементов — это еще куда не шло.
А когда 1000 элементов для обработки и справочник номенклатура на 100 000 элементов
Сколько по времени будет выполняться данный цикл?
Оптимизация — это расчет внутри запроса, результатом которого будет готовая таблица.
(12) Dmitri_1C, Смысл оптимизации очень простой — исключение лишних обращений к БД.
Это самая существенная оптимизация которая может быть сделана в 1С.
Сколько по времени будет выполняться данный цикл?
Чем больше элементов для обработки — тем существеннее будет выигрыш.
Поиск по индексированной структуре данных в памяти — штука быстрая, хоть и выглядит громоздко.
Размер справочника вообще не имеет значения, т.к. считываются только необходимые данные.
Простор для оптимизации, конечно, остается. Но на фоне первого и главного этапа оптимизации выжать получится слезы.
Это только кажется — оооо, мы исключили операцию поиска в цикле на 1000 элементов! На практике это будут доли секунды.
В то время, как первичная оптимизация сэкономит минуты.
Если, конечно, можно не затрачивая усилий переписать чтобы вообще все запросом делалось — ну, отлично, чо.
Но в статье говорилось о внедрении оптимизации минимальными усилиями в существующий код. Пусть вас не обманывает простота примера. Он упрощен для легкости восприятия статьи.
(11) DenisCh, каждое блюдо нужно уметь готовить.
Там где сейчас работаю, реструктуризация делась недавно впервые за 4 года, что бы настроить сжатие DB на лету, плюс полное журналирование. Рейд на SSD дисках под рабочую DB заменить не было возможности. Следующая реструктуризация неизвестно когда будет, возможно, через пару лет (торговля 24/7).
В высоко нагруженных проектах, специфичные индексы дают ощутимый прирост скорости работы.
Без специфичных индексов очередь к высокопроизводительному рейду на SSD дисках, где размещены только файлы tempdb, достигала 50-100. После создания необходимых индексов, очередь всего 0.1-0.5.
Тему оптимизации кодазапросовпланирования индексов в конфигураторе не подымаю. 🙂
(12) Dmitri_1C, там есть строчка —
Поиск очень быстро выполняется по индексу, но это действительно плохой пример.
Более адекватный пример, когда нужно проанализировать результат запроса -> таблицу значений по разной комбинации колонок (по дереву настроек). Кто сталкивался с матричным управлением ассортиментом по специфическим характеристикам, оборачиваемости и полкоместам, наверняка сталкивался.
pbazeliuk, эта статья конечно для новичков, я даже не собирался ставить тег hiload — это модератор мне прицепил. Хардкор с ручным прикручиванием индекса и терабайтными базами 24*7 не рассматриваю.
Господи-боже… еще один вдруг понял, что разыменование ссылок приводит к запросу в СУБД….
А еще, внезапно, ДокументСсылка.Номер приведет к считыванию в память документа со всеми его табличными частями, ага. В документации написано. И про объектный кеш, и много еще чего, но кто же читает то…
С курсами валют вообще не догнал, ад какой-то….
О проблеме получения данных по точке знал, но не придавал особого значения, старался просто редка использовать.
Протестировал на практике, эффект колоссальный, в некоторый места производительность повысилась в 4 раза, документ стал быстрее открываться.
Спасибо автору, подтолкнул к изменениям.
Считаю что приведенные решения по оптимизации не завершенные, а полумеры:
— оптимально в первом примере все оставшиеся действия вынести в запрос — умножения и деления;
— во втором примере также в конечном варианте получать данные запросом.
Придумывайте более адекватные примеры.
Поставил плюс.
Я вот что хочу сказать. Статья расчитана для начинающих оптимизаторов. Ну и также напоминает большим дядькам или мужикам как это было сказано в
Не забываем, что маленькие но зато весьма частые вызовы также могут делать проблемы. И то что отследить такое поведение очень и очень не просто даже мужикам с большой буквы М.
Потому как в нагрузочных тестах СКЛ мы в топах не увидим это и накладных расходов тоже практически ничего не увидим кроме как количества вызовов за время.
Насчет кэш валюты ну а что ведь не плохо и к примеру при уже на выходе 8.3.9 никто не мешает -то сделать &Вместо не меняя штатную конфигурацию.
Да и статья — не закончена это только начало ИЗ возможных всех проблем. Да тут есть примеры и т.д. Но это крайне глубокая тема и как мне кажеться для этого надо развивать в подфорумы вот где и будут статьи такого рода объединяться в опыт.
Старая шутка и не интересная 🙂 если написать:
Будет слишком коротко, и все до одного напишут «и чо?». А вот если размазать на пару абзацев с запросами… то сразу найдутся те кто напишут «для начинающих самое то!» Вон некоторым, что бы это осознать вообще надо несколько лет качественной разработки. Про курс валют, соглашусь с (17), ни в коем случае не открывай модуль приложения в торговле. Вдруг там за тебя че нить уже оптимизировали.
А вот этого лучше не делать:
Причем «не делать» в двух частях.
1) Выборка к оперативке более лояльна чем тз, и для обработки результата (тем более при проведении) лучше использовать именно выборку. Еще у нее есть метод «НайтиСледующий()» — это если тз нужна была для поиска.
2) Для себя давно уже сделал аксиомой писать не «Запрос.Выполнить().Выбрать()» или «Запрос.Выполнить().Выгрузить()», а «РезультатЗапроса = Запрос.Выполнить(); Выборка = РезультатЗапроса.Выгрузить()» — чтобы удобнее в отладчике работать.
_
— и это, я думаю — лишние накладные расходы. Можно передать в запрос ссылку, и отобрать необходимые данные табл. части.
(19) ivanov660, не всегда хорошо формулы выносить в запрос. имхо — этого как раз нужно избегать, применяя только там где совсем никак без них не обойтись. Запрос — инструмент сбора данных, а не обработки. Формулы усложняют чтение, и в запросе их нельзя отладить. Лучше потратить 5 копеек производительности, и иметь возможность отладки формулы в читабельном коде.
(22) unichkin,
1. А как быстрее? Там в таблице индекс для скорости добавлен.
2. Документ не обязательно записан — из ссылки брать не чего.
(23) unichkin, Очень спорное предложение…
ИМХО лучше переложить по максимуму в запрос, чем вычислять ручными операциями
(23) (25) Есть простой критерий.
Если разница производительности несущественна, то руководствоваться нужно соображениями читабельности и удобства сопровождения.
Иногда удобно так, иногда — эдак.
Если формулы простые и понятные, то глупо ради их расчета прикручивать дополнительный этап постобработки.
И наоборот, если постобработка и так уже есть по какой-то причине, а расчетные формулы сложные, то глупо их расчет запихивать в запрос ради выигрыша пары миллисекунд.
(22) unichkin,
На клиенте да. Но вот на sql-сервере… Там же курсор открывается и висит…
1. В первом случае умножаем в запросе и не парим мозг;
2. Во втором случае кэширование в таблице значений неоптимально из-за медленного поиска. Следует использовать соответствие, где Ключ = Валюта, Значение = соответствие (Ключ = Дата, Значение = Структура(«Курс, Кратность»,…).
Показать
Писал на коленке, торговли нет проверять. Посмотрите метод с курсом и если он быстрее то вставьте его в статью. Новичкам это сэкономит еще больше времени:)
(27) DenisCh, «на sql-сервере… Там же курсор открывается и висит…» — таких глубоких познаний sql у меня нет:) Мой подход прост: при разработке нужно следовать ИТС, если тормозатупняки — начинать изобретать. Имхо в контексте данной публикации говорить такое — опасно для неопытной публики)) Для такого обсуждения лучше подошел бы 1С++ или миста.
(24) dmt,
1) Не обязательно будет быстрее, но оперативки будет жрать меньше. Я уже ответил как: использовать выборку и метод «НайтиСледующий()»
2) В статье речь о проведении документа вроде-бы? При проведении он записан 100% 🙂 Если зачем-то перед записью это делать то да… Но лучше все-же сперва подумать. Особенно, если есть многостраничные доки.
з.ы.
Для типовых бухгалтерий и ЗуПов все это ведь малоактуально. До первого обновления такая оптимизация.
(1) pbazeliuk,
Для небольших массивов имеет право на жизнь, но для больших лучше предварительно поместить во временную таблицу и в следующем запросе выполнить отсечение.
а вот тут спорно, если массив более 128 элементов, платформа сама переделает на временную таблицу, лучше, по возможности, просто передать ссылку
(29) unichkin,
На 1с++ это и так знают, а миста — это скопище ненатуралов. Тут намного более профессиональный форум.
«в ИТС, конечно, написано, но кто ж его читает»(с) Поэтому автор правильно сделал, напоминать об этом периодически надо.
(2) не понятное сравнение запросов с фильтрацией по массиву и по временной таблице. Если бы в последнем запросе так же была передача именно массива, то мы увидим эффект именно от временной таблицы, точнее увидели бы, что стало хуже т.к. весь профит (200мс VS 70мс) получен из-за передачи ссылки а не от использования ВТ.
Если просто передать в запрос ссылку без временных таблиц
то будет еще быстрее.
(27) DenisCh,
Насколько я знаю, сотрудники 1С отвечали, что нет никакого курсора. Выборка вся размещается в памяти сервера приложений 1С, несмотря на «Следующий()». Курсорные (вернее, порционные) запросы на больших объемах предлагают реализовывать самостоятельно.
(34) Evil Beaver,
Да ладно. На ИТС прямым текстом говорится о блочном считывании (как для динамических списков) и о связанных с этим особенностях.
Курсоров в самом деле вроде нет (в 7.7 кажись использовались), на 8-ке реализовали свой механизм «скользящих» выборок на обычных запросах. В основном из соображений кроссплатформенности, как я понимаю.
Хотя, пожалуй, я гоню. К выборке результата запроса это скорее всего не относится…
(32) DenisCh, А 1С++ это хде? 🙂
Я только сайт проекта знаю…
(35) herfis, блочное (а если точнее — интервальное) считывание есть ТОЛЬКО в дин. списках. И отборы интервалов строит сама платформа, можно видеть в профайлере SQL, например.
В обычных пользовательских запросов интервальности нет. Хотя, я, возможно, чего-то не видел.
(37) herfis,
(38) Evil Beaver, Да, я уже скумекал. Но не только в дин-списках, еще в тех выборках которые объектные. Они по тому же принципу. А в выборках результата запроса — нет. Но оно и понятно, если подумать. Интервальный просмотр с предсказуемой производительностью только по индексу можно сделать. Хотя вот в динамических списках с произвольным текстом запроса — таки делают. Но там и производительность ровно такая, насколько сложна выборка и насколько она ложится на индексы основной таблицы. В запросах такого даром не надо. Во-первых, интервальный просмотр данных БД никак не сочитается с транзакционностью, во-вторых он на сложных выборках будет тормозить вообще пипец как.
(39) Зашел, посмотрел на активность, почтил память.