Хочу поделиться своим опытом с сообществом. Надеюсь, он будет интересен и полезен разработчикам 1С, которые делают свои приложения на управляемых формах.
Началось все с того, что к нам обратился клиент для проведения аудита производительности. Были жалобы на общую производительность системы, а также были обозначены отдельные конкретные операции, которые выполняются долго. О некоторых этих операциях, и о том, как их удалось ускорить и хочу рассказать.
Операция 1. Рабочее место менеджера по отгрузке
Есть обработка на управляемых формах, в которой основной элемент – это динамический список. Данная обработка является критичной для бизнеса, т.к. используется она довольно часто и ее медленная работа влияет на скорость всего бизнес-процесса отгрузки.
Медленно выполняется операция по открытию и обновлению этого динамического списка. Среднее время выполнения этой операции у пользователя с включенным RLS составляло примерно 60 секунд. Данное поведение стабильно воспроизводилось и на копии базы. При работе без RLS скорость увеличивалась до 40 секунд.
Начали делать анализ с замера производительности 1С, однако это не дало никакой информации, т.к. операции по обновлению динамического списка в него не попадают. Тогда стали анализировать с помощью SQL Profiler. Обнаружили, что в этой операции выполняется два долгих запроса, т.к. на данной форме располагаются два динамических списка. Второй динамический список располагался на второй закладке, которая не отображалась при открытии, однако данные тот список получал и при открытии, и при выполнении команды «Обновить» из первого списка.
Также этот второй список получал данные даже дольше первого.
Проанализировав текст запроса, мы увидели, что и для первого, и для второго запроса тексты были громоздкими. В первом запроса было соединено шесть таблиц и вложенные запросы, а во втором использовалось пять таблиц.
В динамические списки не стоит задавать сложные запросы, т.к. он читает данные курсорным способом (выбирая данные порционно), а на сложных запросах, в которых участвует много таблиц, чтение курсорным способом может не быть выполнена оптимально оптимизатором СУБД. Рекомендация для таких случаев создавать регистр, в который заносить данные для этого динамического списка. Однако мы продолжили дальнейшее исследование.
В тексте второго запроса нашли возможность оптимизации запроса. В тексте использовалось разыменование поля составного типа. Используя конструкцию «ВЫРАЗИТЬ» удалось ускорить операцию открытия списка формы, однако незначительно.
Текст до изменения:
После:
Список до сих пор открывался долго.
В большинстве случаев оператор работали только с первой закладкой, а на вторую даже не переходили, а она отнимала у них время работы.
Мы решили отключить этот список, и включать его только при открытии пользователем этой закладки. Попробовали сначала отключать его с помощью сброса флажка видимость, однако это не помогло. Запрос все равно получал данные, даже не смотря на то, что список был невидим.
Тогда решили заменять текст запроса на «пустышку», и устанавливать его назад, при выборе страницы. Тогда при открытии формы, данные для второго дин.списка не будут получаться до тех пор, пока мы не откроем эту закладку.
В итоге, скорость открытия данной формы возвросла после доработок с 50-60 секунд до 7-10 при проверки открытия пользователем с ограничением по RLS.
Операция 2. Вывод характеристик при подборе товара
Обработка подбора, при выборе номенклатуры, и двойном щелчке на ней, обработка «проваливалась» в выбор остатков по характеристике этой номенклатуры.
Просмотр списка номенклатуры был на приемлемом уровне производительности, однако переход к выбору характеристик мог занимать до 10 секунд. Снятие замеров времени выполнения показало, что среднее время перехода составляет почти 5 секунд, при том что было выполнено почти 5 тысяч операций.
Замер производительности 1С показал, что получаение остатков не занимает много времени, однако при переходе контектса выполнения на сервер уходит бОльшая часть времени выполнения операции.
При анализе кода обработки, мы увидели возможность заменить контекстный вызов функции «ВывестиХарактеристики» на внеконтекстный. Это позволило сократить объем передаваемого трафика между клиентом и сервером и на наших замерах позволило добиться улучшения в два раза, с 5-6 секунд до 2-3.
Операция 3. Динамический список с остатками
Данная операция была определена с помощью сервиска querytj. Она была в топе долгих запросов на первом месте. Вот некоторые данные о самых долгих операциях выполнения данного запроса. Открытие списка доходило до 500 секунд!
Определив по контексту место данного запроса, определили его текст в терминах 1С.
Оказалось, что это довольно-таки простой запрос. Соединение с виртуальной таблицей остатков не должно было вызывать проблем, т.к. этот запрос должен был соединяться с таблицей текущих остатков. Также по логике работы текущие остатки должны быть незначительными, т.к. заказы должны закрываться, и в остатках должны оставаться только незакрытые строки.
Однако он выполнялся долго. Просматривая текст запроса, мы нашли участок, приводящий к замедлению. Это было как раз обращение к таблице итогов регистра «ЗаказыНаПеремещение».
«Узкое место»
Причиной этого удалось быстро найти. Это были нулевые итоги в этой таблице. Так из 238 тысяч записей текущих итогов, 236 тысяч были нулевыми. Это очень замедляло выполнение данного запроса. Подробнее об этом вопросе рассказано тут.
Для решения этой проблемы нужно было сделать пересчет итогов. Так до пересчёта итогов – мы наблюдали долгое открытие списка документов Перемещение товаров, иногда задержка составляла более 60 секунд. Но после пересчета итогов, данный список стал открываться за время менее секунды.
Выводы:
Динамические списки очень удобны для разработчиков, однако не стоит их нагружать слишком сложными запросами. Помните, что они расчитаны на работу с простыми запросами, в которых можно эффективно использовать курсорное чтение (читать данные порциями).
Также, по возможности, используйте внеконтекстные вызовы для форм, особенно, когда эти формы содержать много данных.
Related Posts
Восстановление последовательности документов при закрытии месяца в Бухгалтерия 3.0 не завершается
Заполнение табличных частей
Формирование сводных актов выполненных работ
Ввод поступления в переработку на основании передачи сырья (между организациями)- Конспект по установке сервера 1С на linux
Получение имени компьютера и его IP локально и в терминале
Статья в целом неплохая, но вот следующая цитата у меня вызывает вопросы:
Судя по ТЖ и по трассам 1С 8 курсоры вообще-то не использует. Данные для форм выбираются достаточно неприятно для SQL Server, порционно, но не курсором. Если запрос строится платформой по объекту метаданных, то обычно запрос выглядит примерно так:
Показать
Основная проблема тут не только соединения, а чаще условие «ГДЕ». Даже если есть индекс по всем значениям упорядочнивания, начиная с 4-5 полей SQL часто перестаёт понимать, что это всего лишь «выводи записи начиная с …» и, если первое поле упорядочнивания не даёт достаточно селективного отбора запрос либо уходит в сканы, либо в паралеллизм, либо и то и другое.
В принципе подход 1С понятен:
1. Не использовать курсоры, которые потребуют хранения состояния и сервер 1С перестаёт быть stateless
2. Реализацией на «честном» SQL можно покрыть больше СУБД.
Способы борьбы тоже яснее ясного: отказываться от лишних сортировок, строить индексы «с доп. упорядочиванием»
Ну а если основой запроса является еще и динамический список, то там есть другие моменты: 1С не может гарантировать, что у запроса есть какой-то «уникальный ключ». И поэтому поступает как может. Выбирает сначала первые 1000, потом первые 2000, потом первые 3000 и т.д. Легче всего убедиться в этом, трассируя динамическую форму с таблицей остатков.
Здесь производительность явно принесена в жертву универсальности и авторов платформы в этом можно понять, а нам надо учитывать эту специфику. Курсорность тут ни при чем.
В последнем запросе левое соединение стоит заменить внутренним.
По фильтру документы по которым нет остатков отсекаются, результат будет тот же но должен быть быстрее.
В 8.3 это должны были починить. Сам не проверял.
По-моему, использовать конструкции типа ТИПЗНАЧЕНИЯ(…) = ТИП(…) абсолютно неправильно. Я бы переписал запрос примерно так:
(3) doxflow, ага в 8.3 есть такое исправление. Сами столкнулись когда пробовали в УТ 11 не последней версии посмотреть работоспособность — старая форма подбора товаров упала (там есть переключения видимости между списками номенклатуры и характеристик, но данные запрашиваются с обоих списков).
(4) B2B, а вот функции Выразить(поле как тип) довольно разумно, т.к. сокращает количество неявно присоединяемых таблиц
(6) ivanov660, Да ВЫРАЗИТЬ — оно почти везде нужно, особенно когда дело касается регистраторов. Так как без данного оператора мы просто вешаем БД)))
Отмечусь, нужно со статьей по-внимательней ознакомиться! 🙂
а если бы запрос переписали по человечески — без вложенных запросов, то было бы еще быстрее. и никакого профайлера не надо.
(7) Bukaska, а где можно посвятиться по поводу Выразить в запросах?
(10) xzorkiix,
или Вы имели в виду «просветиться» ?
Неплохая статья… в целом как обмен опытом то плюс… опять же вопрос к Доржи, когда уже будут Кейсы для внедренцевразработчков… а то статьи разбросаны, потом фиг найдешь (
(12) AllexSoft,
Ага… всего-то требуется сделать «человеческое» управление функциями «Мои рекомендации»,»Мои загрузки» и «Мои комментарии».
В порядке работы допущена, я бы сказал, методическая ошибка: исследования должны проводиться на оптимальном состоянии БД. Что это значит: итоги пересчитаны, индексы и статистики актуальны, регламентные операции по поддержке такого состояния автоматизированы.
Приведение БД в оптимальное состояние не требует трудозатрат высококвалифицированного специалиста и может существенно сэкономить его трудозатраты на этапе анализа и решения проблем: в вашем случае работы по п.3 вообще бы не потребовались.
А что за конфигурация исследовалась, если не секрет? Или хоть общими словами: чья-то полностью самописная, или стандартная, или стандартная, но доработанная по методу Франкенштейна?
(10)
Про «выразить» в запросах по составным типам
(15) gaglo, Судя по скринам это УТ-11.
(17) Ну и интересно же, что эти тормозные операции 1 и 2? Сразу были в УТ-11 такими или же их некто «доработал»?
(4) B2B, Ты прав. Замер производительности не даст соврать!
(4) B2B, Сейчас сделал поиски текста запросов с «ТипЗначения()=Тип()» по новейшей конфигурации 1с «Документооборот» и пришел в ужас. 1с-вцы повсюду используют данную функцию!!! Хотя сами больше всех орут про производительность и валят народ на экзаменах при малейших косяках
(4)B2B,
Правильнее делать
ТипЗначения()=Тип()
или
Статусы.Документ ССЫЛКА Документ.ОтборочнаяВедомость
И ВЫРАЗИТЬ(Статусы.Документ КАК Документ.ОтборочнаяВедомасть).Распоряжение ССЫЛКА Документ.ЗаказНаПеремещение
Между этими способами нет никакой разницы, запрос на языке SQL будет одинаковым, а условие примет следующий вид: WHERE (T1._RecorderTRef = @P2) AND (T2._Fld781_TYPE = 0x08 AND T2._Fld781_RTRef = @P3)
Это условие довольно простое и оптимизатор может легко его обработать и подобрать оптимальный план.
НО, если написать так как написано в комментарии (4)
Статусы.Документ.Распоряжение ССЫЛКА Документ.ЗаказНаПеремещение
т.е. обратится в условии через точку к полю составного типа, то условие примет вид:
WHERE (T1._RecorderTRef = @P2) AND (CASE WHEN T1._RecorderTRef = @P3 THEN T2._Fld781_TYPE ELSE CAST(NULL AS BINARY(1)) END = 0x08 AND CASE WHEN T1._RecorderTRef = @P4 THEN T2._Fld781_RTRef ELSE CAST(NULL AS BINARY(4)) END = @P5)
В моем случае это привело к сканированию таблицы Т1 и как следствие количество логических чтений выросло в 4 раза, запрос стал работать медленнее. Оптимизатор просто не смог использовать индекс по полю T1._RecorderTRef.
Следовательно лучше использовать ТипЗначения()=Тип() или в условии использовать ВЫРАЗИТЬ при обращении через точку к полю составного типа. Оба этих приема приводят к одинаковому тексту SQL запроса.
(20) kuza_87, Те же действия сделал.. Меня не валили. Но не знал про этот косяк. Потому плюс.
Про динамический список: А условие в левом соединении …Остатки(, {Товар КАК Ссылка})… не решит проблему выбора левых пустых остатков?
Спасибо за статью. Были проблемы с избытком динамических списков на УФ. До трех на одной форме со сложными запросами. Благодаря советам удалось оптимизироваться.
Да соглашусь с предыдущими ораторами не понятно что за конфигурация
А условие из ГДЕ нельзя перенести в условие виртуальной таблицы РегистрНакопления.ЗаказыНаПеремещение.Остатки() ??
(0) rzabolotin,
Кстати вставлю свой пример про (псевдо) «Управляемые формы» : была подобная проблема на моноблоках обработка открывалась от 60 сек до 3 минут….
в отладчике смотрели запрос выполняется быстро не более 1сек. (На обычном/не древнем десктопе форма открывалась несколько секунд).
Решили что проблема с отрисовкой формы… видюха на моноблоке слабая….ничего не поделаешь.
Но помог случай)) сломался на моноблоке HDD (вечером) …. заменить было нечем — новый привезут еще когда…. и как раз у нас были в отделе несколько SSD …. взяли.. поставили… накатили OS +1с
и о чудо обработка открывалась не более 3 сек!!!!! вот такой «тонкий клиент» однако… якобы совсем для слабого оборудования предназначен… угу ага)))
(27) sanfoto, Ну так.. 1с же беспокоит дисковое пространство. Чем быстрее диск, тем более быстрее открываются данные)))
Если говорят про слабое звено, то все равно нужно смотреть посильнее звено.. Это же все таки программа)))
была проблема из запроса заполнялась таблица значений на форме.. Таблица заполнялась очень долго, полезли смотреть почему, думали запрос тормозной (а он реально большой был). Нет, запрос отрабатывал быстро, а вот с передачей с сервера на клиент или с отрисовкой таблицы были какие то тормоза ужасные. 1000позиций всего лишь — отображалось минут 5! Диски SSD — база небольшая, локальная, просто для теста взяли. Победить так и не удалось (
Спасибо большое!
Но возник вопрос.
Составляю форму реквизитов, ставлю запрос. А вот наименование никак не выводит. Как его получить в эту нарисованную форму?
Спасибо!
Если правильно понял, то ни строка ни ссылка не передается. 🙁
Либо что-то изначально поставил не так.
Можете чуть подробнее подсказать, где настроить и как основные элементы чтоб использовать это условие?