Обслуживание индексов и статистик MS SQL Server
Эта статья написана для администраторов, обслуживающих сервера СУБД MS SQL Server, которые используются вместе с 1С:Предприятием. Статья скорее практическая, чем разъяснительная, но я постарался хотя бы кратко обосновать те или иные решения, хотя большая часть информации дана несколько упрощенно и поверхностно.
Индексы и статистики в MS SQL Server — основа эффективного выполнения запросов. Без них сервер не сможет выполнять запросы за разумное время.
Статистика — небольшая таблица, до 200 строк, в которой хранится обобщенная информация о том, какие значения и как часто встречаются в таблице. На основании статистики сервер принимает решение, какой индекс использовать при выполнении запроса.
Индекс — особым образом структурированные данные (хранящиеся в базе данных), которые позволяют быстро найти нужные записи. Устроен он примерно так, как оглавление в книге или предметный указатель. Большинство баз данных 1С по объёму более чем наполовину состоят из индексов. Для каждого индекса обязательно хранится его статистика.
За подробностями внутреннего устройства, как обычно отсылаю в BOL:
В целом MS SQL Server сам справляется с поддержкой целостности и эффективности статистик и индексов, но если никак ему не помогать, то постепенно накапливаются следующие проблемы:
- Статистика становится существенно неточной, причем это выясняется сервером именно в тот момент, когда она нужна.
- Индексы становятся сильно фрагментированными и перемешанными.
- Часть данных на строк, когда-то участвовавших в индексе уже удалена, и из-за этого индекс занимает на диске больше места и требует при выполнении запросов больше операций ввода-вывода.
Для того, чтобы эти накопленные эффекты не влияли на производительность, рекомендуется выполнять регламентное обслуживание статистик и индексов. Так затратив ресурсы на обновление и упорядочивание данных в незагруженное время мы скорее всего не столкнёмся с проблемами во время интенсивной эксплуатации.
Стоит учесть, что 1C для облегчения переносимости архитектуры между разными видами СУБД использует лишь небольшую часть современных возможностей индексирования MS SQL Server. За счет этого обслуживание индексов и статистик несколько упрощается.
Итак, что такое это «обслуживание»? Всё просто.
- Статистика просто пересчитывается. Читается вся таблица или часть случайно выбранных страниц и полностью пересчитывается статистика.
- Индексы могут быть дефрагментированы двумя способами:
- Перестроение — полное построение индекса. При этом обычно станицы становятся максимально плотно забиты данными, а статистика обязательно обновляется (всё равно все данные читать). Обычно данные индексированные данные полностью недоступны при перестроении индекса.
- Реорганизация — серия небольших локальных перемещений страниц так, чтобы индекс не был фрагментирован. При этом статистика не пересчитывается, данные всё время выполнения доступны (точнее, недоступна лишь совсем небольшая часть в каждый момент времени). Но при большой степени фрагментации эта процедура значительно дольше.
Для обслуживания есть специальные «кирпичики» в планах обслуживания (maitenance plan), которые так и называются:
- Update Statistics Task
- Rebuild Index Task
- Reorganize Index Task
Казалось бы всё просто: накидал кирпичиков, соединил стрелочкой и поехали. Такое решение возможно, но оно очень неэффективно:
- Индексы перестраиваются/реорганизуются только все сразу в данной базе. То есть даже если таблица никогда не меняется, её индексы будут перестраиваться. Это очень расточительно, а при полной модели восстановления еще и приводит к огромному росту журналов транзакций.
- Статистики тоже перестраиваются вне зависимости от актуальности, причем даже если они были только что обновлены при перестроении индексов.
- Нет никаких гарантий, что операция обслуживания завершится за то время, которое вы ей выделили.
Решение очень простое: пишется свой скрипт обслуживания, который убирает эти ограничения. Такой скрипт можно запускать из задания (job) MS SQL Server Agent или из «кирпичика» Execute T-SQL Statement Task в планах обслуживания (кому как удобнее). В интернете можно найти много подобных скриптов (в простейшем виде они даже в документации есть), но мне ни один не подошёл, и поэтому я пользуюсь своим «велосипедом». Этот скрипт и приведён ниже. Он подходит без изменений для большинства баз данных 1С до примерно 0,5-0,7 ТБ (дальше его уже лучше немного доработать, если кому-то интересно/актуально могу пояснить в комментариях).
Особенности скрипта:
- Как и в большинстве подобных скриптов, анализируется динамическое представление sys.dm_db_index_physical_stats, по которому выясняется степень фрагментации и заполненности страниц индекса.
- Можно задать для обработки лишь часть баз данных, можно, наоборот, исключить некоторые БД из обслуживания.
- Контролируется время выполнения скрипта.
- Очень грубо, но оценивается размер записи в журналы транзакций.
- Есть возможность исключить из обработки совсем небольшие таблицы.
- У скрипта есть режим «эмуляции» работы, чтобы оценить то, как он будет работать.
- Сначала обрабатываются самые большие таблицы (так как обычно их обслуживание важнее).
- Скрипт работает на SQL Server 2008 и более поздних (на 2005 тоже должен работать, но мне уже негде проверить)
- Результат вывода в режиме эмуляции сам является корректным TSQL скриптом.
- Ну и конечно, при регулярном выполнении этот скрипт на порядок легче, чем стандартные операции плана обслуживания.
С чем нужно быть осторожным при запуске скрипта:
- Нежелательно пересечение работы скрипта с интенсивной работой пользователей или с полным резервным копированием.
- Чтение из sys.dm_db_index_physical_stats в режиме DETAILED достаточно интенсивно читает с дисков.
- Скрипт предназначен для баз 1С или подобных. Не стоит экспериментировать с ним на совсем специфичных базах данных с нестандартными индексами.
- Если у вас есть таблицы 100-200 ГБ и больше, то при распараллеливании построения индекса, после перестроения он формально снова может оказаться фрагментированным.
- Статистики пересчитываются без полного сканирования. Это заметно быстрее. Если вам нужно полное сканирование каких-то таблиц, то пишите отдельный скрипт.
Рекомендации по запуску:
- Никаких регулярных «шринков» на рабочих базах быть не должно. Еще раз: шринкам не место в регулярном обслуживании!
- При полной модели восстановления я бы поставил полное резервное копирование после обслуживания индексов. Иначе при необходимости восстановления придётся донакатывать достаточно тяжёлый кусок журналов транзакций после восстановления основного образа. Простую модель восстановления на промышленно используемых БД я считаю либо редким исключением, либо частым недоразумением.
- Первый запуск лучше выполнить вручную в SSMS чтобы оценить время работы.
Остальное можно прочитать в коде и в комментариях.
PS: Движок сайта некорректно отобажает текст со знаками больше-меньше, поэтому скрипт приложен файлом, а в статье оставлено только начало скрипта.
-- Параметры скрипта declare @database_names as nvarchar(max) = N''; -- имена баз задавать через запятую, если не заданы, то все несистемные базы -- пока парсер примитивный - строка просто делится по запятым и обрезаются крайние пробелы -- (если в имени базы будет запятая или в начале или конце имени пробел, то система не работает) -- если указано "-ИмяБазы", то база будет исключена, declare @index_size_threshhold as int = 1024; -- минимальный размер в КБ для перестраиваемого индекса. Нет смысла перестраивать индексы на десяток страниц declare @index_rebuild_threshhold as numeric(5,2) = 25; -- показатель фрагментации, начиная с которого происходит перестроение индекса declare @index_defrag_threshhold as numeric(5,2) = 12; -- показатель фрагментации, начиная с которого происходит дефрагментация индекса declare @index_rebuild_space_used_threshhold as numeric(5,2) = 50; -- процент заполненности страниц меньше которого требуется перестроение индекса declare @timeout as int = 7200; -- максимальное время работы скрипта declare @max_size as bigint = 536870912; -- максимальный суммарный обрабатываемый размер в КБ (чтобы не нагенерировать логов на терабайты) -- 512*1024*1024 КБ = 0,5 ТБ declare @is_emulate as bit = 1; -- 0 - выполнять, 1 - только вывести команды
Related Posts
Восстановление последовательности документов при закрытии месяца в Бухгалтерия 3.0 не завершается
Заполнение табличных частей
Формирование сводных актов выполненных работ
Ввод поступления в переработку на основании передачи сырья (между организациями)- Конспект по установке сервера 1С на linux
Получение имени компьютера и его IP локально и в терминале
А почему не должно быть шринков?
Шринки бывают разные, но все они не являются регулярными операциями. По видам:
И обычно сразу после шринка файлу приходится снова расти — это лишние дисковые операции, причем такие операции, которые затормозят какую-то операцию изменения данных (а значит будут подвисания на транзакциях пользователей), да еще и фрагментация файлов на уровне ОС.
Единственное корректное применение шринка (и данных и ЖТ) — это после масштабных преобразований БД: разворачивание из dt, после свёртки, после реструктуризации основного регистра бухгалтерии. А такие операции происходят нечасто, планово и можно в план воткнуть еще пару пунктов (шринки с последующим обслуживанием индексов).
А почему?
(3)
1. Почти нигде нет органичений по длительности и суммарному размеру обработки.
2. Почти нигде нет тестового режима.
3. Часто в скриптах есть странные вещи (то филлфактор не 100, то статистика не пересчитывается при ребилде индекса)
4. Часто в скрипте нет анализа размера таблиц (постоянно переиндексируются мелкие) и заполненности страниц.
5. Часто перестроение индекса отделено от пересчета статистик.
ps: Блин. Заметил, что движок сайта скрипт опять переколбасил (хотя я специально lg и gt ставил). Прикреплю сейчас файликом.
скрипт скопировал, но он не до конца получился? не могу проверить в sql 2005
а в 2005 sql надо будет немного переделать декларацию переменных, т.е.
БЫЛО: declare @database_names as nvarchar(max) = N’Analyzerworkstm’;
СТАЛО: declare @database_names as nvarchar(max);
set @database_names = N’Analyzerworkstm’;
(4) Ясно. По п.1., наверное соглашусь. Я так полагаю, это все имеет место быть когда объемы баз подходят к космическим масштабам? 🙂 П.2 — п.5 я так полагаю, появились из-за п.1.?
Мне чем стандартный план обслуживания нравится: нарисовал все стрелками. Каждую операцию пометил на неудачу по уведомлениям. Если не произошло то- туда, если это — сюда. И забыл про все это дело как страшный сон 🙂 Полагаю, у вас в скриптах тоже все это можно настроить.
(5) Да, движок сайта сожрал половину. Если не получается скачать, то могу выложить/выслать.
(6) Время становится важным даже если суммарный объём баз на сервере 200-300 ГБ. А этот скрипт применялся и для баз 1-2 ТБ (точнее — почти этот, именно этот скрипт написан заново, потому что я там уже не работаю и не стал воровать). Но и дисковое пространство тоже внезапно расходуется при стандартном скрипте:
Неприятно прийти утром на работу и внезапно узнать, что из-за переиндексации базы упало всё из-за пересечения с загрузкой данных или съедено 200-500 ГБ на серверах.
Собственно, скрипт сейчас написал именно из-за того, что каждые выходные у наших админов журналы транзакций вырастали до двух размеров баз.
Про запуск из планов обслуживания я написал:
(7) не вижу, где скачать. Мона в личку скинуть
(8)
(9) ок, СПАСИБО!!!
Я пользуюсь вот этим
Первым на скачивание как раз идет скрипт, который создает все нужные jobs
(11) Добротный комбайн. Чересчур униваерсален на мой вкус, но добротный.
Добрый человек… а есть ли у тебя статейка с описанием настроек сервера?
Судя по подходу, есть чем поделиться 🙂
Статья вообще порадовала своим содержанием!
(13) Нет, такой статьи нет, но скорее потому что универсальных советов очень мало. А объяснение неуниверсальных советов выглядит как 1 строчка кода и 3 страницы объяснения, когда можно её выполнять, а когда не очень.
А зачем собственно пересчитывать статистику при ребилде индекса?
(15) При ребилде индекса, если не указать «STATISTICS_NORECOMPUTE» статистика по данному индексу пересчитывается сама, и причем «бесплатно»: при ребилде всё равно весь индекс считывается. Но если таблица достаточно большая, а изменения в ней не приводят к фатальной фрагментации, то если мы не выполняем полного перестроения индекса (например, обходимся reorganize), то статистика может устареть.
Теоретически можно их вообще не пересчитывать, MS SQL сам их будет пересчитывать (если ему не запретить явно), но делать он это будет во время пользовательской транзакции, когда каждый тик-так на счету. Ну и для больших таблиц (100+ ГБ) с массовыми изменениями замечено, что лучше статистику пересчитывать в режиме full scan (иначе она бывает неактуальна), но это очень медленно.
Можно, конечно, пересчитать статистику отдельно от обслуживания индексов, но при обслуживании индексов как раз «протухает» много планов запросов, они потребуют перекомпиляции, поэтому достаточно разумно сразу после ребилдов/реорганайзов выполнить и sp_updatestats, чтобы «волн» рекомпиляций была одна, а не две.
sp_updatestats обновляет не все статистики, а только устаревшие, так что её вызов сразу после перестроения индексов не приводит к повторному просмотру только что перестроенных индексов, так что тут нет лишних затрат.
speshuric, а можно вот это обосновать «Никаких регулярных «шринков» на рабочих базах быть не должно. Еще раз: шринкам не место в регулярном обслуживании!»
Спасибо за статью.
Для себя решил сделать планами обслуживания на основе этой (выполняются по ночам), серьезно увеличило скорость формирования отчетов в центральной базе.
speshuric 12
(17) в (2) еще описал же вроде. Откуда им взяться в регулярном обслуживании?
(18) Фишка в том, что планы обслуживания, как описано в той статье выполняются в разы или десятки раз дольше, чем предлагаемый скрипт. И журналы транзакций на перестроении индексов будут расти до размера базы (если полная модель используется).
Сколько тут всего полезного.. админ не знал, подсунул для изучения.
Спасибо!
(21) Пожалуйста, для подсовывания админам и написано 🙂
(11) anig99, поддержу отлично себя оправдывает.
(16)
Мне не понятно 2 момента:
1.
Как статистика может устареть от дефрагментации? Ведь статистика это распределение данных в таблице. Грубо говоря если имеем таблицу на 1000 записей, то статистика это информация о том, что в этой таблице 100 записей со значением «Стул», 50 со значением «Стол» и 850 со значением «Кресло».
Если мы сделали дефрагментацию, то данные никуда не делись и их распределение никак не поменялось, количество столов и стульев не изменилось, следовательно статистика осталась актуальной. Может я что-то неправильно понимаю?
2.
По какой именно причине обслуживание индексов вызывает перекомпиляцию плана запроса?
(24) Andreynikus,
1. Статистика устаревает не от дефрагментации, а от того, что не обновляется. Просто перестроение индекса статистику обновляет, а дефрагментация не трогает. У автоматического обновления есть своя специфика: оно срабатывает, если я правильно помню на 20% обновления таблицы (что очень немало) и может произойти в «неудобный» для системы момент, затормозив работу текущего запроса.
2. . При обновлении статистики (т.е. при перестроении индекса, в частности) запросы потребуют перекомпиляции.
У меня каждые 15 минут логи бэкапятся и шринкуются, это правильно?
(26) (Был в отпуске) Бэкапятся — правильно. Шринкуются — неправильно.
(27) объясните почему Шринкуются — неправильно?
(27) В целом описано в комментарии (2). Если не согласны, могу подробнее и с цифрами.
(9) Ссылка дохлая на гуглдокс или у меня не пашет? можно куда нить выложить?
(29)
Спасибо за то что поделились опытом, в отличии от технических статей статьи с опытом получаются наиболее концентрированными.
Есть пара вопросов:
Как вы боретесь с этим? Насколько сильная фрагментация получается?
Судя по
У вас подобный скрипт выполняется раз в неделю?
Rebuild index у меня проходит за час, сбор статистики за два. Возникают два вопроса, почему перестройка индекса идет быстрее сбора статистики и можно ли вообще отказаться от сбора статистики и делать по ночам только ребилд индекс?
(31)
Не сильная, не боремся
Нет, хоть каждый день. Тут скорее «я бы не ставил полное и разностное резервное копирование прямо перед индексированием, а поставил бы сразу после, чтобы при сбое иметь копию сразу после обслуживания, а не трахаться с последующим восстановлением больших журналов транзакций»
(32)
Возможно, дисковая посистема такая, возможно статистик много нагенерировано. Тут надо предметно смотреть.
Спасибо за статью, и за подробные комментарии к вопросам.
Для меня остался невыясненным один вопрос:
Надо ли делать обновление статистики после перестроения индекса? Ведь обновление и так происходит автоматически при ребилде. И если все же надо, то почему?
Еще один вопрос.
Нужно ли производить очистку процедурного КЭШа с помощью DBCC FREEPROCCACHE после обновления статистики?
И после выполнения этого скрипта в частности?
Мир этому дому!
С большим удовольствием прочитал статью и обсуждения — информация полезная особенно для тех, для кого MS SQL — черный ящик. Автору спасибо.
На курсах по оптимизации внимание на индексы и статистику обращали в первую очередь.
(2)
Особенно «не нужен», когда появляется ошибка «Log is full», и её надо срочно исправить.
(33) А что нужно дорабатывать при больших базах?
Какие особенности при администрировании?
(38) Eduard66,
То же, что и «при маленьких».
Тут нужно умение оценить текущее состояние базы в SQL, оценить степень проблемы, и применить нужное средство в нужное время.
Например, в данной статье рассматривается проблема большой/дефрагментированной таблицы индексов, и смежная проблема статистики. А статистика может быть неактуальна и в маленькой базе.
Другое дело, что чем меньше данных обрабатывается — тем меньше влияние неактуальной статистики, и поэтому её обновлением пренебрегают в таком случае.
(39) AlexO, я имел в виду что автор указывает на доработку скрипта при работе с большими базами.
Вопрос собственно про это
(40) Eduard66, Скорей всего, речь идет о более мелких выборках при террабайтных базах.
Т.е. нужно разбить блок обрабатываемых данных на пакеты поменьше.
Почему если сделать переиндексацию то какие то индексы все равно показываются фрагментированными в sys.dm_db_index_physical_stats?
(42) torg1c, Процент фрагментации какой при этом? fragment_count? Если меньше 10, то забей. Так и должно быть. )))
(42) torg1c, потому что база постоянно меняется.
(44) AlexO,
Нет! Останавливаюю серевер 1с, делаю переиндексацию, смотрю индексы и вижу что часть так и непереиндексировалась.
Процент и 80 и 90 есть )
(45) torg1c,
Еще page_count надо смотреть. Если меньше 10 или проценты меньше 10, то это нормально. Дефрагментатор, он не мелочится. Для 100% дефрагментации нужно делать rebuild index.
(46) Painted, дефрагментация индекса вообще уже не рекомендуется — бессмысленная операция для баз 1С.
(46) Painted,
Все еще круче, оказывается. Если page_count < 100, считается слабо фрагментированный индекс.
скажите пожалуйста, можно ли использовать Ваш скрипт для 7.7?
на 8.2 все отработало отлично
(49) от версии 1с не зависит.
Подскажите, пожалуйста, есть ЗУП КОРП 2,5 база стала сииильно пухнуть, каждый день выполняется переиндексация, обновление статистики. Нашел таблицу в ней всего 2 индекса, но они занимают 45Гб, это как-то не нормально. Что делать то?
(51) Kondusov_Dmitij,
Мало данных.
-это как именно посчитали? И что это за таблица? Может это регистр накопления и итоги не закрываются?
Под SQL 2000 работает ? Где вообще есть нормальная инфа как обслуживать базу на SQL 2000 ?
(53) Под SQL 2000 не работает: там нет нужных DMV и приходилось подобное делать через кучу приседаний (см. DBCC SHOWCONTIG)
Я бы настоятельно рекомендовал уже уйти с 2000 — слишком много накопилось исправленных проблем. Если речь про 7.7, то это немного сложнее, но эти сложности того стоят. Если речь про 1С8, то безусловно переходить.
(53) Если что, по 7.7 смотреть на
(54) речь идет от 7.7. пока на 8 переходить в планах нет совсем, и скуля 2000 лицушная. пока делаем выгрузку/загрузку, надеясь на то что по время этой процедуры все таблицы пересоздаются по новой.
(56) alex_gus,
Смотрите на перевод 7.7 на новую версию. Ссылку я дал.
(57) я понял, но как то «секретный релиз» не шибко внушает доверия если честно…а так конечно надо попробовать.
Да и есть ли у Вас мысли, по поводу выгрузки/загрузки при этой процедуре база очищается или данные поверх пишутся ?
(57) подскажите, я сделал свертку базы sql 2008 1c 7.7. Удалял данные прямо из таблиц sql, удалилось несколько миллионов строк из проводок и регистров,но размер базы не изменился. Для сжатия базы запустил отдельно регламентную процедуру на ночь, но размер базы не уменьшился, ужался только лог. Модель базы данных «простая».
Попробовал вашу скрипт. На небольших базах до 100Гб, работает замечательно время обслуживания раза в три уменьшилось. А вот на большой базе 300Гб проблема. Перестроение индексов делается достаточно быстро, а вот обновление статистики занимает часов 15. Опять же скрипт не прекращает работу по таймауту. Не могли бы подсказать куда копать, где может быть проблема?
(37) наверно следует рассказать про бэкапы журналов транзакций, после которых СУБД перезаписывает закомитченные данные. Лог условно не растет. Шринк тут вообще не к месту, только показатель отсутствия знаний и обслуживания.
А если говорить про реальную необходимость шринка после масштабных операций, то он должен быть не до нуля, а до некоего стабильного значения размера журнала от бэкапа до бэкапа журнала.
ПС: отдельный привет передам тем слабоумным, кто переключает для усечения журнала базу в сипмл. Вас так много ((((
(11) посмотрел по ссылке скрипты о которых Вы упомянули, не работают почему то они из агента…
пробовал вот так запустить, чтобы увидеть в чем проблема
получил ответ
output
—————————————————————————————————————————————————————————————————————————————————————
HResult 0x35, уровень 16, состояние 1
Поставщик именованных каналов: Не удалось открыть соединение с SQL Server [53].
Sqlcmd: ошибка — Microsoft SQL Server Native Client 10.0: При установлении соединения с сервером SQL Server произошла ошибка, связанная с сетью или с определенным экземпляром. Сервер не найден или недоступен. Убедитесь, что имя экземпляра указано правильн
о и на сервере SQL Server разрешены удаленные соединения. Дополнительные сведения см. в электронной документации по SQL Server..
Sqlcmd: ошибка — Microsoft SQL Server Native Client 10.0: Время ожидания входа в систему истекло.
NULL
(строк обработано: 6)
Показать
при этом если запускать скрипт вручную то все работает. например вот так
(62) права покрути
(63) знать бы где и что! Вторые сутки борюсь не могу запустить Агент сервера, говорит, что учетка неизвестная и имя не выводит ее в лог в не зависимости от того что ставлю. А если в Безопасность — Имена входа пытаюсь что то открыть вылетает ошибка про статистику…
ежели по-быстрому 🙂
заведи локального пользователя винды, добавь его в админы
агента запускай под его учеткой
в скуле дай права ему же
Что надо поменять в скрипте, чтобы он молотил все несистемные базы, которые не содержат «_copy» в конце?