Сообществу доброго времени!
Пару недель назад позвонил мне давний мой клиент и стал жаловаться на низкую производительность 1С и постоянные простои в работе. Жалоба была на то, что SQL перевел базу в режим восстановления и магазин не может продавать (винда, скул, форева!).
Вопрос стоял просто: что делать? В логах сервера были написаны проценты, которые остались до окончания восстановления базы, поэтому спрогнозировать, сколько ждать, было не сложно — часа полтора (неожиданно для базы всего-то в 20 Гиб).
ИСТОРИЧЕСКАЯ СПРАВКА
Где-то в 12-м году мои клиенты решили что-то поменять. До этого система работала на обычных стационарных компьютерах на 1С 7.7 и ТиС 9.2, к которой было прикручено красивое АРМ, штрихкоды и все прочие плюшки.
Я на тот момент уже переехал в стольный град и не мог посвятить клиенту много времени, поэтому было принято решение переходить на УТ 11 с помощью франчей и с моим эпизодическим участием. У 1С как-раз появился прекрасный продукт — мини-сервер на 5 клиентов. В итоге был куплен сервер DELL с Xeon 12XX (3,1GHz в стоке), на борту которого было 4 SAS -диска 2,5" по 320 Гиб и 8 Гиб ОЗУ. Из дисков был собран массив RAID 0+1, была поставлена 2008-я серверная винда (для начала Evolution), был развернут сервер 1С и произведен перенос данных с ТиС 9.2 в УТ 11. Долго франчи ломали головы об 11-ю УТ, но в конце концов все запустилось. Была куплена винда 2012 для малого бизнеса. Потом был куплен сервер SQL 2024 (да, это было после, а по-началу система куртилась на Express’е).
Проблемы начались почти сразу же, т.к. памяти было маловато. Местные продавцы компьютерного железа не смогли подобрать для этого DELL’а памяти, чтобы увеличить ее количество. Сам DELL вообще на вопросы о том, "как бы сделать из г-на конфетку", не отвечал, поэтому (особенно последние пару лет, когда УТ стала толстой и прожорливой, а 1С 8.3 еще толще и прожорливей, не говоря уже об MS SQL 2024, который тоже был толст и прожорлив, а уж какая толстая и прожорливая была венда — вообще молчу) производительность системы оставляла желать лучшего (хотя, если сравнивать с некоторыми моими клиентами по текущему месту работы, у которых на 100 ядрах и невменяемом количестве памяти системы тормозят просто из-за того, что все на виртуалках, а хосты как следует настроить никто не может, то вполне себе ничего).
В общем и целом возникла "революционная ситуация". т.к. при начале тормозов бравые ребятишки просто жамкали кнопку "рестарт" на серваке, а MS SQL после перезагрузки уходил в востановление. Через какое-то время rphost сжирал под 4 гига оператосика, и система снова вставала колом, т.к. скулу оставалось всего 300 метров, и он начинал активно эксплуатировать жесткие диски при каждом запросе из 1С. Остальное, полагаю, держала для себя вечноголодная серверная венда.
ПОЧЕМУ РЕШИЛ ПОСТАВИТЬ UBUNTU И POSTGRES?
Я давно уже дома сижу на Linux’е — с 2008-го года примерно. До того пару-тройку раз знакомство со свободными системами не зашло. Сейчас я весьма уверено пользуюсь Linux: могу без проблем пересобрать ядро, любой софт, примерно понимаю, где какие параметры в ядре и софте крутятся, на что влияют и т.д. До последнего времени я клиентам старался ставить Windows, скул от мелкомягких и прочий софт, с которым, как мне казалось, геморроя будет меньше и специалисты всегда найдутся, которые смогут разрулить проблемы. Но, как оказалось, специалистов сейчас куда больше тех, кто телефоны умеет перепрошивать, а на телефонах винды почти нет — последний виндофн уже, сдается мне, давно продан. Также админы и программеры в последнее время активно начали осваивать Linux, под ту же 10-ю винду появились пакеты с дистрибутивами Linux, мелкософт зашла в СПО в качестве платинового партнера, выпустила свой скул для него, запилила аналогичное винде по функциональности ПО (vs code, skype, …) — в общем развернулась к Linux’у.
Также участие в конференции PgConf2024 показало, что постгрес — отличное продуктовое решение. Немаловажным было для меня и то, что подготовить новый сервер я мог без дополнительных затрат на софт (да и разучился я винду ставить за последнее время — нет надобности).
ЖЕЛЕЗО
Мы подумали и я решил купить добротный современный компьютер на базе Ryzen 5 2600X (была мысль 2700Х купить, но трезво оценив, что 10-ти пользователям достаточно 4-х ядер, я пошел на компромис — 6-ядерный высокочастотный процессор будет не хуже топового, но при этом на 10к дешевле). В итоге взял достаточно простой (если можно так считать) корпус со стеклянными стенками (фронтальная и боковушка), блок питания с сертификатом 80 PLUS не ниже GOLD и не меньше 500 Вт, мать на базе AMD B450, хороший SSD для системы и базы, и 2 потоковых диска в RAID1 для бэкапов (отлично подошли диски для медиасерверов). Также система была укомплектована 2-мя планками памяти по 8 Гиб (общей емкостью в 16 Гиб) из списка совместимых.
Общий бюджет — 65 килорублей + 620 рублей доставка до соседнего подъезда, в котором находится отделение транспортной компании.
Заказал я все это 1-го апреля, 2-го получил счет, через пару дней его оплатили, а еще через день он уже стоял в соседнем подьезде криво собранный специалистами поставщика (им, видимо, никто не сказал, что память нужно в B1/B2 ставить, а не в A1/B1 — но это мелочи).
СОФТ
В качестве софта установил на систему UBUNTU 18.04 (она отлично ставится с флешки). В ходе установки понял, что память как-то странно работает, после чего запустил memtest и первый баг увидел уже через минуту. Уменьшил частоту памяти и запустил на ночь, после чего уже на низкой частоте поставил систему, установил 1С, установил postgres pro 1C 9.6.11, создал софтовый RAID, заставил его автоматически монтироваться, написал скрипты для бэкапа базы и ее обратного разворота в тестовый контур.
А теперь давайте по-порядку.
УСТАНОВКА ОС UBUNTU 18.04.
Систему я ставил на 970 про — это один из лучших и сравнительно недорогих (12к за 512 МиБ) дисков на рынке (на мой взгляд). Они и быстрый, и холодный, если не нагружать его (в полном тесте Гилева температура контроллера достигала 86оС, но при этом события critical в S.M.A.R.T не отразилось — это видно на картинке, из чего я сделал вывод, что система вполне жизнеспособна).
Не думаю, что стоит останавливаться подробно на том, как ставиться Убунту — куда проще на мой взгляд, чем винда. При установке мой WiFi-свисток был отлично определен и обновления и языковые модули скачались сами собой.
В принципе вся установка сводится к вставке флешки (я ставил с внешнего HDD, который мой отец как-то нашел в зимнем лесу, гуляя там с собачкой), выбору языка, созданию раздела (можно просто "Далее" нажать, отметив "Установить Убунту на этот диск", но я выбрал "nvme0n1p1", указал фаловую систему EXT4 и точку мотирования "/"), ожиданию копирования файлов (если в ходе установки подоткнуться к вайфаю, то вас просят про точку доступа и пароль и помимо копирования файлов еще будут загружены файлы обновления и языковые пакеты), в конце установки нужно указать пользователя, имя компьютера и пароль. Вот и весь квест.
RAID
Как организовать RAID в Linux — об этом можно, полагаю, книги писать, ибо способов неимоверно много. Но я решил пойти самым простым — с помощью пакета mdadm, который отлично подошел для моих нужд.
Как это работает? Очень просто — устанавливаете пакет, инициализируете массив и делаете так, чтобы он автоматически подключался. Давайте пошагово разберемся, что надо сделать.
1. Установим пакет mdadm:
sudo apt install mdadm
Немножко об этой команде и консоли. В Linux очень много вещей можно сделать как через графический интерфейс, так и через консоль. Для запуска консоли достатончо нажать Ctrl+Alt+T — и ее окно появится поверх остальных. В консоли Linux, как в CMD в винде, можно запускать программы, но функциональность консоли Linux по сравнению с виндовой просто на порядки выше. Софт в Linux обычно упорядочен в репозитариях, в которых разные программы и библиотеки связаны отношениями. Устанавливая какую-то программу система самостаятельно установит нужные ей библиотеки и предложит пакеты, которые могли бы быть полезны.
Пакетами программ управляет пакетный менеджер. В разных дистрибутивах используется множетсво разных пакетных менеджеров, управляющих связями и зависимостями пакетов, качающих, устанавливающих и удаляющих программы на компьютер под управлением Linux. В Ubuntu используется менеджер пакетов apt, который состоит из различных утилит, но я пользуюсь в основном командой apt, которая позволяет установить, удалить и обновить программы.
После установки программы обычно она готова к применению. Давайте разберемся, как создать RAID 1 (зеркало) из двух дисков. Если перейти по ссылке выше, то там показан пример создания софтового массива 5-го уровня, а нам нужно 1-го, т.к. у нас всего два диска.
2. Создадим наш RAID-массив:
mdadm --create --verbose /dev/md0 --level=1 --raid-devices=2 /dev/sda1 /dev/sdb1
Понятно, что данную команду нужно запускать под суперюзером (как и установку программы), поэтому или перед командой надо писать "sudo", или нужно написать "sudo -i", что приведет к переходу в терминале к сессии суперпользователя. Вообще, в терминале строка приглашения обычного пользователя заканыичается на "$", а суперпользоватетя на "#", так что имейте ввиду.
3. Глянем состояние массива.
cat /proc/mdstat
Personalities : [raid1] [linear] [multipath] [raid0] [raid6] [raid5] [raid4] [raid10]
md0 : active raid1 sda1[0] sdb1[1]
1953364992 blocks super 1.2 [2/2] [UU]
bitmap: 0/15 pages [0KB], 65536KB chunkunused devices: <none>
Состояние у нас "active raid1", т.е. массив активный, состоит из sda1/sdb1.
4. Настроим подключение диска в автоматическом режиме. Для этого я, лично, юзаю графический интерфейс программы управления дисками, которая из коробки идет в Ubuntu. Для этого я клацаю на кнопке меню (9 точек снизу панели программ) и пишу там "диски":
Дальше выбираю раздел, нажимаю кнопку "Расширенные переметры раздела" и выбираю пункт меню "Изменить параметры подключения":
УСТАНОВКА POSTGRES PRO 9.6.11
В принципе тут особо писать нечего — все на сайте Postgres PRO есть. Скопипащу:
apt-get update -y
apt-get install -y wget gnupg2
wget -O - http://1c.postgrespro.ru/keys/GPG-KEY-POSTGRESPRO-1C | apt-key add -
echo deb http://1c.postgrespro.ru/archive/2024_12_06/deb bionic main > /etc/apt/sources.list.d/postgrespro-1c.list
apt-get update -y
if dpkg -s libpq5 2>/dev/null; then apt-get remove -y libpq5; fi
apt-get install -y libpq5=9.6.*.1C.bionic
apt-get install -y postgresql-pro-1c-9.6
Единственное, на что не обращают внимание товарищи с Постгрес.ПРО — это на то, что при попытке поставить тот же "pgadmin3" может внезапно оказаться так, что библиотека "libpq5" будет обновлена, что вызовет удаление постгреса к чертовой бабушке. Для того, чтобы пофиксить это, нужно запретить обновление данной библиотеки таким вот простым способом:
sudo apt-mark hold libpq5
Дальше нужно подкрутить настройки постгреса. Лично я всем советую пользоваться сайтом с pgtune (гуглится по этому слову). На сайте выбираете свой постгрес 9.6, указываете количество памяти и все такое прочее, а в качестве типа базы выбираете что-то типа "online transaction processing system" (по крайней мере я всегда выбираю это).
Дальше я для постгреса создаю нового суперюзера через createuser -s, запуская данную команду из-под пользователя postgres. Как это делается я писал давным-давно — читайте.
УСТАНОВКА 1С
Качаем с клиентского раздела 1С-ного сайта дистриб для debian (64-битный, полагаю, ибо 32 бита — прошлый век). Дальше распаковываем его в какую-нить директорию и пишем волшебные слова:
sudo dpkg -i *.deb
dpkg — это программа, которая устанавливает пакет, проверяя его связи но при этом если связи нарушены, то никакой доустановки не будет. А связи нарушены, ибо части пакетов у нас нет, ибо мы их не поставили.
Я, лично, делаю так (после того, как dpkg сказал мне об ошибке установки):
sudo apt install -f
Данная команда доустановит нужные системе пакеты. Ну и дальше снова звпускаю dpkg (лайфхак: предыдущие команды доступны по стрелке вверх в консоли, а если нажмете ctrl+R, то сможете поискать в истории команд нужную вам).
С 1С-кой все.
БЭКАП
Для бэкапа я создал два скрипта и засунул их выполнение в cron. Фактически, cron — это демон (фоновая программа), который запускает в соответствии с настройками те или иные программы, прописанные в crontab для каждого пользователя. Т.к. скрипты будут запускаться от пользоватяля системы, то под этим пользователем и нужно создать настройку для cron. Делается это так:
crontab -e
Если это произошло первый раз, то система спросит, какой текстовый редактор вы будете использовать, после чего откроет в нем конфигурационный файл cron’а.
В этом файле все просто — указываете минуты, часы, дни и т.д., а в конце — команду. Если нужно выполнять что-то каждый час или день, то вместо дня и часа указываете "*".
Я сделал так:
0 20 * * * /home/jim/bkscript.sh
20 20 * * * /home/jim/rstscript.sh
Т.е. в 20 часов 0 минут у меня запускается bkscript.sh, а через 20 минут — rstscript.sh. Вот содержимое файлов:
bkscript.sh
#!/bin/bash
pg_dump -h localhost -U pguser —format custom -b —section pre-data —section data —section post-data —verbose —file /mnt/backdisk/backup/backup$(date +%Y-%m-%d).bkp ut11
rstscript.sh
#!/bin/bash
pg_restore -d ut11test —clean -h localhost -U pguser —section pre-data —section data —section post-data /mnt/backdisk/backup/backup$(date +%Y-%m-%d).bkp
Да, забыл сказать, что для того, чтобы не морочиться с вводом пароля (кто ж будет вводить его в два часа ночи, да?) нужно создать файл ".pgpass" в домашнем каталоге.
Дальше файлы нужно сделать исполняемыми так:
chmod +x filename
Также я сделал перезугрузку сервисов 1С и Postgres’а в 19:50 так:
sudo crontab -e
Этой командой я редактирую файл настройки cron’а для суперпользователя. В нем что-то типа:
50 19 * * * systemctl restart srv1c83.service
51 19 * * * systemctl restart postgres.service
Но это не точно, так что сами попробуйте найти правильные названия соответствующих сервисов. Если написать что-то типа:
sudo systemctl status srv1c83.service
то есть шанс увидеть, работает ли сервер 1С.
ЗАКЛЮЧЕНИЕ
Скорость работы нового сервера и софта оказалась отличной, надежность, как мне кажется, тоже хорошая. Проблема только в том, что сервер сейчас один и он не особо надежный, но мониторинг показывает, что средняя нагрукза на систему не превышает 2-х процентов, при этом старый сервер был нагружен на винде в среднем на 40%.
Related Posts
Восстановление последовательности документов при закрытии месяца в Бухгалтерия 3.0 не завершается
Заполнение табличных частей
Формирование сводных актов выполненных работ
Ввод поступления в переработку на основании передачи сырья (между организациями)- Конспект по установке сервера 1С на linux
Получение имени компьютера и его IP локально и в терминале
(0) спасибо за интересную статью!
Сразу видно поклонника Open Source!
А почему не RAID от AMD силами чипсета?
(2) заморочка с дровами. Мысль была в том, чтобы в случае аварии с RAID-массива можно было через флешку лайвсиди накатить образ системы обратно. Но для того, чтобы заставить лайвсиди видеть аппаратный массив, слишком много чего надо было сделать. А тут — просто пакет поставить — и все. Но работает быстро и так.
Почему старый постгрес? не с сайта 1с?
(3)Всегда нравились фразы — Но работает и так
В принципе ко всему серверу можно эту фразу применить )
Маленько не хватает пакетов — Но работает и так
(4)Месяц еще назад 9.6 был рекомендованный как раз 1С или я то то пропустил ?
(5) а в чем конкретно трудности? Железный RAID — тот еще гемор, пакеты доустановятся сами. Лучшее — враг хорошего.
(4) старый друг лучше новых двух. 9.6 — отлично работает, что о 10-м я бы не сказал. Его преимущества в части многопоточности здесь неуместны, а больше в нем ничего нет нового в части отношений между ним и 1С
(6) 1С с 8.3.13 поддерживает 10-й, но он медленнее. На сайте постгреса до сих пор в списке поддерживаемых для 1с версий нет 10-го (только в экспериментальных).
Подскажите пожалуйста, есть ли рекомендации какая платформа 1с каким версиям сборки СУБД?
Как то сложно представить себе 1с, где свежая версия постгрес будет хорошо работать в БП 2 на 8.1.
(8)Железный RAID с точки зрения ОС это просто какой-то диск, все вопросы решает контроллер, с софтовым заморочек наоборот больше. Ну если хочется видеть смарт и состояние физических дисков без перезагрузки тогда да, надо сервисный софт ставить.
(13) мнений тут масса, но я исходил из задачи обеспечить надежность хранения бэкапа на не таком надежном компьютере. Софтовый рейд если вдруг один из винтов начнет мереть, будет достаточно просто восстановлен, он не требует дров, он доступен с лайв-флешки, если накроется система, он пересобирается за несколько секунд ну и т.д. И не потребуется специфичеая мать, если вдруг эта мать прикажет долго жить — диски просто будут воткнуты в любую другую мать, и не будет нужды искать дрова для рейд-контроллера.другой мамки.
Скорость потоковой записи в 150 МиБ/с на этой железке меня вполне устроила, так что не вижу ни одного довола в пользу железного рейда.
Вообще, у меня еще с серверной винды привычка работать с софтовым рейдом — он там тоже искаропки и просто достаточно настраивается. Хотя, справедливости ради стоит отметить, что и с железным рейдом у меня проблем почти не было, если не считать некоторые трудности с инсталляцией на него самой оси.
(11) компания постгрес.про просто собирает тот же самый 1С-ный патченный постгрес, даже не доьавляя туда ничего от себя. Может быть 1С-неги конфиги чуть крутят — не знаю. Я в свое время собирал оригинальный постгрес с патчами от 1С — привеселое занятие. Но скорость тогда всей этой канители была действительно выше. В про ТРС тест кажет 790 транзакций в секунду, а собоанный мной постгрес казал аж польоры тыщи на более бедном железе. Но гилевский тест тут кажет под 40, а там всегт 29. Так что от постгреса не так много зависит.
(12) на сколько я помню, 8.1 работала с 8-й версией постгреса. Было ли что допилено — не в курсе. 8.2. Работает с 9.4 на сколько я знаю — точно, а 8.3 с 10-м работает 8.3.12 и выше вроде бы, а до 12-й — с 9.6.
Но, думаю, на сайте 1С эта инфа отражена более точно.
(15) мне кажется, что 1С ники какие-то изменения вносят в свою сборку. В любом случае я отказался использовать продукт от PGPro, хотя его удобнее обновлять даже и сборки свежее, именно по причине низкой производительности
(12) Это можно понять по версии библиотеки libpq.dll в каталоге с платформой.
(6)
1) А в чем смысл делать дамп и через 20 минут его накатывать? Бессмысленно накатывать же…
2) Зачем в 2к19 юзать нативную систему? Поставил виртуалку, скриптами развернул че надо через тот же ansible. На хосте делаешь снимки виртуалки и складируешь пока не понадобится. Кстати Docker контейнеры под 1c не придумали?
3) Что-то зверскую машину ставите под каких-то 20 гигов бд… Оптимизировать постгрес изи же, можно свободно под кеш выделить больше оп + активно юзать дисковое кеширования
4) Устаревшие бекапы кроном хотя б раз в месяц очищать.
Под такие нужды лучше вообще простой сервак арендовать за 500р в месяц, а к себе на комп дампы складирвать…
Мне начинает казаться, что клиент тупо потратился зря
О, мой диск, спасибо, что нашёл. Где забрать можно?
😀
(20) 1. Дамп разворачивается в тестовую базу. Чтобы была актуальная на конец прошлого дня копия, при этом она еще и хранилась — мало ли что.
2. Есть весомое мнение, что 1С на виртуалке живет не так хорошо, как хотелось бы. Плюс в регионах не такой хороший интернет, а арендовать два канала — это уже не 500 рублей в месяц. Да и не видял я нормальных серверов за 500 рублей — даже яндекс.облако выйдет тыщи тр и в месяц — и это не предел. И админить это облако тоже надо — оно там само жить и процветатььвряд ли будет, хотя… блажен, кто верует.
3. 20 гигов — это база, а решение — УТ 11, в ней много сейчас ресурсоемкого. Иначе почему бы серверу на ксеоне четырехведерном с 8-ю гигами памяти умирать от нагрузки? А сколько там арендовать такую машинку с 16-ю гигами стоит? Что-то сомнительно, что за 500 руюлей вам пентиум g двухьядерный предложат даже с 2мя гигабайтами.
4. А вот это дельное предложение. Могли бы просто с него начать, а не философствовать на тему бесплатного сыра)))
У клиента все стало быстро работать, клиенту хорошо. Но, конечно, могу ошибаться. Может он тут отпишется, чтобы развеять сомнения — не знаю)))
ЗЫ: на прошлой работе у нас было 500 юзеров и 200 гигов база переписанная УТ в хлам — и там были тормоза на железках совсем иного порядка стоимости — ближе к нескольким лямвм. Может и они потратились зря? Я вот точно знаю, что потратились зря товарищи из деловых линий — у них там 3к юзверей в 1С и железо еще на порядок более дорогое. Вот это да — трата))) А то в вебке есть всякие там системы с лярдами запросов в день и лямами юзеров, а работает это на системах меньшей стоимости. Тот же stack overflow работает на постгресе + мс скул + редис + энжникс — все в дабл + пул балансировки. Стоит это все меньше, чем даже железки с прошлой работы)))
(17) у них (1с-ников) на сайте есть патчи для исходников постгреса — вот именно эти правки они и аносят. И именно их вносят (путем запуска patch) постгрес.про — я писал о том, как пропатчить постгрес под 1с, ссылка есть в статье или у меня в профиле. Также у 1С-ников может быть подключена либа автостата для постгреса — не нашел подключения в конфигах про версии, так что не знаю, нужно ли ее подключать, но статистика обновляетсч и настройки для нее в конфиге есть. Ну и вообще конфиг нужно через pgtune крутануть — и будет счастье.
(22) а не лучше было бы 32Г+ обычный проц?
база полностью в оперативке…..
(24) база в оперативке — это не гут — мало ли что….
(25) кеш все базы в оперативке.
Сама база на диске.
Т.е. чтение базы с диска происходит только один раз.
потом только запись.
Интересная статья. У меня вопрос, а почему Ubuntu? Она после 14 релиза стала «капец» как не стабильной и «бажной». Есть подозрение, что это из-за того, что мелкомягкие приложили там свои руки, по моему поддержку uniti они подхватили. В общем после, я ещё после 14 напрочь отазался использовать убунту.
Почему не дебиан например? Та же убунта, только без кучи багов и глюков.
(10) У меня 8.3.13 — на 11.1 ПГ крутится — полет нормальный.
Кстати, вот сегодня у них свет срубили, а комп оказался без бесперебойника — ничего не сломалось. Потом они к бесперебойнику подключили и через генератор запустили но при переключении с генератора оказалось, что бесперебойник — дохлый. Результат — не стартует 1С, ругаясь на лицензию, что типа все, нет (после диалога юзверя).
В итоге прописал нетхасп.ини — стал ругаться на сам файл до диалога юзера. Исправил ошибки — снова стал ругаться после юзера. В итоге пускал только одно рабочее место.
Дело оказалось в том же, в чем и на винде — в серверном кеше, хранящем как зеницу ока давно погибшие подключения. И 1С что в винде, что в линухе при таком раскладе пока ты эти подключения самолично не замочишь, будет держать для них лицензию.
В итоге коннекты были убиты, прописано в базе убивать коннекты через 1200 сек, и все заработало как ни в чем не бывало.
К 1С-у тут претензия — что, нельзя чистить коннекты отмершие при рестарте? Обязательно на них лицензии держать? Ну это ж бред!
Тру админы не ставят графику на сервер, который управляется только по SSH 😉
И лучше ставить Ubuntu Server.
(0) Интересный опыт.
Можете ли расписать, сколько по денежкам вышло только за софт?
Тобишь патченный PG, 1с клиентский/серверный на N лицензий, может еще какие затраты?
Эх, когда уже версия 1С под Linux будет работать с MS SQL под Linux?!!
Думаю, многие этого очень ждут…
Думал действительно мэджик в статье будет… Ан нет. На вопрос «Почему я решил перейти на Linux и Postgres» — дан ответ: «потому что памяти в сервер не смогли купить, всё жутко тормозило и пользователи ребутили его ресеткой, а потом он разок сломался…». Ну а раз пошла пьянка с Linux, то не грех и новый сервак купить с достаточным объёмом памяти…. И тут всё как залетало, и все остались довольны, кроме разве что Microsoft и Dell…
(33)
Неа. Ответ дан другой: Linux сейчас знает почти каждый, как практика показала. Linux работает отлично. Postgres весьма устойчив. Нет необходимости проплачивать за предпродуктовую среду, нет необходимости потом переноситься с Evolution-релизов закупкой лицух.
Раньше я откровенно беспокоился за клентов, когда ставил им что-то нестандартное. Сейчас Linux и Postgres вышли из списка этого моего «Нестандартного» и перешли в список обычных продуктовых систем.Фактически они «дозрели» до безгеморройного продуктового использования.
(30)
Ядро «искаропки» у того и другого идентичное. Отличие только в графике. Но т.к. комп предполагается использовать и как рабочее место, а 1С на Linux ничем не хуже 1С на Windows (есть парочка заморочек с окошком «ваше приложение не отвечает», но к этому быстро привыкаешь — в винде оно тоже есть).
(31)
1. Постгрес про распространяется бесплатно (платный Enterprise), платная для него поддержка.
2. 1С у клиентов куплен серверный и ключей вроде на 7 или 8 клиентов (с пяти они выросли). А так — прайс 1С-а в любой конторе одинаков.
За установку и доставку сервака взял скромно, т.к. клиенты древние.
(32)
До 10 пользователей думаю MS SQL — это из пушки по воробьям.
(37) Спасибо.
По большей части интересовал вопрос PG Pro, тк, насколько слышал, есть несколько патчей под 1с и все платные.
(35) 1. У меня коллега взял i9-9900K — в клиент-сервеной Гилев показывает 45-50, здесь 46. Не вижу разница, кроме как в цене.
2. Это АМД — тут нет половины этого, Из списка багов ядра (он доступен в одном из каталогов — не помню, в каком) — только одна уязвимость для АМД характерна, остальное — прерогатива Intel.
3. А зачем мне RAID10, если у меня RAID1?
4. Нормальная сборка, работает отлично. Я собирал с патчами от 1С (статью даже написал) — не вижу особых отличий. Расскажите может про кривизну сборки более развернуто?
5. Диски в рейде юзаются только для бесперебойного бэкапа. Под базу и ОС 970 PRO от самсунга. В день примерно по 50 Гиб запись — этого должно хватить на 10*3000 дней (пусть даже в 2 раза меньше -> 15к дней, 40 лет?)
(39) вообще вот нашел лицуху на постгрес про энтерпрайз на сервер — 16к рублей.
(34)Ваш клиент мучался с тормозным серваком с 2012 года, и это отнюдь не из-за прожорливости MS SQL или MS Windows Server. За это время парочка 1С-Postges допилили свои продукты чтобы обеспечить условную безгеморойность работы на Linux. Теперь можно стало окучивать клиентов и экономить деньги на лицухах. Вот чисто интересно как нынешний сетап пережил бы постоянное тыкание на ресетку?
P.S. Сорри за негатив, но явно что-то не так в консерватории. То сервак без памяти, то без ИБП… Чем Вам клиент не угодил, за что Вы его так? Кроме его гипотетической патологической жадности ничего на ум не приходит…
(42) 1. А что есть «реальная работа»? Один поток — это как раз попугаи, а не реальность. 5 пользователей — минимум по потоку у rphost и ragent + соединение с постгресом — еще один поток. Поток sync’а, поток записи журнала, поток абдейта статистики и аввкуума. Раскажите кому-нибудь другому басни про однопоточный 1С в 2019-с году — много, полагаю, наберется слушателей. Я в 16-м написал статью про многопоточные вычисления в 1С и мьютексы, так народ говорил, что сейчас, мол, 1С однопоточна и выигрыша никакого нет якобы.
2. Ядро как раз в курсе, оно запускается с соответствующими опциями. Но Вы, как я понял, только пересобрать знаете, да?
3. Смысл фразы не уловил . Подробности будут?
4. Зверьсиди vs Postgres.pro? Грамотное сравнение, выдает профессионала своего дела.
5. Все мрет. Чтобы сократить эффект я использую описанное в статье.
(43) в 12м году сервер с 8-ю гигами очень даже хорошо работал, т.к. cf-ник 1с занимал всего ничего. Экспресса с его гигом ОЗУ и 10 гигами базы хватило до 17-го года, потом пришлось купить скул полный. Постгрес не хотел ставить с линухом, т.к. не был уверен в спецах и надежности. И если с экспрессом памяти оставалось свободной под гиг, то с обычным 16-м скулом уже такой лафы не было, винда стала отжирать память, 1ска разрослась.и rphost кушал по 4 гига. В итоге тормоза.
По поводу клтента и любви, то его любили другие региональные спецы, среди которых, как мне сказали, было парочку вменяемых всего.
А то, что ИБП дохлый — это не ко мне вопрос. Я железками редко занимаюсь, там есть компы, которым больше 10 лет, полагаю. И все работают. А редкий аккумулятор проживет пять лет.
А про сервак без памяти — это все DELL. На 12й год 8 гигов было для пяти юзеров за глаза, а что местные не смогли памяти подобрать — при чем тут я?
(44) есть результаты тестирования? Чем меряли?
(47) оценка производительности APDEX + консоль запросов
Спасибо за полезные вещи. Cтавил себе Deepin, по сравнению с Win 10 кажется работает мгновенно, красивый, удобный, в работе гораздо приятнее Win 10, показался стабильным, по сравнению с Ubuntu(у меня зависла за 10 минут два раза после установки), в моем случае помимо двух SSD есть еще аппаратный RAID 10 на Intel’овском чипсете, как говорят американцы(форум поддержки MX Linux), fake RAID, материнка ASUS Gryphon z87, RAID у меня подмонтировался автоматом, ничего не делал, все мои диски(разделы) виделись прекрасно(mdadm).
Но как быть с этим:
ИТС 1С:Предприятие 8.3.12
28.02.2019:
Перевод конфигураций на платформе «1С:Предприятие 8.2» на платформу «1С:Предприятие 8.3» без режима совместимости с версией 8.2:
(далее на ИТС сказано, что в ряде случаев, т.е. не во всех, можно заменить альтернативой(если речь идет о внешних библиотеках на COM, например), Automation-сервер не будет работать(например, в типовых конфигурациях, где создается объект COMConnector перед вызовом процедуры проверяется не Linux ли это клиент):
>: Ошибка при вызове конструктора (COMObject)
>V8 = Новый COMObject(«V83.COMConnector»);
>по причине:
>COM-объекты поддерживается только в операционных системах Windows,
также механизм поставки(так пишут, на последнем релизе платформы 8.3.14.1694 у меня получилось сделать ровно все так, как я это сделал бы в Windows. Конфигурация на поддержке обновляется? Да. Выпуск файла поставки и обновления? Да. Возможно что-то еще. Впрочем, это актуально, я думаю, для тех, кто реально выпускает файлы поставки).
…
«Выявить механизмы, которые не работают в ОС Linux и OS X, согласно списку ограничений клиентского приложения, работающего под ОС Linux и OS X:
— не поддерживается технология COM и весь перечень возможностей, связанных с этой технологией:
— не поддерживается работа с объектом COMОбъект;
запуск клиента «1С:Предприятия» в режиме Automation-сервера;
внешние компоненты, созданные с использованием COM-технологии;
— не поддерживается работа с объектом Почта;
— не поддерживается механизм поставки конфигурации;
— не поддерживается использование метафайлов Windows (WMF и EMF).
…
(41)Нужно еще и лицензии приобретать, по аналогии с 1С.
(49) спасибо за ссылку, а что в линусе вместо ком соединения?
И еще вместо виндовс скриптов ?
Например список пользователей, текущего пользователя линукса,, имя компьютера, список принтеров, список компьютеров в сети?
(45)
1. 5 одновременно делающих запрос пользователя, что обычно равно 10-15 пользователей, что делает выбор данной системы сложнее, как минимум не 1 процессор.
Всё хорошо, только rphost на 100%кушающий 1 процессор в 90%случаев является причиной падения производительности, ещё 5-7% идёт на hdd-1ssd и как раз iostat покажет утилизацию диска и что важнее latency. Обсуждали на сисадминсе не раз
2. Не увидел опций в статье. О пересборке не было речи, а вот в grub внести опции стоит
3. 1 ssd обычно не справляется, iostat поможет это выявить
4. Хорошо другое сравнение, почему убунту, а не альтлинукс?
5.
Ну а так, чую каждый при своём
(51)
А технологию COM 1C считает устаревшей, почему-то.
Так и пишут:
(50) это для энтерпрайз версии. Там есть куча плюшек, но если у вас до 50 подключений, то вполне можно обойтись простой версией.
(53)
Не нашел ссылку на мнение 1С по поводу COM, на ИТС этого нет, это скорее хлопец изложил свое мнение. Был одно время слух, что у 1С какие-то напряженности в партнерских отношениях возникли с Microsoft. С тех пор появились альтернативные Windows направления(Linux, MacOS), хотя возможно не только поэтому. На ИТС говорится и о Native API, конечно, есть и web-сервисы и все остальное. Просто COM это часто удобная вещь. Если для определенных задач без этого механизма можно обойтись, то это уже другой вопрос. И хорошо, что есть альтернативы, не только для Windows, а для гораздо более широкого круга систем. COM это часть Windows(пока живет она, живет и COM), почему бы не пользоваться. И, конечно, хорошо, что есть Linux.
(13)Ну какой он «Железный»? Тот же софтовый, только упакован и api через драйвер..А вот когда придется восстанавливать на другом железе- заморочек намного меньше с софтовым,
(55) что такое до 50 подключений?
Мы верим что технология Сom сохранит молодость, здоровье и красоту на многая лета, но пора публиковать сервисы и переписывать отчёты на oData, пока в типовых конфигурациях ничего нативного или сервисного в части конвертации данных не предусмотрено.
(59) это выбор между постгресом от 1с и постгресом от про энтерпрайз.
А про сом, то в винде с ним много гемора, если версии платформы отличаются. При этом он работает только на одном компе, а если база вдалеке, то ему приходится также подключаться к базе и занимать на это память. Вебсервис же занимает память далекого компа, в кеше которого нередко уже есть всякие там нужные нам данные.
(52) 1. Ну так интел бустит поток только при достаточной нагрузке, когда этот буст нужен. Амд делает также, только может позволить бустить все ядра. 10-15% загрузки ядра могут к ролному бусту и не привести. Вот у коллеги тот же i9 работает под водянкой на 4.6 гигагерц, но при этом файловая 90-100 в тех самых попугаях, а у меня на 1600м райзене файловая в попугаях 89 (можете в гилеве поискать по процу) при частоте 3.5 гигагерц. При том у него самс эво ссд, а у меня адата 7000. Т.е. тут частота уже далеко не все, что нужно 1Су.
2. Опции гуглятся, но у меня на домашнем и без опций вот такая производительность.
3. С чем не справляется SSD? У него 500к IOPS по паспорту на запись, с чем оно может не справиться? С конем в вакууме? Так для вакуумных коней лучше квантовые вакуумные компы юзать.
4. Известное проверенное за 10 лет решение — устраивает ответ?
5. Хорошая сцыдка, но у меня нет 32 гигов памяти, да и так все отлично работает. Но к свкдению принял — поэкспериментирую.
(48) Когда это делали (год, версия)? Одинаковый был конфигурационный файл?
(68)
Версия постгре 10.5. Файл конфигурации одинаковый. Сервер 1С использовался один и тот же. Железо и ОС на сервере с Постгре одинаковые
(70) Спасибо, запомним.
(70)
Так 10.5 вообще медленнее, чем 9.6 тот же (ванильный постгри) в ТРС на 20% примерно. Хотя мне рекомендовали на одной версии pg_bench протестить, т.к. на 10.5 может быть другой характер тестирования. Но вот субъективно 10.5 — вообще медленный. И сдается мне, что это из-за того, что там мьютексов наколотили с целью улучшить параллельные вычисления и многопоточность вообще. В итоге в одном потоке скорость у него просела, хотя pg_bench я запускал по количеству реальных ядер и 10.5 был медленнее (800 vs 700 транзакций)
(65)
1 каждый останется при своем, тут предлагаю закончить
2 производительности много не бывает
3 iostat -dxm 5 10 как раз и показывает во что упираетесь, iops не первый показатель скорости диска, один из но не первый, куда важнее латенси, особенно для sql
у вас диск 1370мбс риад, у вашего друга 500, у меня нет вопросов почему у вас быстрее весь конфиг)
4 нет) за 10 лет тенденции меняются, у меня с этой кривой сборкой были проблемы и решались удалением таблиц (решение было с форума поддержки)
5 у меня на 8 она работает)
закончим
просто высказал свое мнение
а так хорошо бы протестить 2 конфигурации серверов одной базы с iperf и прочим
(3) если RAID настраивается в BOIS(fake RAID), например, 1+0( интересно было почитать в чем отличие), то, например, в MX Linux достаточно загрузившись с LiveCD доустановить mdadm и переписать текущий LiveCD(это одна из утилит дистрибутива) и при следующей загрузке и установке с обновленного образа система будет сразу видеть тома RAID’а по-умолчанию. В процессе работы в этом же наборе утилит можно делать снимок системы в виде iso со всеми настройками, потом с него можно загрузиться как с LiveCD со всеми наработками. Ubuntu также видит fake RAID(на чипсете) по умолчанию, так, что проблем с дровами не должно быть, т.к тома определяются на уровне BIOS, у меня так, по крайней мере, я писал ниже, ASUS, чипсет на Intel’е Z87, RAID 10, с AMD должно быть то же самое.
(106)
У меня не увидела. И такое бывает. Чипсет B450, видимо дрова для него не зашиты в ядро.
(107)мой постарше будет конечно и это Intel, B450 почти год назад вышел и видимо так и есть(). Был у меня когда-то комп на AMD, довольно шустрый и по цене почти в два раза дешевле Intel. Правда когда захотел поставить виртуалку MacOS’и оказалось, что Mac OS не поддерживает процессоры AMD. Админ знакомый тоже советовал с Intel’ом проще.
(108)
Да, со старыми процами были некоторые проблемы, но т.к. я виндой не пользовался, то макось мне особо и не нужна была, поэтому особых проблем не имел (если только трудности со сборкой того же постгреса). На современном Ryzen 1600 у меня трудностей нет. Не знаю, как там с макосью — вполне может быть, что они поддерживают только варианты core от intel, ибо перед этим оно только на процессорах от IBM работало.
Но если вообще говорить о софтовом RAID vs хардовый, то лично я не вижу особого преимущества, т.к. диск в RAID в описываемом случае работает как хранилище бэкапов и файлопомойка.
(109) зачем тогда такие заморочки, RAID для надежности ставят, поставьте пару винтов на 1 тер и все, если это помойка, мы ж вообще не об этом говорим, а о том, что у B450 нет в принципе поддержки Linux, пошел на сайт Intel примерно по этой же проблеме, так у помнится них тоже были какие-то ограничения для Linux(только определенные дистрибутивы, что-то RHEL и OpenSUSE). Были у нас товарищи веселые, но им было видимо плевать на все, если у них на одном винте как раз 1 Тер были и базы SQL и обмен файлами и бэкапы и на этой же машине стоял х32 сервер 1С, в-общем, все в одном. А за AMD с тех пор даже не слежу.
(113) для надежности хранения бэкапа, т к я за секунду отреагировать не смогу, а хочется, чтобы файлы бэкапа никуда не делись даже если все умрет внезапно и я замечу это через месяц после смерти винта.
(113) а по поводу дров для линя на RAID под Б450, то я уже нашел на их сайте.
(115)fake RAID может умереть, когда сядет батарейка в биосе, очень редко может быть, просто развалится и все. Если там некому следить за серваком, тогда да.
(116)ну и хорошо.
(52) а вы бы сразу привели строку grub, как конкретно выключить спектр и мителдовн. Или ссылку на статью. Я обычно только выключаю cstate (intel_idle.max_cstate=0 processor.max_cstate=1).
(25) оперативки бы подкинуть лучше, даже если она не используется явным образом, то пойдет под (красные метки в параметре mem в htop. Синий — буферы, зеленый — используемая память).
(1)А главное, внизу нет, за сколько «стармани» всё это продаётся! 🙂
(132) это вы к тому, что я разместил разработки за СМ? 🙂
Статьи у меня бесплатные, а некоторые разработки за СМ. Тем более цены то символические. Так что Ваша претензия не обоснована :)))))
(133)Юрий, а я кирпич бросаю не в Ваш огород!!! 🙂
И считаю, что это очень здорово, что Вы делитесь вашим огромным опытом с людьми!
Это так к слову, кто-то чужое подправит и выкладывает за старманю! 🙂
Без обид!
(134) хорошо, хорошо 🙂
Дробовик не вытаскиваю 🙂
(134) Позвольте уточнить, вы работаете во франчайзи или фикси, фрилансе или только учитесь?
Стартмани и то, что выложено за стартмани для каждой из этих областей имеет различную ценность.
(136)Просто недавно в одной из статей человек выкладывал за стармани не своё, бесплатно
лежащее на гитхабе.
Каждый зарабатывает как может, просто, иногда, откровенное жлобство раздражает.
(137)
А ссылку скиньте! Страна должна знать героев.
(139)Не нашёл этот пост.
Перерыл сайт, нет.
(139)
Не это, но другое:
Наш «герой» напустил тумана и выложил за 5 СМ то, что находится за 5 минут и бесплатно качается с официального сайта (только анкету заполнить надо). Хотя и тут есть вопросы. Для чего-то наш «герой» старательно переводит сканер в режим COM-эмуляции, которая требует драйверов, несмотря на то, что 1С давно и прекрасно работает со сканерами в режиме клавиатуры, которому драйверов не надо.
(142)Там разговор был про какую-то утилитку, которая бесплатна, автор её применил и за старманю её предлагал.
Хотел немного пошутить, шутка оказалась неудачной.
У Юрия ещё раз прошу прощения, что он отнёс это к себе.
Прошу прощения у всех, кого обидел!
Просто пост «Остался месяц до вступления в силу новых правил лицензирования платформы «1С:Предприятие 8.3»»
вызвал бурю эмоций на счёт 1С…
(131)В начале 2017-го, когда поднимал новый сервер Debian + PostgreSQL, отказался от RAID в пользу виртуалок и NAS.
Схема получилась такая: на обычном терабайтнике хостовая Debian, гостевая Debian + PostgreSQL в линукс контейнере на твердотельном 250Гб, образы этих дисков и бэкапы баз на WD 3Тб линейки RED с синхронизацией на удаленный NAS.
Хотел ещё сделать отказоустойчивый кластер с безшовной миграцией, но на второй системник для сервера денег не дали.
(145)»Хотел ещё сделать отказоустойчивый кластер с безшовной миграцией, но на второй системник для сервера денег не дали.»
Да, потому приходится завидовать автору книги по полной виртуализации, он там использует три сервера проксмокс!
Как я понял, именно три а не два по той причине, что если появятся какие-то расхождения в данных, железяки устраивают между собой голосование, кто прав и двое давят одного авторитетом, последнему приходится подчиняться, а если два сервера, то как понять, кто из них прав… 🙂
Видимо, потому у нас и «соображают на троих»… 🙂
Мне бы хотелось прояснить ещё два момента, может кто из здешних товарищей просветит по данным вопросам:
Если учесть опыт зарубежного товарища из этой книги по поводу RAID, что кроме RAID-0, RAID — зло, я, с его доводами согласен!
Интересно узнать про рост производительности базы M$/Postgres, если её размещать на ZFS на RAID-0 из одного/двух/трёх/сколько не жалко жёстких/SSD дисках.
Ещё бы интересно узнать, кто использует сетевые адаптеры InfiniBand для связки сервер 1С- сервер базы данных/NAS, насколько производительнее это 1/10 Гб. Ethernet адаптеров.
(147)На проксмокс у меня и крутится. Не припомню про голосование и три сервера, вроде просто один назначается главным, второй ведомым. Если главный упал, ведомый подхватывает. Главный поднялся, ведомый пошел отдыхать (мониторить).
(148)Нашёл! 🙂
Это касаемо проксмокса высокой доступности
Только в другой книге этого же ресурса:
«Требования для настройки высокой доступности
Начиная c Proxmox 4.0 и для более поздних версий, функциональность высокой доступности была полностью перестроена начиная с основания, что сделало её более простой в настройке и применении. Существует несколько требований, которым должна отвечать среда перед настройкой HA Proxmox. Они таковы:
Минимально требуется три узла
Совместно используемое хранилище
Ограждение (fencing)
Минимально три узла
HA должна настраиваться в кластере, содержащем, как минимум, три узла, так как три узла и более могут достигать Кворума. Кворум является минимальным числом голосов, необходимых для работы кластера Proxmox. Это минимальное значение является общим числом голосов большинства из имеющихся узлов. Например, в кластере из трёх узлов Proxmox, для формирования Кворума требуется два узла Proxmox. Или, в кластере из восьми узлов для получения Кворума требуется пять узлов Proxmox. При наличии только двух узлов соотношение голосов остаётся 1:1, поэтому никакой Кворум не возможен.»
Источник:
onreader.mdl.ru/MasteringProxmox.2ed/content/Ch09.html
А вся книга:
onreader.mdl.ru/MasteringProxmox.2ed/content/index.html#Preface
(142)
Спасибо! Тоже покомментил там) Барыги процветают на инфостарте.
(131)
RAID0 -> rsync -> RAID0 ? С чем будет работать rsync? со снимком блочного устройства? с файловой системой? Если с блочным устройством — это долго, и вообще ненадёжно. Если с файловой системой — вы пробовали синкать базу постгри например? Куча мелких файлов, это долго(+вообще нельзя так делать без ввода той же постгри в режим создания базовой коии). rsync будет запускаться с ключем —checksum? Если нет — то вы гарантируете перенос файлов, которые при изменении не записывают информацию о времени правки? И вообще большой массив и синхронизироваться будет долго и так же жрать процессорное время на расчет контрольных сумм. Rsync не позволяет вести непрерывную синхронизацию, и время от одной синхронизации до другой будет увеличиваться при увеличении данных в массиве. Аффтар глубоко верующий человек, поскольку 24 часа перестраивания для него проблема, а потеря данных это ерунда.
Подбор инструментов нужно производить исходя из ЗАДАЧИ. В этом случае подойдёт обычное программное зеркало. Оно почти не повышает iowait при нагрузках в отличие от ZFS (который, кстати, вместо rsycn может передавать журнал записи на другую машину за счет того, что он COW). Есть ещё CEPH к слову о проксмокс и HA. Миграция между нодами будет работать как я понял на Thin-LVM, ZFS или CEPH. И у ceph и у zfs и у mdadm можно поиграться на тестовой машине с избыточностью и выявить для себя приемлемую конфигурацию.
Для 24/7 в простом, деревенском варианте (я однозначно в этом вопросе деревенщина), на мой взгляд подойдёт проксмокс кластер от 3-х машин, соединенных оптоволокном и CEPH.
Для текущей задачи я бы выбрал mdadm на двух зеркалах, на 2-х SSD M2. И 2-x HDD. Всё это однозначно на proxmox. На систему и базы отдал бы зеркало SSD, а на бекапы зеркало из HDD. И ОБЯЗАТЕЛЬНО настроил smartmond (или как он там) на еженедельную самопроверку диска и уведомление о проблемах на элекронную почту, так же уведомление на ту же самую почту нужно вставить в mdadm.conf. При проблемах с массивом и дисками вы узнаете тут же. Очень желательно ставить zabbix, и просто необходимо настраивать nut(выключение от ИБП).
Конфигурация пляшет задачи и бабла, и здравое решение находится посередине.
P.S. А R0->rsync->R0 это бред сивой кобылы. Rsync сделан не для этого. Нельзя rsync-ать файл, если в него производится запись. Файл будет неконсистентным.
(152)
Любой RAID, кроме RAID-0 зло для железа, синхронизация зеркала тоже отнимает время.
В отличие от RAID-0, где нет никакой синхронизации, он либо работает и быстро в отличие от одиночного диска, либо нет, тогда данные надо восстанавливать из бэкапа.
У меня в зеркале была проблема, SMART у обоих дисков нормальный, а с определённого времени при сбое по питанию и перезагрузке железки начиналась синхронизация и затыкалась на 70 процентах и всё.
И нахрена такое зеркало, диски в порядке, а синхронизация не заканчивается.
И софт не давал сообщения, что диск в зеркале надо заменить.
Как по мне, так зеркало только на системный диск, а базу на RAID-0 с обязательным бэкапом.
И как раз про ZFS из другой темы:
Вот тут выдержка из интересной книжицы:
ZFS разработана для максимизации производительности диска. Она побивает rsync настолько сильно, что маме rsync требуется срочная медицинская помощь. ZFS поддерживает список блоков диска которые отличаются между каждым последующим снимком. Процесс репликации не требует определять какие файлы были изменены — наша файловая система уже имеет эту информацию. Процесс репликации начинает отправку этих блоков настолько быстро, насколько это возможно, немедленно. Так как изменённые блоки содержат все метаданые для пересборки данных файлов, процесс репликации даже не нуждается в знании того, какие файлы соотносятся с этими блоками.
Пока rsync обходит вашу файловую систему, просматривая каждый файл, проверяя его временной штамп, вычисляя контрольную сумму и сравнивая их с версиями на вашей другой стороне, ZFS уже завершит свою работу. Если у вас имеется 10ТБ данных, причём только 1ГБ изменён, rsync всё- таки вынужден проверять каждый файл. ZFS только захватывает 1ГБ изменённых блоков и отправляет их.
Источник:
onreader.mdl.ru/AdvancedZFS/content/Ch04.html
А вообще, книжка называется «Полная виртуализация. Базовая коммерческая редакция: Proxmox-freeNAS-Zentyal-pfSense»
Главное, всё сделано на опенсорсе!
onreader.mdl.ru/VirtualizationComplete/content/index.html
Спасибо Вам за интересный комментарий.
(153)
В вашем случае про 70% — вы вообще про какую реализацию RAID говорите? Хоть софтовую или аппаратную ))) ? Вы выяснили причину, почему так? Из-за какого хоть диска? На основании одного какого-то непонятного, невыясненого случая вы делаете вывод что зеркало это зло??? Моё почтение. На вулкане говорят неплохо жить, тепло.
Смарт бывает в порядке, а диску звезда. А что зеркало на M2 ssd будет проигрывать RAID 0 на HDD? А как насчет M2 на PCI-E 2.0, которая на процессорах линейки Westmere и которые можно недорого купить с неплохой частотой и производительностью, и M2-на PCI-E 3.0, которые уже идут на системах подороже? Разница будет примерно в два раза, такая же как между RAID0 и RAID0 грубо говоря.
Вам мало скорости SSD для базы и вы готовы рисковать и не ставить зеркало? Страхуетесь бэкапами? Но делаете бэкапы то вы не так часто, раз в час скорее всего. Да и не машины в целом, а скорее всего только базы. Посыпался один диск через 3 года (это неизбежно когда-нибудь произойдёт) и машине звезда. Да ваша база целая и вы просрали всего час чьей-то работы, но теперь сервак нужно настраивать заново, а это день, в течение которого никто не будет работать, а что если работают в базе 50 человек, а что если это магазин, где прут покупашки? А если вы заняты, а если вы уехали, а если заболели? Ахаха… а если диск посыпался, случилось чудо и вы об этом вовремя узнали, то как его поменять не выключая сервер?
Как можно вообще сравнивать rsync и ZFS? Это вещи разного назначения, они вообще не имеют ничего общего между собой, в том числе и в спектре решаемых задач. И поставив ZFS вы быстро убедитесь, что не всё так просто, и скорее всего через сутки начнёте гуглить ZFS oiwait. Узнаете, что ZIL не даёт такого прироста, как казалось бы может, что нужна ECC для ARC… И будете долго-долго читать, изучать, крутить, курить маны, менять диски и т.д. и даже не исключено, что поставите после этого mdadm. ZFS требует охеренной уверенности в том, что она вам действительно нужна.
(153)Да, ещё одно интересное наблюдение:
В одной конторе гадёныши подключились по RDP и зашифровали
на Windows 7 файлы.
Что-то восстановили из копий.
Поднял для исключения подобного Nas4Free, на нём общие документы
и базы 1С 7.7.
Из одиночного диска, денег, как обычно у хозяев нет, «держитесь там»,
сделал как бы RAID-0 с ZFS.
На Windows 7 крутится Cobian Backup, делает архивы документов и баз в двух
экземплярах и на локальный раздел Windows 7 и на раздел ZFS на Nas4Free.
Так вот, периодически при архивировании Cobian Backup выдаёт при архивировании ошибки контрольной суммы некоторых файлов на локальном диске под NTFS, на ZFS такой фигни НЕТ!
Как объяснить ошибки контрольной суммы при архивировании одних и тех же файлов, лежащих на NTFS, когда в один день она есть, неделю её нет не понятно…
(155)
Может у вас включен checksum на ZFS? Может у вас диску на этом блоке херово, может шлейфу, может следует проверить файловую систему. Если диск один и данные в одном экземпляре, то с чем вы его можете сверить? Хотя если честно не очень понял вашу ситуёвину. По части rsync и зашифровали данные — вот дешманское решение
У меня самый важный сервер терминальный Windows RDS и на ZFS зеркале + ежедневные копии windows server backup + rsync всех профилей на удалённый linux, на котором тоже надо будет сделать RAID.
OpenSource неплох, но аналога RDP нет.
И в вашем случае, если у вас ZFS, то ещё в можно делать снапшоты ZFS и хранить их пару недель например. Я только в курсе, что так делать можно, сам не делал.
ZFS RAID-0 на одном диске, если у вас там не больше 8 гигов под ARC(или если не ECC), нет ZIL и L2ARC — то решение херовое. Будет проигрывать обычному LVM + ext4 или что там у вас. Скопируйте файл гигов на 20, и посмотрите на iowait
(154)
Была аппаратная реализация на материнке с AMD-шным чипсетом Windows 2003 сервер.
Там, получается, в зеркале один диск главный, второй подчинённый.
После перезагрузки по питанию начиналась синхронизация и на 70 % зависало.
На другой диск, воткнуть в зеркало денег не допросишься, в конце концов, какие-то данные
перетащил на свежие сервера, этот сервак отдал себе любимому под рабочую станцию, благо была куплена лицензия на Windows 7.
Один диск из зеркала под систему, другой под данные.
Да, на интеловском аппаратном RAID-1 выручало пару раз, когда софтина интеловская кричала — замени диск!
А так, работают себе одиночные диски по десять лет и не дохнут, никакими
синхронизациями в зеркалах не напрягаемые!
Главное в жизни железа — это кондиционирование и хорошее питание!
Жаль у меня руководство не желает деньги в оборудование вкладывать,
только уж постольку поскольку или работать или закрываться…
А хотелось бы иметь ИБП с двойным преобразованием!
Чтобы железяки питались чистой энергией не от городской сети.