Ввиду этого попытаемся собрать его из б/у сервера на Авито.
В качестве примера будем рассматривать б/у предложения серверов "HP Proliant Gen8 на Авито". Жесткие диски покупаем только новые!
Находим бюджетный вариант за 50 тысяч рублей:
Hp proliant dl380p gen8 1х INTЕL Хeon E5-2620 (6 ядep, 2.00 GНz — 2.50 GНz, 15М cаche, 7.2 GT/s QРI) 1x 4gb pc3l-10600r samsung
2x hdd 146gb 15k sas
1x dvd+r dl
1x power 460w
1x 1Gb 4x ethernet ports
Форм-фактор: 2U RАСК
В итоге имеем неплохую платформу и 50тыс рублей в запасе на апгрейд.
На данный Сервер максимально допустимы процессор HP DL380p Gen8 Intel® Xeon® E5-2690 (2.90GHz/8-core/20MB/135W) Processor Kit
Заказываем на AliExpess 2 штуки "Intel Xeon E5-2690 E5 2690" 8 ядер по 10 тысяч рублей каждый. Итого минус 20 тысяч рублей и 1-2 недели ожиданий.
В итоге имеем 2 процессорный Сервер и 30 тыс рублей в запасе.
Покупаем на Авито 8 планок DDR-3 ECC 8gb (Single Rank x4 PC3-12800R (DDR3-1600) Registered CAS-11 ) по 1.5 тыс рублей. Итого 12 тысяч рублей.
Теперь нам осталось купить мощные жесткие диски.
Выбираем 2 SSD диска 500Gb — Samsung 860 EVO MZ-76E500BW которые будут работать в зеркале (raid1) по 7 тыс рублей. Итого 14 тыс рублей.
Доп расходы Салазки по 1 тыс руб . И 2 тысячи остается на пиво и бензин тому кто будет все это собирать. Остатки проца, дисков и памяти так же продаем на Авито 😉
Смета:
- Сервер 50 тыс
- Процессор 2*10 = 20 тыс
- Память 1.5*8 = 12 тыс
- SSD диска 7*2 = 14 тыс
- Салазки для дисков SSD 2*1 = 2 тыс
Всего — 98 тыс рублей
ИТОГО мы имеем
- процессор Xeon 16 Ядер 32 потока 2.90GHz.
- 48 Gb оперативки работающей в режиме Quad Rank.
- Быстрые SSD диски(500Gb диска),которые подключены к HPE P420i Raid контроллеру с 1GB кеш памяти на Чтение и запись (с батарейкой).
Что делает работу 1С изумительно быстрой. Все это хозяйство гудит и летает как самолет. При взлете закладывает уши!
Остается построить серверную с кондиционером.
Пы сы кому скорости не будет хватать — докупаем еще 2 таких же SSD диска и собираем Raid5 массив из 4 дисков. Будет на 20-30% быстрее.
48 Gb оперативки работающей в режиме Quad Rank.
8*8=64 ? Куда еще 2 планки делись?
Как раз жёстких дисков тут и не хватает под бэкапы.
Кроилово всегда ведет к поподалову
Серверный Бич-пакет )))
Вопрос надёжности такого сервера всё таки вынесен за скобки. Рабочую базу на SSD? Через год-полтора они откажутся работать, просто выработают свой ресурс на количество циклов перезаписи, ну и сам сервер подуставший уже, не понятно сколько мать ещё проработает в режиме 24/7.
Питание бы ещё сдвоенное с горячей заменой.
Я бы для энтерпрайз системы так делать не стал, тем более, что 250+ пользователей. Это не гаражная распродажа или производство в коровнике. Средний такой завод, и у него нет пол лимона?
(2)
Разве бэкапы делают на той же машине? Отдельный NAS уж обычно разворачивают.
(5) Где как. Где-то разворачивают, а где-то нет.
В этом вопросе нету «обычно».
(5)
Пять лет работают сервера на обычных ssd из ближайшего компьютерного магазина и ничего не вы работали. Нагрузки на дисковую систему нормальные. РИБ на 200 узлов крутится.
(1)
🙂
(9)Без второго такого-же сервака я бы всё же в продакшн на 250+ пользователей не рискнул бы запускать, так как слишком много не дублированных точек отказа, а время получения запчасти вообще не гарантированы, особенно если это далеко от МКАД. 🙂
Может в тучные времена на Авито и были косяки хороших б/у серверов, но не сейчас.
Да по правде сказать и в тучные времена сомнительно.
Хороший сервер в хозяйстве всегда сгодится.
На рынки типа Горбушки попадали остатки от освоения бюджетов и замены хорошего на хорошее, но они по знакомым расходились.
Думаете те кто делал апгрейд сервера, а это наверняка сторонняя контора, не взяли бы хороший старый в трейд-ин ?
У них наверняка есть мысли как его пристроить и про алиэкспересс они тоже знают.
Такая покупка похожа на приобретение б/у автомобиля на Авито — лотерея с очень небольшим числом выигрышей.
Тем более — Авито
Я бы понял еще у финнов или на ебее. А у нас можно не сомневаться что до этого на нем картошку жарили.
может проще хорошу раб станцию купить? не на зионах
Все таки для 1с — очень важна частота
(1) да вспомнил, на 2 планки денег не хватило
(2) ну про бакапы отдельная песня из серии собираем бюджетный бу nas на 48 Tb
(13) из личного опыта использую только сервера HP, ibm,dell
(0) если наши заказчики после ваших статей будут приходить с таким железом, то возможно мы вам даже % будем платить )))
(20) просадок пока нет, по скорости конечно ниже чем серверный SSD, но быстрее SAS 15k. Эти SSD взял, так как у этого алюминиевый корпус. Тренсенды смартбаи всякие они перегреваются внутри пластика и начинают тупить, если 24 часа под нагрузкой.
Я конечно понимаю, что нищета мать всех пороков, но это лучше что я мог собрать за 100тыс.
Сейчас На 4 Sas 15к дисках raid5, (что шли с сервером и 2 докупил крутится win Server 2010 и RDP).
На 2 SSD raid1 SQL сервер.
Бакапы на старый сервер делаю каждый день ночью
(8) Если мы собираем СЕРВЕР, то комплектующие, должны быть соответствующего класса.
SSD для ЦОД и СУБД Остальное можно докупать по мере эксплуатации — дублирование БП, дублирование сетевой карты и т.д.
Если говорить про SSD без отказоустойчивой конфигурации (RAID 5,6, 50 и т.д.), то брать нужно ПРЕДНАЗНАЧЕННЫЕ для серверов железо, например
(5)бакапы пока на старый сервер делаю. На следующий год может скинутся на nas
(5)
(22) ssd диски работают в режиме raid1, сетевых карт на сервере 2 шт, блок питпния второй в пути из китая, процеесоров 2 шт, мать только одна. Она хоть и не новая но на этих матерях запаяны танталовые конденсаторы. Срок их службы свыше 20 лет
(20)
А что за нагрузка такая, от которой он просядет? Всегда интересовался…
Лучше купить комплект на 2011 сокете мать + проц + ssd, будет дешевле и лучше по производительности.
(26) Сервак этот как раз на LGA 2011
(26) Не серверные SSD идут в пластиковом корпусе, при постоянной долгой нагрузке греются,тупят и виснут.
Наблюдал на SSD Smartbay
(30) Сервер HP — сервер, А Хуанан это кусок китайский. Я ее покупал под обработку графики. Виснет тупит, а через пол года окислились и покрылись купаросом контакты
(25) а за ответ на этот вопрос Вячеславу денег надо заплатить, видимо
(21) если бы у меня не было этих дисков я бы вам даже поверил )))
ну во-первых у вас на скриншоте линейная скорость судя по результатам убита шиной данных, вероятно там SATA2
а во-вторых надо замерять скорость счетчиками производительности во времени, проседание происходит не на второй секунде использования диска
если проседание произойдет во время копирования файла, то выглядеть будет как приложенной картинке
(25) всегда интересовался, вы хоть что то для выяснения предприняли?
(32) ну если своим умой дойти не можете, можно и за деньги, в нашей стране капитализм
(21) вот что диск должен выдавать
про рейды даже не знаю стоит ли объяснять…
(28) 850 evo тоже не серверный, он для домашних ноутбуков
(3)где тут кроилово? Наоборот, собрать нормальное железо в качестве самолета для 1С
Хотелось бы увидеть результаты теста Гилева, а то что-то попахивает фейком.
(19)вот откуда там очереди и тётки злые работают
(12) эти сервера с европы возят, по России они не бегали. Бушная озу — обычное дело, апгрейд сделали, старые планки ставить некуда. Либо так же с европы пригнали.
(39) а зачем тесты Гилева,
ситуация автора описана
На сервер скидывались из личных средств
значит эти 190 пользователей создают нагрузку не превышающие возможности
и
в этом наверно и ответ на реплику Гилева
смотрите на мир не только из салона bentley 🙂
был в нулевых в Тольятти подвозил меня ТАКСИСТ на девятке,пробег больше 200 тыс.км., салон чистый,состояние кузова отличное, двигатель и ходовая 5+
(36) что за прошлый век на скриншоте? 2019 год на дворе, хотя бы так диск выдавать должен:
(42)
Нагрузка-нагрузке рознь, а производительность системы всегда будет равна производительности самого медленного узла.
Да и пользователь тот еще забавный зверек, поглощали как-то одно предприятие, так сами в ужас пришли от того как там пользователи работают, им все нравится, а наши давно бы уже вой подняли.
p.s. И все-таки тест был-бы информативней, а так-же показатели TBW/DWPD довольно удручающие (300 Тб прожует и «давай-досвидания»).
(20)
эти диски не предназначены для коллективной работы, даже если сбрасывались на них всем миром
Лучше конечно взять что-то из серверных версий SSD. Но всё одно лучше, чем на SATA шпинделях.
(44)
И чего там удручающего? DWPD — ~0,5 на горизонте в 3 года. Не думаю, что у них такие объемы ежедневной записи на диски.
(41)Из Европы на Авито?
Наверное в автомобилях из Европы.
(19)Собрали и молодец. Спора нет. Но пропагандировать покупку серверов с Авито не стОит.
Я бы еще понял если бы со складов Вермахта )
Смотайтесь на Горбушку, поговорите с народом и огромную статью про б/у технику напишете
(46)
Вы думаете 200 бухов совсем не генерируют трафик 😀
p.s. Активно работает примерно 50 сотрудников.
(43) что за железо?
(34) всегда поражался смелости взглядов и бессмысленной глупости ))) Будем продолжать, или все-таки есть что сказать по-существу вопроса? Можем начать с того самого места, которое составляет основную проблему — конкуренция за ресурсы, вызывающая рост дисковой очереди. Буду рад услышать вменяемые рассуждения о причинах роста очереди на EVO, т.е. какие конкретно условия приведут к этому росту.
(33)
Теперь я понял почему Иван Ванько (которого играл Мики Рурк) проигрывает в фильме Железный человек 2.
Он собрал железо из г*вна и палок где то в гаражах России.
Он противостоит целой корпорации капитализма и проигрывает из за не качественных жестких дисков купленных в Плеер.ру 😉
(19)
Зачем?
(49) И так 24 часа в день ? Не верю. У нас на Документообороте с ~600 пользователями, среднее за неделю 5,3 МБ/с.
На ~40 бухах — 2,2 МБ/с.
(49) Странно но у вас сервер предприятия больше грузит диск чем SQL Server. Вероятно памяти мало и он файл подкачки юзает.
(43) Могу предположить что вы юзаете ESXi.
(51) проседания связаны не с очередями, а интенсивной сплошной записью
https://www.google.ru/search?q=падение+скорости+записи+ssd&oq=падение+скорости+записи
предполагается что один пользователь не может постоянно что то писать на диск и поэтому серия evo позиционируется для домашних пользователей где редко достигаются пороговые значения для деградации (но если задаться целью и запустить торент…)
в то же время, если вы разместите на диске базу данных на 250 пользователей, и не дай бог там еще постоянно будут крутиться фоновики, то добиться большого объема перезаписи не представляется ни какой магией, но какой объяснять это людям, которые не хотят даже погуглить леняться
(43) большинство таких серверных дисков стоят больше 100 тыщ )
вы статью топикстартера прочтите )
(40) )))
(42) вы думаете что сервер должен стоить как bentley ?
лучше бы топикстартер взял хотя бы один samsung pro вместо двух ево
а еще лучше поинтересовались куда делись деньги на инфраструктуру — покупать организации сервер за свой счет — треш какой то….
(7) Ну для 2008 возможно. Для 2019 — хлам))
(57)
предполагается что один пользователь не может постоянно что то писать на диск и поэтому серия evo позиционируется для домашних пользователей где редко достигаются пороговые значения для деградации (но если задаться целью и запустить торент…)
в то же время, если вы разместите на диске базу данных на 250 пользователей, и не дай бог там е
Я как вы не изучал этот вопрос. Так как все сервера у нас на ESXi либо Ubuntu.
Эти платформы лучше работают с кешем контроллеров HPE 410i 420i. Конроллер более качетсвенно раставляет очереди заявок на чтение/запись(Trim Парковка итп) итп.
Там таких проблем нету. Вероятно проблема в операционистке (Виндовоз) кроется.
При использовании кеша на запись — максимальная скорость в 2 раза падает но средняя более стабильна и просадок нет
Так происходит из за принципа работы SSD. сам контроллер при удалении данных- физически их не удаляет, а лишь делает запись что данные в определенном сегменте удалены. Потом когда места пустого нету — ему необходимо физически удалить все путем вызова функции TRIM (При этом все начинает тупить грется).
Когда в рейд собираете данные чистятся сразу без задержки (встроенный кеш отрубается) — поэтому Максимальная скорость падает. Все усредняется
(50) (56) нет, просто современный .M2 накопитель. В данном случае Samsung SSD 970 PRO 1TB.
(58) ну вы тоже привели пример теста дисковой системы сервера явно не за 100к 🙂
(55) или полнотекстовый поиск )))
(65) Все зависит от температуры и питания. Если SSD на проводах висит как сопли, то будет греться и изнашиваться быстрее.
Если вставлен в корзину — то будет хорошая теплоотдача с керамических конденсаторов.
Второй фактор блок питания — На серверах 12/5/3.3 вольт стабильные и работает долго. К примеру на блоках питания CoolerMaster максимум год работают
(64) привел тест точно того диска, который привел топикстартер, только более правильно подключенный
https://www.regard.ru/catalog/tovar277330.htm)
а цена точно < 100 К, тыщ 7 (
(63)
Это из за кеша так быстро пашет. Запишите на него 1 терабайт данных и заново запустите. увидите истинную картину
(67) нет, износ Postgres-ом выше в силу работы со множеством файлов базы данных, а также его оптимизатора запроса
также влияет недостаток свободного места на диске в процессе эксплуатации — что снижает скорость работы, и немного усиливает износ
а вот про теплоотдачу sata-самсунгов не надо рассказывать сказки — они холодные и без обдува. Даже если будет висеть на проводах.
» CoolerMaster » мы точно про сервера?
(70)
К сожалению я работаю с такими организациями которые в лучшем случае собирают сервера из Мат плат 370 Asus платформах для домашнего использования, а иногда даже Хуанан. Блоки питания Cooler master — это классика жанра (лучший рейтинг Яндекс маркета). Я бы на них даже светодиодные лампы запускать не стал.
Да я конечно согласен были бы бюджет посолиднее, Я бы вообще хранилище собрал из серверных SSD. Все это бы подключил к серваку через FiberChannel (Как у предыдущего работодателя)
Так что так и скажу — крепчайте сестра и копите на серверные ССД. Так сказал спец из Раруса
Насчет нагрева- греются и очень хорошо. Так рукой не чувствуется — тепловизором видно. Могу дать на пару дней — увидите как конденсоры раскаляются при вызове Trim
Может отдельно сделаете лабораторные опыты? Могу дать вам такой же примерно сервер тепловизор итп.
Думаю хорошая тема выйдет? Всем думаю будет интересно. Вы все же человек более свободным чем я и можете на науку неделю потратить
(12) Та эта горбушка — это как автоцентр АТЦ Москва. В лучшем случае получаешь скульптуру с 10 килограммами шпатлевки.
А на Авито шансы всегда выше — было даже такое покупал Серверные блоки для майнинга приезжаю по объявлению с авто на горбушку. Вижу ценник 10 тысяч. Говорю кодовое слово «я по объявлению с авто» и забираю этот же блок за 6 тысяч рублей.
(57) в действительности не-энтерпрайз сегмент упирается не в интенсивность записи (так называемый троттлинг, в который уходит диск при постоянной записи — см. картинку), а в возможность поддерживать продолжительное время постоянную запись без ошибок. Смотри, например, тесты товарищей с 3dnews:
Также эти товарищизатестили надежность накопителей не-энтерпрайз уровня — в итоге тот же 850 ПРО оказался на 2-м месте, а 960-й без ПРО — не третьем.
табличка с информацией о DWPD для различного характера нагрузки.
На сайте никса приводится различие требований этих сегментов. Основное — это возможность работать при температуре 55 градусов в течение 24 часов в корпоративном сегменте против 8 часов с 40 градусами в пользовательском, а также обеспечение времени работы при 40 градусах в течение 3-х месяцев в корпоративном сегменте против года и 30 градусах в пользовательском. Ну и есть
Самс не подходит для баз данных с кучей пользователей не потому, что он станет медленно работать и заткнется, а потому, что он сдохнет через пару месяцев при интенсивной записи. Скорость работы в 400-500 метров/секунду при активной записи (именно до этого порога падает его производительность), и при этом обеспечение 30к-50к IPOS — это вполне достойные показатели. А вот умрет он рано (или как повезет)…
(75)
M.2 накопители охлаждаются от материнской платы. Через обильные медные контакты охлаждение на высоте. Все зависит только от матери. Если серверная — ту все норм. Если хуанан то будет греться
На свои м2 я еще допом алюминиевые радиаторы с алиэкспреса клею, хотя мать на домашнем компе — Asus Hero maximis z270 довольно теплоемкая и тепло с m.2 SSd отводит нормально.
Ну через пол года проверим будем посмотреть — сколько проживет
(75)
Смотря какая будет «интенсивность» записи. Где то читал что в базах 1с соотношение записи к чтению как 20/80.
В сервере стоят SSD интел купленные 4-5 лет назад. Крутится РИБ на 200 магазинов. И чего то не «сдохли» ещё…. За 5 лет то должны были… к тому же SSD 5 летней давности. Прогресс не стоит на месте…
(80)
РИБ подразумевает эпизодическую запись в момент прохождения обменов, а остальное время не совсем ясно, как работает сервер. Т.е. характер нагрузки зависит от модели использования. Если раз в день приезжают документы из 200 магазинов, а потом юзеры просто отчетики строят, то записи не должно быть много. Особенно если лог сервера 1С вынесен на обычный диск.
(81)
Лог там же.
Обмен работает постоянно. Если делать раз в сутки то накопившиеся изменения потом могут вообще всю работу остановить. Файлы для обменов на том же диске лежат, так же там же формируются файлы для обмена с другими системами.
В течении дня пользователи могут подгружать данные в базу из другой системы. Но это уже мелочи… по сравнению с получением нескольких десятков тысяч документов в РИБе при обмене. В часы пик генерируется ~15 тыс документов в час.
Работа пользователя это то же «эпизодический» ввод документов и получение отчётов.
Мы же рассматриваем работу диска именно под «типичную» работу сотрудников с базой данных как с учётной системой.
Я не говорю что бытовые SSD это замена серверных. Но за неимением других вполне себе годная альтернатива. И не так всё плохо у них с деградацией памяти. К тому же диски это просто расходники. И на запас всегда лежит пара дисков, если какой нибудь из массива откажет.
У меня за 2 года эксплуатации сервера HP из строя вышли два серверных HDD, при чём почти одновременно… По расширенной гарантии прям в офис привезли диски на замену, но всё же надёжностью они не по радовали. Да и сервер в холостую практически работал. 4 буха учёт в БП и ЗУПе вели.
(83)
И какая нагрузка?
(68) Да тут все верно. Я когда выбирал денег на 2 таких хватило
(85)
Не понял вопроса. Если в каких то цифрах или попугаях то сказать не могу, не проводил замеров так как не было такой необходимости, проблемы с которыми приходилось сталкиваться решались без замеров и тд.
Диски работают 5 лет в таком режиме. База порядка 100Гб. Журнал за неделю примерно такой же…. Раз в неделю обрезается и переносится на другой сервер.
(69) нет, не из-за кэша
у нас два таких стоят на одном из компьютеров, террабайт перезаписан, но у PRO-серии скорость не падает, не гоните волну
(75) Откуда вы 960 серию откапали? уж 970я да Intel optane 905p продаются
а уж про температуры вы бы не лучше не чужую макулатуру копипастили
вам бы правда подучиться немного, никогда не поздно
(63)Который стоит как полсервера или как весь сервер из (0)
(53) садики школы. Денег нет — держитесь, вот и держатся как могут
(61) Могу отдельно тест сделать с разницей.
https://www.regard.ru/catalog/tovar263885.htm
Есть Сервер Сервер HP Proliant DL380 Gen10. За 940 тыс рублей брали со скидкой. Разница по производительности 1С там ну там максимум — 1.5 раза
1.
2. 4 Диска SSD серверные
(44) вот видишь тесты это конь в вакууме, а в реальной жизни другие проблемы 🙂
(9)
ну да, ну да, и диски проработают, и память, и вообще — в дата-центре он же не 24/7 работал, а так, по выходным.
(117)
Память — однозначно да, относительно дисков — автор вроде как взял новые. За ssd не скажу, однако стандартные диски hp положенные им по гарантии 3 года ходят без проблем. Далее, где-то ~2-4 диска в год на 150 — 200 дисков и это нормально.
Дык это оборудование и рассчитано на работу 24×7 в течении оч. длительного времени. Оно морально устаревает быстрее, чем физически. Выходят новые модели, вендору нужно что-то продавать etc.
Вы верно меняете серверный парк раз в три года на новый :)?
(96) из личных средств родителей же
(22) ну кому нужно, пусть тот и берет. А при ограниченном бюджете можно и диски потребительского класса на MLC памяти.
(16)
(16) Интересно ваше мнение что предпочтительнее HP или Dell. Сложилось мнение что в плане поисков драйверов и документации страницы поддержки фирмы Dell удобнее, попадаешь на страницу сервера как продукта а сайт HP выдает кашу из всего где упоминается искомая модель. Может быть я конечно не умею пользоваться их сайтом.
Еще вопрос по старому серверу HP модель DL380 R 02 P1400 как в нём выйти на загрузку CD или лучше всего с usb? Отдали для экскрементов ни чего не понятно до этого сталкивался только с десктопами и серверами на базе супермикро без raid массивов.
(124) по драйверам не могу сказать так как пользую ESXi, там все дрова есть
HP в плане апгрейда и гарантийного ремонта проще.
(36) мой тест под нагрузкой был. От того такие низкие показатели.
Я понимаю что SSD evo с памятью TLS будет ниже чем PRO серия с MLS памятью (после переполнения SLC кэша).
А так вообще можно SLC SDD диск купить такой «90Y4373 IBM 300 GB High IOPS SLC Modular Adapter», а лучше сразу полку.
Каждый стоит по 650тысяч. У каждого диска 300 тысяч IOPS без потери скорости записи от объема.
Итого так полка от 10 миллионов. Будет летать со скоростью света
Или такой HP 100GB LFF SAS SLC SSD for M6720 enclosure QR491A only/QR506A 100тыс IOPS без потери скорости записи от объема по 31 тыс рублей
И все эти оптаны и ево (с пямятью mls) судорожно курят в сторонке
(91)
вам бы правда подучиться немного, никогда не поздно
Вам бы тоже, ибо по-русски Вы пишите крайне плохо, а пробелы в базовых знаниях — это пробелы и во всем прочем. Ну а незавершенное предложение: «вы бы лучше не чужую…» — без информации о том, что было бы лучше (например: «а мою макулатуру с сайта gilev.ru» или еще что) — иной раз это подтверждает. Раз с русским так плохо, то с математикой даже боюсь спросить как…
(132) По температурам подтверждаю, снимал логи с майнинг ферм на протяжении 1 года с диском 960evo 500gb
Установлены были на матери Asus Z-270-p. средняя температура 50 градусов Без нагрузки, 65-70 градусов под нагрузкой. статистика за 1 год. На 4 разных фермах.
При этом как то на китайской матери гонял этот же SSD — температура росла выше 100 и выше потом висло. видать меди в матери нету. Охлаждение SSD идет через контакты
(132) четыре месяца думал, но видимо все равно поспешил, еще возьми шесть месяцев подумай
(134) отличная попытка, но не…
(134)Подумать некогда не поздно.
Рыба не думала — рыба знала все.
(136)
Я просто еще раз тему прочитал и нашел мессагу, которую до этого не видел, а кое-кто, чье имя всуе произносить не стоит, истолковал привратно )))
ЗЫ: да и что говорить, если даже у себя на сайте он грамотно три предложения написать не может.
(48)
горбушка уже не та нынче.