Сам я не DevOps-ер, ни на что не претендую, просто делюсь опытом 🙂
Решение проблемы занятого порта 8080
Вариант 1. Как открыть порт в брендмауэре Windows
Вариант 2. Как переопределить рабочий порт Jenkins
Первоначальная настройка и установка плагинов
Вместо заключения. Запуск сценария и мониторинг результата
Перед началом хочу поблагодарить коллег из коллективов SilverBulleters и xDD за бесценную консультационную поддержку.
Итак, поехали!
Вводная
Есть тестовая база, в которой тестировщики проверяют результаты разработки на соответствие требованиям заказчика. База подключена к тестовому хранилищу. Изменения в тестовое хранилище помещает разработчик. После чего система на сервере должна увидеть, что изменения есть, и обновить тестовую базу из хранилища.
Обзаводимся софтом
Для решения задачи нам понадобится:
- OneScript
- Библиотека Deployka из серии oscript-library
- Jenkins
- Платформа 1С: Предприятие с установленными средствами управления хранилищем и серверной частью
С установкой OneScript затруднений никаких не возникает. После установки самого 1Script, ставим Деплойку из командной строки:
opm install deployka
Консоль командной строки должна быть запущена под администратором. И нужно самому быть администратором на машине, где происходит сие представление. Понимаю, совет банальный, но у меня были затруднения из-за корпоративных политик безопасности нашей компании, поэтому предупреждаю.
На установке 1С-ки вообще не вижу смысла останавливаться 🙂 Переходим к сути.
Составление сценария запуска
Сам сценарий работы с deployka взят из примера и адаптирован "под себя". Собственно, самих изменений немного, вот результат сценария команд, который у меня получился в результате:
deployka session lock -ras dev-td:2845 -rac "C:Program Files1cv88.3.10.2466in
ac.exe" -db "zup cb fin test" -db-user "Admin" -lockmessage "Плановое обновление" -lockuccode update
deployka session kill -ras dev-td:2845 -rac "C:Program Files1cv88.3.10.2466in
ac.exe" -db "zup cb fin test" -db-user "Admin" -lockmessage "Плановое обновление, 5 мин" -lockuccode update
deployka loadrepo "/IBConnectionString""Srvr=dev-td:2841;Ref='zup cb fin test'""" \dit-dev11C-Storage8.3hrm_test_fin -db-user "Admin" -storage-user admin -storage-pwd 777 -uccode update
deployka dbupdate "/IBConnectionString""Srvr=dev-td:2841;Ref='zup cb fin test'""" -db-user "Admin" -allow-warnings -uccode update
deployka session unlock -ras dev-td:2845 -rac "C:Program Files1cv88.3.10.2466in
ac.exe" -db "zup cb fin test" -db-user "Admin"
То есть, порядок такой:
- Блокируем сессии для входа в базу, оставляем себе лазейку в параметре -lockuccode;
- Убиваем все текущие сессии;
- Загружаем изменения конфигурации из хранилища. Тут столкнулся с проблемой правильного написания строки соединения с базой, которую требует первый параметр команды loadrepo. Решения было найдено здесь (есть пример строки подключения для файловой и клиент-серверной базы);
- Обновляем конфигурацию базы данных. Здесь ключевой момент — наличие ключа -allow-warnings. Он необходим на случай, если в конфигурации были изменения структуры, то их необходимо принять безоговорочно. В интерактивном режиме мы привыкли видеть дополнительное окно с перечислением изменений структуры, в котором нажимаем на кнопку "Принять", после чего обновление успешно завершается. Так вот, ключ -allow-warnings как раз "нажимает" на эту кнопку;
- Снимаем блокировку сессий, чтобы с базой могли работать пользователи.
Какие здесь есть нюансы:
- Сервер RAC используем той версии платформы, на которой крутится целевая база;
- Имя пользователя прописываю латиницей (завёл отдельного пользователя для этого). Когда используешь командную консоль, Jenkin и еще какой-нибудь редактор текста, то договориться между ними о кодировках кириллицы — это отдельный тур вальса с бубном, на нём останавливаться не буду.
- Предварительно должен быть запущен сервер RAS.
Запуск RAS как сервис
Сервер RAS можно разово запустить отдельным bat-файлом, а можно запустить его как сервисную службу. Я пошёл вторым путём, команда для запуска следующая:
sc create "1C:Enterprise RAS" binpath=""C:Program Files1cv88.3.10.2466in
as.exe" cluster --service --port=2845 localhost:2840"
Номера портов следует прописывать, исходя из того, на каких портах "сидит" соответствующий сервер 1С: Предприятия.
Сервис должен запуститься под пользователем с правами администратора системы, иначе ничего не получится. Настройку можно выполнить в списке служб операционной системы в Панели управления.
На данном этапе сценарием уже можно пользоваться из командной строки или в виде bat-файла. Но наша задача — обернуть ещё это всё в CI и автоматизировать процесс.
Установка Jenkins
Скачиваем установочный пакет под нужную ОС по ссылке в начале статьи.
Запускаем, устанавливаем всё по умолчанию. После установки, Jenkins будет доступен из браузера по адресу: localhost:8080. Должен появиться приветственный экран Jenkins:
Рисунок 1
Если экран появился, можно переходить к первоначальным настройкам системы. В противном случает придётся еще побороться с закрытым портом 8080.
Здесь описан порядок подключения на локальной машине. В общем случае, в адресной строке браузера следует писать IP сервера, на котором установлен Jenkins: http://[IP-адрес сервера]:8080
Про более сложную распределенную установку Jenkins на сервере/клиентах написано здесь.
Другие способы установки Jenkins:
Решение проблемы занятого порта 8080
Если после установки Jenkins в браузере появляется что угодно, но только не то, что изображено на рисунке 1, значит порт 8080 на вашем компьютере закрыт или занят другим приложением (PS а заодно проверьте статус работы сервиса Jenkins и наличие оперативной памяти, Jenkins потребляем от 256Мб до 1Гб оперативы). Решения проблемы два: либо открыть порт средствами Windows, либо переопределить номер порта для Jenkins.
Вариант 1. Как открыть порт в брандмауэре Windows
Открываем брандмауэр: нажимаем [Win+R], даём команду firewall.cpl. В открывшемся окне переходим в «Дополнительные параметры», затем открываем раздел «Правила для входящих подключений». Должно появиться окно:
Рисунок 2
В правой колонке нажимаем «Создать правило…».
Шаг 1. Выбираем тип правила «Для порта» и нажимаем «Далее».
Рисунок 3
Шаг 2. В поле «Определённые локальные порты» вводим номер нашего порта 8080, и нажимаем «Далее»
Рисунок 4
Шаг 3. Выбираем вариант «Разрешить подключение» и жмём «Далее»
Рисунок 5
Шаг 4. Оставляем всё по умолчанию и нажимаем «Далее»
Рисунок 6
Шаг 5. На заключительном шаге указываем имя для нового правила файервола и нажимаем «Готово».
Рисунок 7
Если и после этого Jenkins не запустится, добавьте еще одно такое же правило, только на шаге 2 укажите правило UDP.
Вариант 2. Как переопределить рабочий порт Jenkins
Чтобы Jenkins подключался к другому порту, в файле Program FilesJenkinsjenkins.xml нужно найти ключ:
--httpPort=8080
и поменять номер на желаемый, после чего перезапустить сервис Jenkins.
Первоначальная настройка и установка плагинов
После того, как установка выполнена, в браузере мы попадаем в окно приветствия (см. Рисунок 1). Здесь нужно вставить пароль из файла Program FilesJenkinssecretsinitialAdminPassword и нажат «Продолжить». На следующем шаге выбираем режим установки плагинов: Install suggested plugins.
Рисунок 8
Для решения нашей задачи нам понадобится плагин Filesystem Trigger Plug-in, его и устанавливаем.
После установки создаём профиль администратора, имя пользователя и пароль запоминаем для использования в дальнейшей работе. Нажимаем «Продолжить», на экране появится сообщение, свидетельствующее о готовности Jenkins к работе.
Рисунок 9
Нажимаем «Start using Jenkins» и переходим в рабочую панель системы.
Дополнительно:
Настройка проекта в Jenkins
Теперь, когда Jenkins настроен и готов к работе, создадим наш сценарий. Выбираем на главной странице Jenkins команду «Создать Item» («New Job»). Задаём название нашему проекту, выбираем тип «Создать задачу со свободной конфигурацией» («Free-style project») и нажимаем OK.
Рисунок 10
Далее открывается окно настройки проекта. В основном разделе при желании можно описать, что реализуется в данном сценарии, и настроить правила очистки истории выполненных сборок.
Рисунок 11
Переходим в раздел "Триггеры сборки". Здесь настраиваются условия, при которых наш сценарий будет выполняться. Нам нужно, чтобы сборка производилась при изменении файла хранилища конфигурации.
Устанавливаем флажок [FSTrigger] — Monitor files, далее ставим флажки Inspect fila contents (собственно проверка, а не поменялся ли файл?) и Ignore modification data (дабы избежать ложных срабатываний сценария). В поле File Path прописываем полный путь к файлу *.1cd хранилища конфигурации.
В поле «Расписание» («Schedule») прописываем строку: */15 * * * *. Это означает, что проверка изменений файла (а значит и необходимости дальнейшего запуска сборки) будет выполняться каждые 15 минут. Подробнее о формате написания этой строки можно почитать в справке, которая открывается по «знаку вопроса» справа от поля ввода.
Рисунок 12
В разделе «Сборка» выбираем команду «Добавить шаг сборки – Выполнить команду Windows», и в появившемся поле ввода прописываем команду соответствующего шага. Затем повторяем то же самое для остальных шагов. В результате должно получиться то, что показано на рисунке 13.
Рисунок 13
Еще один вариант:
Нажимаем «Сохранить».
Поздравляю! Вы автоматизировали одну из рутинных операций в своей работе. Добро пожаловать в мир DevOps-а! :))
Вместо заключения. Запуск сценария и мониторинг результата
После сохранения сценария открывается страница управления этим сценарием. Если выбрать команду «Собрать сейчас», то сценарий будет запущен, а результат появится в разделе «История сборок».
Рисунок 14
Из контекстного меню конкретного запуска сценария можно через команду «Console Output» посмотреть детали выполнения.
Рисунок 15
Также запустить сценарий можно из контекстного меню конкретного проекта в списке главного окна системы.
Рисунок 16
Плюс за первопроходчество. Вечно нет времени нормально полазить по граблям.
Однозначно плюс за информацию. Автор можешь добавить код для файловых баз в статью для полноты картины ?
(1) Так Серебрянная пуля давно это делает и методичку выпустила.
Можете обосновать выбор дженкинса взамен обычного шедулера?
И почему не PoSh?
С кодировкой проблем нет. Просто надо прописать в реестре: HKCUConsoleCodePage = 65001
(4) А обычный шедулер умеет консолидировано запускать задачи на разных серверах?
(6) Это уж слишком «продвинутый» пример)
(4) На примере публикации — если внимательно прочитать, то можно увидеть, что используется не просто шедулинг. Этот шедулинг зажигает триггер в зависимости от модифицированности отслеживаемого файла. Аналогично такое сделать на ПоШ — уже думать надо.
Можно немного развить тему публикации и повысить безопасность — Дженкинс позволяет хранить пароли в специальном хранилище. И их (пароли) можно потом не хардкодить в скрипты. Как аналогичное сделать в ПоШ — сходу и не знаю.
Вообще, публикация охватывает совсем маленький кусочек функционала Дженкинс’а. И кажется, что зачем он (Джен) вообще нужен. Но аппетит приходит во время еды.
Захотим мы, к примеру, выгружать cf обновленной конфы в artifactory. В Джен мы добавим 2-3 шага. И это заработает.
В ПоШ, да, мы тоже это сможем сделать. Только сначала почитаем кучку доков, (напишем-отладим) * N раз. И потратим на это в 10 раз больше времени и нервов.
(3) При всем уважении к их безусловно полезному труду — пару раз пробовал осилить, еще до методички, но времени катастрофически не хватало. А сейчас читаю — и узнаю проблемы, на которые натыкался. Думаю, я не один такой, может кому поможет и хорошо. Все-таки лично мне по этому пути пока тяжеловато следовать.
(6) обычный шедулер умеет запускать задание по расписанию ) легко, быстро, не жрет ресурсы, и не требует установки)
Задания пишутся в скрипте на питоне или ПоШе, которые умеют намного больше чем дженкинс)
Супер, спасибо за статью
(10)А по событию из системы контроля версий умеет? А отслеживать изменения, и запускать билд, только когда что-то поменялось?
Не, я не спорю, можно все скриптами сделать, даже сам некоторые вещи предпочитаю писать на питоне, чем использовать готовое. Но меру во всем нужно знать.
(3) А где почитать эту самую методичку?
(13) Ну видишь ли, мы привыкли к простому/хорошему. А ты, вероятно, си-шник в душе?
(14) Не люблю когда пиццу доставляют камазом)
(13) Не хочу спорить. Любую задачу можно решить сотней разных способов, каждый выбирает для себя.
(12) Я покупал у Серебряной пули. Можно посмотреть на их сайте.
Плюс не глядя (почти).
(10) Когда напишите подобие TeamCity, TFS или Jenkins — дай знать, я заценю… :)))
sleep не хватает пред тем как делать kill, если же это не быстрый bugfix.
Теоретически алгоритм должен быть таким:
(7) еще один вариант 🙂 всё в тестере написать, на 1с, и работу по блокировке пользователей, и пакетный запуск конфигуратора и мониторинг изменения файла по расписанию или событию (правда компонента только под виндовс).
(19) Зачем?
(13) Не куда пихается, а по прямому назначению — для сборки и диплоя.
Да, можно было обойтись скриптами. Но это как если тебя просят простой складской учет, а ты вместо установки типовой конфы фигачишь самописку за три минуты. Все, вроде бы, отлично и требованиям (текущим) удовлетворяет (в принципе). Но вот дальше возникают ньюансы 🙂
(22) Так Jenkins то же со скриптов начинался… Хочешь изобретать велосипед — изобретай. Получиться лучше — буду использовать.
(20) Мое почтение. И конвеера должно быть два (если по феншую):
1. сборка (copydb, loadrepo, test, publish) — запускать по изменению хранилища
2. обновление (loadcf,backup, updatedb, userupdate) — запускать по расписанию и наличию обновления
фарватер 🙂
(17)https://isthisdesign.org/bookoneorder
Это печатный вариант — настройка gitLab, Jenkins + OScript
(26) ?
Мне помогло:
1. jenkins.xml
<arguments>-Xrs -Xmx256m -Dfile.encoding=UTF-8 -Dhudson.lifecycle=hudson.lifecycle.WindowsServiceLifecycle -jar «%BASE%jenkins.war» —httpPort=8181 —webroot=»%BASE%war»</arguments>
2. Изменить кодировку в консоли
chcp 65001
Никто не сталкивался?
Подозреваю что косяк в настройка сервера, на тестовом все ОК. Пока не пойму, куда копать
Службы запущены, пользователь админ как базы, так и кластера, так и сервера…
C:Windowssystem32>deployka scheduledjobs lock -ras localhost:1545 -rac «C:Pro
gram Files (x86)1cv88.3.12.1469in
ac.exe» -db «BASENAME» -cluster-admin «USR1CV8_
RAS» -cluster-pwd «PASSWORD» -db-user «USR1CV8_RAS» -db-pwd «PASSWORD»
ИНФОРМАЦИЯ — Получаю список кластеров
ИНФОРМАЦИЯ — Получаю список баз кластера
ИНФОРМАЦИЯ — Получен УИД базы
КРИТИЧНАЯОШИБКА — {Модуль C:Program Files (x86)OneScriptlibdeploykasrcКлас
сыКомандаУправлениеСеансами.os / Ошибка в строке: 482 / Сообщение от RAS/RAC
server_addr=tcp://S01-1C01_01:0 descr=10.2.0.128:10049(0x00002741): Требуемый ад
рес для своего контекста неверен. ;
line=1056 file=srcDataExchangeTcpClientImpl.cpp
Разобрался. Проблема Deployka в том, что она позволяет управлять только одним кластером на сервере.
На нашем 3 кластера.
О данной проблеме известно давно, но до реализации не дошло. Может кто знает обходные пути?
(31) деплойка не развивается.
Попробуйте vannesa-runner из того же сообщества.
Весь функционал переехал в него.
Уже осознал и переписал скрипты под runner
Проблема в конечном итоге была такая:
На кластере было 2 рабочих сервера. И ни в runner, ни в deployka не нашлось аргумента для выбора нужного сервера.
Решение:
Удалили второй рабочий сервер с кластера (к счастью был создан очень давно и не использовался).