Подготовка тестового контура с помощью gitlab-ci и Яндекс.Диска

Должно быть установлено

oscript

пакет cpdb(oscript)  

rem устанавливаем пакет
opm install cpdb

будем ставить 

gitlab-runner

Для настройки создадим репозиторий на gitlab. Добавим файл .gitlab-ci.yml с текстом:

stages:
- stage

'Подготовка тестового контура':
stage: stage
script:
- chcp 65001
- mkdir %tmp%PrepareStageib\r
- xcopy %secret_ib_file% %tmp%PrepareStageib /Y /Z /V /J /I
- call cpdb dumpib -ib-path "/F%tmp%/PrepareStage/ib/" -dt-path "%tmp%/PrepareStage/trade_stage_%DATE%.dt" %secret_ib_user% %secret_ib_pass% -v8version 8.3.10
- call cpdb putyadisk -file "%tmp%/PrepareStage/trade_stage_%DATE%.dt" -ya-token %secret_ya_token% -ya-path %secret_ya_path%
- RMDIR %tmp%PrepareStage /s /q
when: manual

 

Файл .gitlab-ci.yml содержит набор инструкций для исполнения экземпляром gitlab-runner

Далее необходимо будет указать секретные переменные (те что начинаются с %secret) и зарегистрировать runner на машине с доступом к продуктовой базе

Настраиваем секретные переменные

Переходим в https://gitlab.com/<profile>/<myproject>/settings/ci_cd, в разделе Secret variables указываем ключи и значения секретных переменных

Например:

 ключ — secret_ib_file, значение d:ases rade1cv8.1cd

 ключ — secret_ya_path, значение /stages/trade/

Имена ключей в Secret variables указываются без % 

Так же есть переменная secret_ya_token значение которой необходимо получить из здесь (OAuth-авторизация).

в разделе Платформы отмечаем Веб-сервисы и обязательно указываем Callback URI 

далее указываем какие права будут у нашего приложения

После создания приложения будет выдан его id, что бы получить токен, необходимо пройти по ссылке https://oauth.yandex.ru/authorize?response_type=token&client_id=<ID приложения> и разрешить его работу. Далее будет выдан токен который надо указать в значении переменной secret_ya_token

Рекомендую создать еще одно приложение, со всеми правами только без Запись в любом месте на диске и использовать его токен для развертывания.

Регистрируем runner

Для начала необходимо получить токен для раннера в gitlab. Снова переходим в https://gitlab.com/<profile>/<myproject>/settings/ci_cd.

В разделе Runners settings

1. Отключаем общие раннеры, они нам не нужны. Нажимаем кнопку Disable shared Runners

 2. Копируем токен для раннера, он будет нужен при регистрации

Наконец то регистрируем раннер

Оригинальная инструкция

1. Создаем папку на диске, например C:GitLab-Runner.  Рекомендую для использования нескольких раннеров сделать основную папку GitLab-Runners и в ней подпапки с именами раннеров C:GitLab-RunnerTradePrepareStage например

2. Загрузите двоичный файл для x86 или amd64 и поместите его в созданную вами папку. Переименуйте двоичный файл в gitlab-runner.exe.

3. Запустите командную строку с правами Администратора

4. Регистрируем раннер (официальная инструкция)

по очереди выполняем команды 

rem Переходим в папку со скаченным файлом раннера
cd C:GitLab-RunnerTradePrepareStag

rem выполняем команду
gitlab-runner.exe register

rem указываем адрес инстанса (так как можно регистрировать раннеры и на своем экземпляре gitlab)
https://gitlab.com

rem указываем токен для раннера
xxxxxxxxxxxxxxxxx

rem указываем описание раннера (любое, чтоб понимать для чего он был зарегистрирован)
TradePrepareStag

rem на вопрос о тегах ничего не пишем, здесь они не будут использоваться
Please enter the gitlab-ci tags for this runner (comma separated):

rem на вопрос отвечаем ДА
Whether to run untagged jobs [true/false]:
true

rem на вопрос о том кто будет исполнять сценарии отвечаем shell (для windows)
Please enter the executor: ssh, docker+machine, docker-ssh+machine, kubernetes, docker, parallels, virtualbox, docker-ssh, shell:
shell

5. Устанавливаем раннер как службу и запускаем его

gitlab-runner install

gitlab-runner start

По умолчанию, служба регистрируется как gitlab-runner. Лучше дополнительно указать имя службы, за место верхней инструкции выполнить:

gitlab-runner install --service gitlab-runner-trade-prepare-stage

gitlab-runner start --service gitlab-runner-trade-prepare-stage

 

Для выполнения инструкций переходим в https://gitlab.com/<profile>/<myproject>/pipelines и нажимаем кнопку запуска у конвеера или создаем новый конвеер по команде Run Pipeline.

После запуска можно зайти в задание и следить за результатом выполнения

После успешного выполнения, в каталоге Диска должна появиться выгрузка базы.

При выполнении команды putyadisk выводится ошибка о том что каталог уже создан, так же при повторном выполнении задания выводится ошибка, что и закачиваемый файл имеется на Яднекс.Диске.

Для повторной выгрузки файла пока что необходимо предварительно удалить ранее созданную выгрузку на сегодняшний день.

Заключение

В итоге мы получаем возможность забрать копию рабочей базы через веб-интерфейс gitlab, когда нам это необходимо. Почему gitlab?

1. веб-интерфейс для выполнения заданий

2. раннер не занимает много места по сравнению с jenkins (~50mb)

3. кажется, единственный сервис, предлагающий ci под windows

4. это бесплатно