"Перезаливатор" - приложение для автоматизации "перезаливки" баз

В данной статье я хотел бы рассказать о приложении «Перезаливатор», которое позволило нам значительно облегчить процесс «перезаливки» баз, вплоть до самостоятельной «перезаливки» информационных баз консультантами 1С.

В дополнение к статье «Автоматизируй это!» выкладываю приложение «Перезаливатор», о котором шла речь в докладе.

Видеоинструкция

О причинах и контексте создания данного приложения, вы можете узнать из приведенного ниже 20-ти минутного видео. В нем также подробно разбирается процесс установки, настройки и эксплуатации Перезаливатора.

Описание

Под словом "перезалить" понимается процедура восстановления одной базы данных (база назначения) из резервных копий другой базы данных (база источник). Например, если необходимо загрузить данные из базы продуктива в тестовую или разработочную.

Перезаливатор позволяет максимально автоматизировать процесс "перезаливки" баз данных 1С:Предприятия.

Реализован на OneScript (http://oscript.io). Для работы необходим OneScript версии 1.0.20 или выше.

Код открыт, страница проекта на GitHub: https://github.com/Tavalik/Perezalivator

Имеется GUI-интерфейс для выбора базы-приемника и базы-назначения, а также окно с выводом результата.

Установка

Установить OneScript (подробно про установку и настройку можно узнать, например, здесь).
Скачать файл "DistrPerezalivator-<версия>.ospx" (ссылка)
Запустить установку с помощью пакетного менеджера opm

opm install -f <Путь к файлу Perezalivator-<версия>.ospx>

Можно также воспользоваться командным файлом "install.bat" из директории "Distr"

Зависит от:

Библиотеки json: https://github.com/oscript-library/json
Библиотеки gui: https://github.com/oscript-library/oscript-simple-gui
Библиотеки TMSSQL: https://github.com/Tavalik/TMSSQL (отдельная статья)
Библиотеки TRun1C: https://github.com/Tavalik/TRun1C
Библиотеки TMail: https://github.com/Tavalik/TMail
Библиотеки TLog: https://github.com/Tavalik/TLog

(все зависимые библиотеки устанавливаются автоматически при условии использования пакетного менеджера opm)

Работа с приложением

Запуск приложения осуществляется запуском файла Perezalivator_Run.bat. При первом запуске в текущем каталоге будет создан пустой файл настроек Perezalivator_Params.json.

Необходимо заполнить все параметры, описав возможные базы-источники, базы-назначения и параметры для отправки электронных писем.

Проверить корректность введенных настроек можно запустив файл Perezalivator_Run_Test.bat. Перезаливатор будет запущен в режиме тестирования настроек.

Пример корректного файла настроек

{
"Источники":
[
{
"Имя" :       "Бухгалтерия (рабочая)",
"АдресСервераSQL" :      "localhost",
"ИмяПользователяSQL" :     "User_1C",
"ПарольПользователяSQL" :    "Pass123_SQL",
"ИмяБазыДанныхSQL" :      "Acc_Work"
},
{
"Имя" :       "ЗУП (рабочая)",
"АдресСервераSQL" :      "localhost",
"ИмяПользователяSQL" :     "User_1C",
"ПарольПользователяSQL" :    "Pass123_SQL",
"ИмяБазыДанныхSQL" :      "HRM_Work"
}
],
"Приемники":
[
{
"Имя" :       "Общая тестовая №1",
"ПутьКПлатформе1С" :      "C:\Program Files (x86)\1cv8\8.3.10.2580\bin\1cv8.exe",
"ТипБазы" :       "S",
"ВерсияCOMConnector" :     "83",
"ИмяБазы" :       "Test1",
"АдресКластера" :      "localhost",
"ПортКластера" :      "2541",
"ПортАгента" :      "2540",
"ИмяПользователя" :      "Admin_1C",
"ПарольПользователя" :     "Pass123_1C",
"АдресХранилища" :     "",
"ИмяПользователяХранилища" :     "",
"ПарольПользователяХранилища" :    "",
"АдресСервераSQL" :      "localhost",
"ИмяПользователяSQL" :      "User_1C",
"ПарольПользователяSQL" :     "Pass123_SQL",
"ИмяБазыДанныхSQL" :      "Test1"
},
{
"Имя" :       "Общая тестовая №2",
"ПутьКПлатформе1С" :      "C:\Program Files (x86)\1cv8\8.3.10.2580\bin\1cv8.exe",
"ТипБазы" :       "S",
"ВерсияCOMConnector" :     "83",
"ИмяБазы" :       "Test2",
"АдресКластера" :      "localhost",
"ПортКластера" :      "2541",
"ПортАгента" :      "2540",
"ИмяПользователя" :      "Admin_1C",
"ПарольПользователя" :     "Pass123_1C",
"АдресХранилища" :     "",
"ИмяПользователяХранилища" :     "",
"ПарольПользователяХранилища" :    "",
"АдресСервераSQL" :      "localhost",
"ИмяПользователяSQL" :      "User_1C",
"ПарольПользователяSQL" :     "Pass123_SQL",
"ИмяБазыДанныхSQL" :      "Test2"
},
{
"Имя" :       "ЗУП - Тестовая №1",
"ПутьКПлатформе1С" :      "C:\Program Files (x86)\1cv8\8.3.10.2580\bin\1cv8.exe",
"ТипБазы" :       "S",
"ВерсияCOMConnector" :     "83",
"ИмяБазы" :       "HRM_Test1",
"АдресКластера" :      "localhost",
"ПортКластера" :      "2541",
"ПортАгента" :      "2540",
"ИмяПользователя" :      "Admin_1C",
"ПарольПользователя" :     "Pass123_1C",
"АдресХранилища" :     "C:\1C_BASE\repository\HRM_Dev",
"ИмяПользователяХранилища" :     "test1",
"ПарольПользователяХранилища" :    "Pass123_Repo",
"АдресСервераSQL" :      "localhost",
"ИмяПользователяSQL" :      "User_1C",
"ПарольПользователяSQL" :     "Pass123_SQL",
"ИмяБазыДанныхSQL" :      "HRM_Test1"
},
{
"Имя" :       "ЗУП - Разработочная №1",
"ПутьКПлатформе1С" :      "C:\Program Files (x86)\1cv8\8.3.10.2580\bin\1cv8.exe",
"ТипБазы" :       "S",
"ВерсияCOMConnector" :     "83",
"ИмяБазы" :       "HRM_Dev1",
"АдресКластера" :      "localhost",
"ПортКластера" :      "2541",
"ПортАгента" :      "2540",
"ИмяПользователя" :      "Admin_1C",
"ПарольПользователя" :     "Pass123_1C",
"АдресХранилища" :     "C:\1C_BASE\repository\HRM_Dev",
"ИмяПользователяХранилища" :     "dev1",
"ПарольПользователяХранилища" :    "Pass123_Repo",
"АдресСервераSQL" :      "localhost",
"ИмяПользователяSQL" :      "User_1C",
"ПарольПользователяSQL" :     "Pass123_SQL",
"ИмяБазыДанныхSQL" :      "HRM_Dev1"
},
{
"Имя" :       "ЗУП - Разработочная №2",
"ПутьКПлатформе1С" :      "C:\Program Files (x86)\1cv8\8.3.10.2580\bin\1cv8.exe",
"ТипБазы" :       "S",
"ВерсияCOMConnector" :     "83",
"ИмяБазы" :       "HRM_Dev2",
"АдресКластера" :      "localhost",
"ПортКластера" :      "2541",
"ПортАгента" :      "2540",
"ИмяПользователя" :      "Admin_1C",
"ПарольПользователя" :     "Pass123_1C",
"АдресХранилища" :     "C:\1C_BASE\repository\HRM_Dev",
"ИмяПользователяХранилища" :     "dev2",
"ПарольПользователяХранилища" :    "Pass123_Repo",
"АдресСервераSQL" :      "localhost",
"ИмяПользователяSQL" :      "User_1C",
"ПарольПользователяSQL" :     "Pass123_SQL",
"ИмяБазыДанныхSQL" :      "HRM_Dev2"
}
],
"ЭлектроннаяПочта":
{
"НастройкиSMTP":
{
"АдресSMTP" :       "smtp.ya.ru",
"ПортSMTP" :       465,
"ПользовательSMTP" :      "postname_from@yandex.ru",
"ПарольSMTP" :       "Pass123_Mail",
"ИспользоватьSSL" :      true
},
"ПолучателиСообщений":
{
"АдресЭлектроннойПочтыПолучателя" :    "postname_to1@yandex.ru;postname_to2@yandex.ru;"
}
}
}

При следующем запуске файла Perezalivator_Run.bat откроется окно, в котором необходимо выбрать базу-источник

и базу-назначения.

Если необходимо, можно указать дату, на которую необходимо получить данные (всегда используется конец дня).

После указания всех исходных параметров, перезаливатор начнет работу по следующему алгоритму:

Установка блокировки регламентных заданий и начала сеансов в базе-приемнике
Завершение активных сеансов (спустя несколько минут) в базе-приемнике
Расчет последовательности файлов резервных копий для базы-источника для восстановления на указанную дату
Восстановление базы-приемника по найденной последовательности файлов
Перевод базы-приемника в простую модель восстановления
Сжатие файлов журнала транзакций базы-приемника
Отключение базы-приемника от хранилища
Подключение базы-приемника к хранилищу
Обновление конфигурации базы данных базы-приемника
Снятие блокировки начала сеансов базы-приемника
Уведомление о результате по электронной почте

Если в базе-приемнике присутствуют активные соединения, будет показана таблица со всеми соединениями, а также будет предоставлена возможность завершить все активные сеансы.

Отработав, Перезаливатор выдаст соответствующее сообщение (или сообщение об ошибке), а также отправит сообщение о результате работы на электронную почту.

Заключение

Работаем с Перезаливатором уже больше года. Тот функционал, который был нам необходим, мы реализовали. Если будет интерес сообщества, возможно и дальнейшее развитие программы.

Кстати, есть еще как минимум 2 подобных проекта:

Спасибо за внимание.

24 Comments

mashinist 06.07.2018 at 09:18

Вопрос есть

9. Обновление конфигурации базы данных базы-приемника

10. Снятие блокировки регламентных заданий и начала сеансов базы-приемника

Можно блокировку регламентных заданий не снимать?

Reply ↓
Tavalik 06.07.2018 at 09:24

(1)

Отличный вопрос. На самом деле происходит только снятие блокировки начала сеансов. Регламентные задания остаются заблокированными.

Исправил в статье. Спасибо!

Reply ↓
Evil Beaver 06.07.2018 at 10:30

(0) Виталий, а где можно посмотреть и изучить инструмент «Обновлятор» про который ты рассказывал в мае на IsThisDesign?

Reply ↓
Tavalik 06.07.2018 at 11:20

(3)

Привет. Да надо тоже собраться с силами, взять и опубликовать. 🙂

Пока только здесь: https://github.com/Tavalik/Obnovlyator

Reply ↓
Infactum 06.07.2018 at 11:50

О.. старый добрый интерфейс «от программиста». Кровь из глаз 🙂

Считаю, что GUI для таких задач зло. Нужно уметь пользоваться консолью / скриптами.

За решение в целом +

Reply ↓
Tavalik 06.07.2018 at 13:09

(5) Мы и пользовались консолью и батниками, пока не решили, что Консультанты и без нас могут базы перезаливать. Для них уже пришлось рисовать GUI.

Reply ↓
petrov_2015 06.07.2018 at 15:37

Виталий, Спасибо! Перезаливатор тема востребованная.

Но нам для полноценного соответствия «Автоматизируй это» пришлось немного расширить функциональность:

1. Создание информационной базы

2. Удаление информационной базы

3. Отключение от РИБ при перезаливке

4. Восстановление на момент времени

5. Получение текущей копии базы

Можно ли и как эти доработки включить в ваш проект: присоединиться к github или обменяться по почте?

Может кому окажется полезным…

Reply ↓
insurgut 06.07.2018 at 16:14
Не совсем понятно в итоге в автоматическом режиме работать приложение может? Или процесс «перезаливки» стартует исключительно по нажатию на кнопку? Т.е. есть задача каждую ночь запускаться, выгружать данные из рабочей базы и загружать в резервную базу.

На данный момент эта задача решается при помощи планировщика заданий Windows и запуска следующего скрипта:
```
CHCP 1251
«C:Program Files (x86)1cv8common1cestart.exe» CONFIG /S»SQLSRV3ut_rezerv» /UC My_Password /N»Администратор» /P»My_Password» /Out»C:Logs1c.log» /RestoreIB»H:ackup_autoТорговля_%date:~6,4%-%date:~3,2%-%date:~0,2%.dt»
```
Но хотелось бы какой-то юзабилити ))

P.S. Под файлами резервных копий подразумеваются резервные копии, созданные в MSSQL?

Reply ↓
Tavalik 06.07.2018 at 16:21

(7)

Ничегосебе! Круто! Конечно, давайте интегрироваться. Написал в личку.

Reply ↓

Tavalik 06.07.2018 at 16:32

(8)

Или процесс «перезаливки» стартует исключительно по нажатию на кнопку?

Вот сам Перезаливатор требует ручного нажатия. Но вся суть этой GUI оболочки, только сформировать параметры и вызвать соответствующие процедуры библиотек TMSSQL, TRun1C. Посмотрите описание, там много экспортных методов.

Для автоматических действий используем скрипты, код которых очень похож на основную процедуру Перезаливатора, но под каждую операцию свой скрипт. Выглядит примерно так:

…

// Установим блокировку начала сеансов
Если Не НетДоступаККонсолиКластера Тогда
Если Не БылиОшибки Тогда
Если Запуск1С.УстановитьБлокировкуНачалаСеансов() Тогда
СтрокаДействие = «Установить блокировку начала сеансов — УСПЕШНО»;
Иначе
СтрокаДействие = «Установить блокировку начала сеансов — ОШИБКА: » + Запуск1С.ТекстОшибки;
БылиОшибки = Истина;
КонецЕсли;
Логирование.ЗаписатьСтрокуЛога(СтрокаДействие);
ПолеЛог.Значение = ПолеЛог.Значение + Символы.ПС + СтрокаДействие;
КонецЕсли;
КонецЕсли;
ВыполнитьСборкуМусора();

…

// Восстановим базу
Если Не БылиОшибки Тогда
Если УправлениеMSSQL.ВосстановитьИзРезервнойКопииБД(МассивФайлов,ТаблицаФайловБДИсточника) Тогда
СтрокаДействие = «Восстановить из резервной копии БД — УСПЕШНО»;
БазаВосстановлена = Истина;
Иначе
СтрокаДействие = «Восстановить из резервной копии БД — ОШИБКА: » + УправлениеMSSQL.ТекстОшибки;
БылиОшибки = Истина;
КонецЕсли;
Логирование.ЗаписатьСтрокуЛога(СтрокаДействие);
ПолеЛог.Значение = ПолеЛог.Значение + Символы.ПС + СтрокаДействие;
КонецЕсли;

Показать

P.S. Под файлами резервных копий подразумеваются резервные копии, созданные в MSSQL

Да, поддерживаются только копии MS SQL Server.

Reply ↓

Evil Beaver 06.07.2018 at 16:58

(4) Это тот который делает дельты между конфигурацией поставщика, нашей версией и предыдущей поставщика и генерирует файл слияния?

Reply ↓
Tavalik 07.07.2018 at 06:25

(11)

Файл слияния не генерирует, но идея хорошая! Надо подумать над этим.

Скрипт просто формирует текстовый файл со списком «трижды измененных» объектов по этим трем конфигурациям.

Reply ↓
Vo-Va 08.07.2018 at 12:39

Еще бы добавить подключение копии базы к хранилищу.

Reply ↓
Tavalik 08.07.2018 at 19:53

(13)

Так есть же:

8. Подключение базы-приемника к хранилищу

Reply ↓
Vo-Va 09.07.2018 at 01:49

(14) Спасибо, был невнимателен

Reply ↓
xan333 11.07.2018 at 10:05

Объясните пожалуйста дремучему чем лучше данное приложение стандартного функционала Microsoft SQL Server Management Studio ?

Reply ↓
Tavalik 12.07.2018 at 06:38

(16)

Здравствуйте. Объясняю:

1. Автоматизирована работа с сансами (происходит «мягкое» отключение сеансов, а не «SET SINGLE_USER»).

2. Автоматизирована работа с хранилищем (отключение, подключение).

3. Добавлено обновление базы данных после подключения к хранилищу.

4. При необходимости, можно добавить еще какие-нибудь обработчики после восстановления данных (например, отключение от РИБ).

5. В отличии от SSMS в Перезаливаторе исключена возможность что-то «испортить», что позволяет пользоваться им консультантам и даже ключевым пользователям.

6. Простой GUI-интерфейс.

Конечно, можно заморочиться и все это реализовать в SSMS, но по мне, так на OneScript все это написать и затем поддерживать проще.

Но есть у меня решение и для сторонников Microsoft SQL Server Management Studio: https://infostart.ru/public/799857/

Reply ↓
tpkpsd 16.08.2018 at 17:03

Что-то не получается настроить. Обновлятор выходит с нулями вместо баз. Настройки корректные, запускаю на сервере. В чём может быть дело?

Reply ↓
tpkpsd 17.08.2018 at 10:14

(18) разобрался, мой косяк был

Reply ↓
user935352 04.02.2019 at 16:47

(19) а в чем косяк был? у меня такая же история, не понимаю, где ошибся.

Reply ↓
tpkpsd 05.02.2019 at 16:42

(20) вспомнить бы)) Вроде облажался на спецсимволах — где-то не поставил фигурную(квадратную) скобку или запятую

попробуйте этот шаблон со своими данными в Perezalivator_Params.json

{

«Источники»:

[

{

«Имя» : «ЗУП»,

«АдресСервераSQL» : «server2»,

«ИмяПользователяSQL» : «sa»,

«ПарольПользователяSQL» : «ПарольСкуля»,

«ИмяБазыДанныхSQL» : «ИмяОригиналаБазыВСкуле»

}

],

«Приемники»:

[

{

«Имя» : «ЗУП копия»,

«ПутьКПлатформе1С» : «c:\Program Files (x86)\common\1cestart.exe»,

«ТипБазы» : «S»,

«ВерсияCOMConnector» : «83»,

«ИмяБазы» : «ЗУП копия»,

«АдресКластера» : «server»,

«ПортКластера» : «1541»,

«ПортАгента» : «1540»,

«ИмяПользователя» : «ПользовательБазы»,

«ПарольПользователя» : «ПарольБазы»,

«АдресХранилища» : «»,

«ИмяПользователяХранилища» : «»,

«ПарольПользователяХранилища» : «»,

«АдресСервераSQL» : «server2»,

«ИмяПользователяSQL» : «sa»,

«ПарольПользователяSQL» : «ПарольСкуля»,

«ИмяБазыДанныхSQL» : «ИмяКопииБазыВСкуле»

}

]

}

Показать

Reply ↓
user935352 05.02.2019 at 17:17

(21)

{

«Источники»:

[

{

«Имя» : «ЗУП»,

«АдресСервераSQL» : «server2»,

«ИмяПользователяSQL» : «sa»,

«ПарольПользователяSQL» : «ПарольСкуля»,

«ИмяБазыДанныхSQL» : «ИмяОригиналаБазыВСкуле»

}

],

«Приемники»:

[

{

«Имя» : «ЗУП копия»,

«ПутьКПлатформе1С» : «c:\Program Files (x86)\common\1cestart.exe»,

«ТипБазы» : «S»,

«ВерсияCOMConnector» : «83»,

«ИмяБазы» : «ЗУП копия»,

«АдресКластера» : «server»,

«ПортКластера» : «1541»,

«ПортАгента» : «1540»,

«ИмяПользователя» : «ПользовательБазы»,

«ПарольПользователя» : «ПарольБазы»,

«АдресХранилища» : «»,

«ИмяПользователяХранилища» : «»,

«ПарольПользователяХранилища» : «»,

«АдресСервераSQL» : «server2»,

«ИмяПользователяSQL» : «sa»,

«ПарольПользователяSQL» : «ПарольСкуля»,

«ИмяБазыДанныхSQL» : «ИмяКопииБазыВСкуле»

}

]

}

Показать

нет, к сожалению, тоже самое.

Reply ↓
mirco 20.09.2019 at 15:40

(18)

Там местами перепутаны аргументы наверное

Например в процедуре «ПриОткрытииФормы()»:

Данные = Новый Соответствие; Сч = 0;

Для Каждого СтрокаТаблицы Из ТаблицаБазаИсточник Цикл

// стоит вот так

//Данные.Вставить(СтрокаТаблицы.Имя, Сч); Сч = Сч + 1;

// а надо вот так

Данные.Вставить( Сч,СтрокаТаблицы.Имя); Сч = Сч + 1;

КонецЦикла;

Ну и далее так же

Reply ↓
mirco 20.09.2019 at 15:53

(0)

Спасибо за перезаливатор.

У Вас на скриншотах версия 2.0…А на гитхабе первая. И пуллреквест висит.

А будет продолжение работы над проектом ?

Reply ↓

"Перезаливатор" — приложение для автоматизации "перезаливки" баз

Видеоинструкция

Описание

Установка

Работа с приложением

Заключение

24 Comments

Leave a Comment Отменить ответ

"Перезаливатор" — приложение для автоматизации "перезаливки" баз

Видеоинструкция

Описание

Установка

Работа с приложением

Заключение

Related Posts

24 Comments

Leave a Comment Отменить ответ