Серверная часть тиражного мобильного приложения (бекапы, обмены, обновления)

БЭКАПЫ

 Зачем нужны бэкапы на мобильной платформе

Специалисты знают, насколько порой ненадежны мобильные приложения на 1С: в любой момент могут возникнуть ошибки, из-за которых базы пользователей просто разрушатся. Одновременно мы сталкиваемся с ненадежностью самих устройств: их можно разбить, потерять, их могут украсть, а пользователи хотят сохранить свои данные. И вплоть до версии 8.3.9 мы не имели платформенного механизма сохранения бэкапа.

Поскольку раньше у пользователей не было кнопки «сохранить копию», разработчикам приложения Boss пришлось самим делать бэкапы. Как мы это сделали?

Сами данные базы мы сохраняем в виде ХML. 

Желательно предложить пользователю несколько вариантов хранения копий — прежде всего, это удобно клиентам, они могут выбрать наилучший для себя вариант: выгрузить в облако, отправить себе на почту, сохранить на устройстве.

Таким образом, разработчики дополнительно себя страхуют. Если что-то пошло не так, и вдруг сломался механизм создания копий на Гугл-Диске или Яндекс-Диске, всегда можно сказать пользователю, что в данный момент разработчик разбирается с ошибкой, а пока он может сохранить данные альтернативным способом. И пользователи остаются довольны, потому что они могут быть спокойны за свои данные.

Обязательно нужно сделать акцент на облачные сервисы, потому что если устройство потеряется или разобьется, а пользователь сохранял копию на этом же устройстве, то данные будут утеряны.

Также мы обязательно напоминаем пользователю о необходимости создания бэкапов.

Как сохранять копии, если меняется конфигурация?

Когда мы говорим о массовом решении, о приложении, которое постоянно меняется, развивается и дорабатывается, надо учитывать поведение клиентов. Пользователь может захотеть восстановить бэкап, сохраненный в старой версии приложении, где не было каких-то реквизитов. И тогда возникает задача: прочитать данные, затем дозаполнить данные по логике обновления со старой версии приложения. Как это сделать? Помимо данных, сохранить еще и саму структуру данных, чтобы потом знать, как их читать.

Есть несколько вариантов хранения этой структуры данных, в том числе ее можно хранить в самой конфигурации. То есть при выпуске каждой новой версии, сохранять структуру метаданных предыдущей версии в макет в конфигурации. 

Не стоит забывать, что в мобильном приложении конфигурация не должна разрастаться просто так, мы должны дорожить местом в ней, должны делать ее наиболее компактной. Но приложение ведь развивается, и таких макетов будет много и со временем их будет становиться всё больше.

Поэтому в случае с мобильным приложением предпочтителен другой путь — сохранять структуру метаданных непосредственно в файле с данными. На выходе у нас получается вот такой файлик, где вначале мы храним какие-то вспомогательные данные – версию конфигурации, схему конфигурации, границы последовательностей, в уже после записываем сами данные пользователей в формате XML. Причем, в разделе файла "Вспомогательные данные" можно также хранить и другие важные данные, которые по каким-то причинам не получилось записать в XML.

Как читать бэкапы?

Берем ту схему данных, которую сохранили в файл, и на ее основании строим пакет XDTO для чтения файла. Создаем аналогичный объект в базе данных, заполняем его, выполняем обработки по дозаполнению при обновлении, и сохраняем уже готовый объект в базу данных.

Ниже на картинке можно посмотреть подсказку, как красиво записать модель XDTO данных конфигураций. В компании, выпустившей приложение Boss, экспериментировали с этим, находили несколько способов, но остановились именно на таком варианте записывания схемы метаданных. Когда открывается сам файл с данными, там виден обычный  структурированный XML, читабельный, в котором перечислены все метаданные приложения.

// Запись схемы конфигурации

МодельXDTO =  ФабрикаXDTO.ЭкспортМоделиXDTO("http://v8.1c.ru/8.1/data/enterprise/current-config");

ФабрикаXDTO.ЗаписатьXML(ФайлВыгрузки, МодельXDTO);

// Чтение схемы конфигурации

МодельXDTO =  ФабрикаXDTO.ПрочитатьXML(ЧтениеXML, ФабрикаXDTO.Тип("http://v8.1c.ru/8.1/xdto","Model"));

ФабрикаВыгрузки = Новый ФабрикаXDTO(МодельXDTO);

Чтобы обезопасить пользователя, нужно обязательно переспрашивать его, а нужно ли ему восстановление бэкапа. Может, он просто экспериментировал и нажимал на все подряд кнопочки в приложении:) И сейчас текущие данные у него могут потеряться. Поэтому мы всегда при выполнении потенциально "опасных" действий уточняем, а действительно ли он этого хочет, и как это должно происходить. Пользователь должен отдавать себе отчет в своих действиях.

Механизм создания бэкапов обязательно должен быть, когда мы говорим об автономном решении, когда у пользователя все данные хранятся исключительно на мобильном устройстве: пользователь может свое устройство потерять, и тогда данные потеряются. И, казалось бы, если приложение работает не автономно, а связано с центральным сервером, то у пользователя не должно быть такой проблемы, ведь в случае утери устройства он подключится к серверу, получит все свои данные с сервера заново, и все будет ок.

Однако пользователи используют бэкапы не всегда так, как мы от них ожидаем:) Они очень часто используют их для того, чтобы просто «откатить» данные назад. Это правда очень странное поведение, но пользователям мобильных приложений лень разбираться, где они могли допустить ошибку при вводе данных, и они просто откатывают данные назад и заново заводят данные за текущий день. Проанализировав статистику работы с приложением Boss, мы осознали, что это нормальная практика и такое поведение пользователей встречается чаще, чем мы могли предположить.

И если у вас используется синхронизация с другими устройствами, то вы должны  это обработать. Здесь есть несколько путей решения:

• разорвать связь с сервером, уточняя, что данные на нем останутся такими, как были, а копия восстановится только на устройстве пользователя;
• лучше для пользователя — дать ему восстановить копию сразу на всех устройствах, предварительно прописав такие механизмы.

Тут есть еще один момент.  До сих пор мы бэкапы сохраняли сами, контролировали весь процесс, прямо в коде отлавливали действия пользователя, когда он нажимал кнопку «сохранить копию». Все это можно потом обработать. В платформе 8.3.9 появилась возможность сохранять бэкапы именно средствами платформы. И пользователь делает это без нашего ведома. Если используется синхронизация с центральной базой, то нужно обязательно обработать такой сценарий. Мы должны как-то на своем сервере узнать, что пользователь восстановил ранее сохраненную копию и должны выдать ему какое-то решение. Мы не можем себе позволить, чтобы данные рассинхронизировались.

ОБМЕНЫ

 Когда мы говорим про частное решение на мобильной платформе, то у нас, как правило, есть заказчик, который, например, хочет использовать мобильную платформу для своих торговых агентов, и чтобы они обменивались данными с центральной базой. Здесь все просто: одна база данных, несколько устройств, вы поднимаете сервер, настраиваете связь с ним. Так что проблема обмена между устройствами решается легко.

Но если мы говорим о массовом приложении, где много баз данных, у каждой из которых очень много пользователей, ситуация усложняется. Пользователи скачали приложение с маркета, и они хотят синхронизироваться друг с другом. Например, муж скачал приложение для учета личных финансов, и теперь хочет, чтобы жена тоже подключилась, и они вместе работали в одном приложении. Пользователей много, приложение развивается, растет, и появляется необходимость в большом-пребольшом количестве баз данных. Как это все организовать? Пользователи же не будут персонально обращаться к разработчикам, чтобы те создали для них отдельную базу и включили возможность синхронизации. Они хотят нажать на кнопочку, и чтобы все сразу же заработало. В тот же момент.

Как поступить? Тут на помощь приходит механизм разделения данных. Он позволяет организовать единую базу данных, где есть одна общая конфигурация, но при этом в рамках одной общей базы хранится неограниченно много баз пользователей.

Самое приятное, что можно динамически, программно, без нашего участия добавлять пользователей. Реально пользователи просто нажимают на кнопочку «зарегистрироваться на сервере», и все само происходит: ему создается персональная база на сервере, и он может тут же начинать работать в ней.

Как это сделать? Первое и самое просто решение – написать свою серверную базу с этим механизмом. Когда наша компания начинала делать приложение Boss и обмены в нем, в первой версии мы так и сделали: написали серверную базу с механизмом разделения данных. Все работало, тем более что ничего сложного не было – разделителем баз является общий реквизит.

Но потом мы поняли, что изобретаем велосипед:) На самом деле есть уже готовое решение, причем в нем уже учтены моменты, о которых мы еще даже не думали. Это 1С:Фреш.

Здесь продуманна масштабируемость сервиса: что делать, когда будет очень много данных и баз, как расти с этим всем. Здесь есть момент о создании резервных копий областей данных: то есть мы не просто делаем бэкап одной общей базы данных, мы делаем копии конкретного пользователя. Причем, механизм там такой, что копии делаются только тогда, когда они реально нужны. Если пользователь не заходил неделю в базу, то мы не делаем ему копии, потому что там ничего не изменилось. Еще одна фишка Фреш – в сервисе реализован механизм для снижения нагрузки на сервер, а это очень важно, когда у вас много баз.

В целом Фреш для нас – что-то новое и интересное. Потихоньку мы пытаемся разобраться в нем, но в большинстве своем мы просто довольны его работой.

Передача данных. Как реализовать ее для обмена между устройствами

Платформа предоставляет два механизма – это SOAP и http сервисы. Тут есть нюансы, как обращаться к этим сервисам, когда задействован механизм  разделения данных. В частности, нужно добавить параметры, которые указывают конкретный номер области, к которой вы обращаетесь, потому что по имени пользователя платформа не может определить, к какой базе обращаться.  Кроме того, один и тот же пользователь может работать с несколькими базами в рамках единой базы (см. картинку).

Что касается сервисов, в приложении Boss реализован мгновенный обмен: один пользователь вводит данные, а другой их получает. Пользователи мобильных приложений привыкли ведь, что все происходит моментально, поэтому мы задумались, каким лучше сервисом пользоваться – SOAP или http. Ключевую роль сыграла скорость соединения. В http скорость соединения гораздо выше, а подключаясь по SOAP, мы получаем описание сервиса, которое тяжелое и долго грузится. У платформы есть способ хранить описание сервиса, но из-за параметров, которые мы добавляем динамически, мы не можем использовать WS-ссылки. Кроме того, обращение к http-сервисам удобнее и гибче, по нашему опыту.

Итак, наша цель – реализовать обмен в режиме реального времени. То есть мы стараемся не делать так, чтобы пользователю пришлось зайти куда-то, нажать на какую-то кнопку, думать о том, насколько актуальные у него данные, должен ли он проводить актуализацию…У пользователей  данные всегда должны быть актуальны. Они так привыкли, работая в мессенджерах – один данные отправил, другой их тут же получил. Все происходит моментально. То же самое касается приложений, касающихся бизнеса: один продавец оформил продажу, другой должен тут же увидеть актуальную ситуацию, никаких действий при этом не совершая.

Поэтому в приложении Boss используются для обменов фоновые задания. После каждой записи данных в базу, запускается фоновое задание, которое инициирует обмен. Первая часть – отправить данные на сервер. Затем другие устройства должны узнать, что есть новые данные. Для этого мы используем PUSH-уведомления. Эта схема уже работающая и она работает достаточно быстро.

Но мы захотели еще быстрее, поскольку работаем в режиме реального времени и данных у нас, как правило, немного. У нас маленькие XML, но при этом мы отправляем с первого устройства на сервер сообщение с этими данными, сервер отправляет PUSH на другое устройство, а то второе устройство после получения PUSH-а инициирует обмен со своей стороны, обращается к серверу и запрашивает данные, получает эти данные и затем отправляет ответ, что данные получены. Это долго, а ведь самих данных было совсем немного.

Мы задумались, как этот процесс можно ускорить.

Для этого мы разобрались, что содержит в себе PUSH, как его можно еще использовать. Оказалось, что PUSH содержит такие поля, как данные и текст. В документации iOS и Android указаны ограничения по размеру PUSH-сообщений, но нам этого показалось мало и мы захотели сами опытным путем во всем разобраться. И мы проверили, что для iOS сумма допустимых символов составляет 981 знак, а для Android – 3832 символа. В последнем случае ограничением вполне можно пользоваться, в такой объем можно впихнуть один или несколько объектов базы. И тогда разработчики компании изменили немного схему. Когда данных немного, мы отправляем их с одного устройства, получаем их на сервере, там упаковываем их в PUSH и прямо в нем же отправляем на другое устройство. Схема стала короче, а обмен стал происходить еще быстрее:)

Важный момент использования PUSH – не раздражаем пользователей. 

Очень легко избавиться от такой ситуации: просто не отправлять пользователю много PUSH-сообщений:) Если он работает сейчас в приложении, отправлять много сообщений можно. Когда платформа работает, пользователь не видит PUSH, у него все происходит автоматически. А вот когда приложение закрыто, у клиента появляется много непрочитанных сообщений. Поэтому ни в коем случае нельзя  отправлять следующие PUSH, пока не получен ответ от устройства, что приложение работает, активно и предыдущий PUSH уже обработан.

Еще один нюанс обмена – это работа через веб. Нам нужно использовать асинхронность максимально. Вы не можете работать как обычно – написали код – вызвали функцию – подождали, пока она выполнится – получили ответ – и все ок. Если вы работаете через веб, вы все равно столкнетесь с определенными ограничениями, например, с нестабильным интернетом, срабатываением таймаутов при выполнении длительных операций. Поэтому надо заранее продумывать архитектуру.

Посмотрим на примере регистрации устройства, что происходит в приложении, когда пользователь хочет зарегистрироваться. Он ведет учет какое-то время, он ввел достаточно много данных, но потом он хочет, чтобы продавец тоже работал с этой базой. Пользователь нажимает на кнопку «зарегистрироваться». Вначале все было очень просто: взяли его данные, записали на сервере, и, пожалуйста, можно работать и подключать пользователей. Но потом мы столкнулись с ситуацией, когда у некоторых пользователей базы данных на устройстве к моменту регистрации уже сильно разростались. И эта схема уже не работала, т.к. пока шла запись всей базы на сервере, срабатывал таймаут соединения или просто обрывался интернет. Поэтому мы заменили один синхронный вызов на множество коротких. Сейчас данные делятся, а не передаются все за один раз. Мы не ждем ни в коем случае, пока сервер будет обрабатывать и записывать данные. Отправили данные, получили ответ, что данные получены, закрыли соединение. Периодически надо опрашивать сервер, что там и как происходит, а тем временем на сервере работает фоновое задание, которое записывает полученные данные. Таким образом, получается много вызовов сервера, но у нас есть гарантия того, что все пройдет хорошо. И ни таймауты, ни нестабильность интернета не помешают произвести выгрузку всех данных на сервер.

ОБНОВЛЕНИЯ

Обмен между устройствами с разными версиями приложения

Поскольку мы говорим о массовом приложении, которое выпускается в маркеты, надо учитывать некоторые особенности процесса обновлений и обмена данными.

Если вы выпустили приложение для одного предприятия и решили его обновить, то обычно вы просто даете команду, чтобы все сотрудники дружно установили новое приложение. С пользователями, которые скачали приложение из маркета, так сделать нельзя. Вы вообще не можете им указывать, что им делать. К примеру, они работают в приложении и не хотят обновлять его ни сейчас, ни вообще никогда. У них не стоит автообновление, поэтому совершенно обычная ситуация, когда к центральной базе подключено несколько устройств, и все они с разными версиями. Еще одна причина такого явления – время публикации в маркетах: оно разное для iOS и Android. Мы часто внедряем ключевые штуки, например, исправляем критические ошибки, и не хотим ждать, пока iOS проверяет две недели новую версию, мы хотим хотя бы только для Android, но выпустить обновление прямо сейчас.

Мы не имеем права командовать пользователями. Если они хотят, то обновляются, а если нет – то ничего не делают. На картинке видно соотношение установок приложения Boss по версиям в GooglePlay, а также статистика с нашего сервера — реальное соотношение версий приложения, которые установлены на устройствах, обменивавшихся с сервером данными в течение последней недели. Вот такой набор, с которым надо работать. Это разные версии и разные метаданные. И нам надо организовать нормальный обмен при этом:)

Перед разработчиками стоят следующие задачи:

• Надо, чтобы все это работало. Пользователи не должны чувствовать дискомфорта от того, что они забыли обновиться. Они вообще не должны этого замечать. Обновились – стало лучше, ну и хорошо.
• Мы должны обеспечить сохранность данных. Например, у одного пользователя появился справочник и новый реквизит, а у другого еще нет.  При этом если пользователь, у которого новых реквизитов нет, изменит у себя на устройстве что-то, то на других устройствах данные не должны пропасть. 
• Надо обеспечить актуализацию данных, когда мы переходим на новую версию. Когда пользователь решит, что он готов обновиться, у него автоматически должны появиться все новые сведения, которых у него не было только потому, что у него была старая версия.

Как мы это сделали?

1.      Мы используем на сервере 2 плана обмена. Первый – для обмена между устройствами, а второй – для обновлений. Например, мы отправили справочник пользователю, но у него нет единиц измерения, то есть неполные данные. Мы должны запомнить это. А когда он обновится, мы должны отправить ему все те сведения, которых у него не было. Для этого и нужен второй план обмена.

2.      Для записи и чтения объектов мы используем тот же механизм, который используется для бэкапов, то есть сохраняем версию метаданных. В данном случае мы работаем с сервером, и мы можем позволить себе прямо в конфигурацию добавлять все, что угодно, поэтому просто в виде макетов добавляем в конфигурацию схемы метаданных по мере развития приложения.

Как мониторить массовые ошибки при обмене и на сервере

Во-первых, надо контролировать доступность самого сервера. С серверами такое бывает – они падают. Мы не выдумывали ничего особенного для мониторинга, а просто нашли бота в телеграмме, который кричит, если что-то не так. Он каждую минуту проверяет работоспособность сервера, и если вдруг сервер недоступен, начинает кричать, админы это видят и поднимают сервер.

Также мы собираем лог ошибок из журнала регистрации. Тоже ничего сверхъестественного – просто каждые три часа собираем лог ошибок, отправляем их на почту, периодически их просматриваем. Это помогает видеть частые проблемы и какие-то исключительные ситуации. Не сложно просматривать почту, отслеживать и быстро исправлять ошибки. Но это позволяет оперативно выявлять и решать проблемы, которые могут разрастаться с ростом баз данных.

Еще важный момент – обязательно давать пользователю возможность "пожаловаться". Это улучшает наш статус в их глазах и спасает нас. Есть пользователи, как мы их называем, "истерички", которые при малейшей ошибке начинают отправлять нам на почту кучу сообщений, что ничего не работает, база не загружается, все страшно плохо. Но иногда они реально нас спасают, потому что находят порой такие баги, которые остальные еще чудом не обнаружили, серьезные баги.

Пользователя нельзя пугать. Ни страшными сообщениями, ничем другим. Им надо красиво все объяснять и предлагать пожаловаться. А мы обещаем все решить. Тогда и пользователи довольные, ведь они видят, что о них заботятся, и сразу верят, что им помогут:)

***************

Данная статья написана по итогам доклада, прочитанного на конференции INFOSTART EVENT 2024 DEVELOPER. Больше статей можно прочитать здесь.

В 2024 году приглашаем всех принять участие в 7 региональных митапах, а также юбилейной INFOSTART EVENT 2024 в Москве.

Выбрать мероприятие.