1С:JSON

07.10.2019 48 Comments

Практика программирования, Разработка

    JSON
JSON парсер и сериализатор c полной поддержкой стандарта, широким набором сериализуемых типов и продвинутым синтаксический анализатором.

Особенности

Парсер и сериализатор поддерживают два режима (формата) работы:

  • Стандартный – полная поддержка стандарта JSON;
  • Альтернативный – направлен на применение в проектах подразумевающих постоянный двусторонний обмен данными и требующих повышенную скорость парсинга, минимизацию пересылаемых пакетов и однозначную идентификацию ссылочных типов во входящих данных.

Независимо от режима работы сериализатор, по требованию, позволяет автоматически передавать не только уникальный идентификатор ссылки, но и ее представление, а парсер в свою очередь, анализируя входные данные, опускает представления ссылок, не включая их в результирующий набор данных.

 
При необходимости, сериализатор может маскировать кириллические символы современных алфавитов славянских языков “АБВГҐДЂЃЕf4;ЁЄЖЗЅИg7;ІЇЙЈКЛЉМНЊОПРСТЋЌУЎФХЦЧЏШЩЪЫЬЭЮЯ”.

Поддерживаются все среды исполнения с ограничением сериализуемых типов. Используется кроссплатформенный код.
 

Альтернативный режим

  • Не поддерживается форматирование, как во входящих, так и в исходящих данных;
  • Сериализация ссылочных типов в строковое служебное представление.

Приятности

Парсер

  • Устойчивость к некорректным данным и не подверженность injection атакам;
  • Продвинутый синтаксический анализатор (указывает место и тип ошибки в данных);
  • Поддержка форматирования во входящих данных (только стандартный режим);
  • Безопасный разбор форматирования — незамаскированные символы форматирования в строковых значениях не будут утеряны;
  • Поддержка строк в одинарных и в двойных кавычках;
  • Автоматическое приведение объекта к структуре или соответствию в зависимости от имен свойств;
  • Автоматическое преобразование к типу Дата строки вида “9999-99-99T99:99:99Z”;
  • Автоматическое преобразование к типу УникальныйИдентификатор строки вида “xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx”;
  • Автоматического определение режима (стандартного или альтернативного) входящих данных;
  • Автоматического определение необходимости отсечения представления ссылок;
  • Однозначная идентификация ссылок (только альтернативный режим).

Сериализатор

  • Поддержка форматирования исходящих данных (только стандартный режим);
  • Широкий состав сериализуемых типов данных, в том числе ссылок;
  • Автоматическое приведение значений ключей соответствий к строковому представлению 1C;
  • Автоматическое преобразование неподдерживаемых типов к строке;
  • Нечувствительность к локализации.

Неприятности

  • Нестандартно форматированный код (Alt+Shift+F в помощь) на грани читаемости;
  • Сериализатор ориентирован на средние-крупные пакеты данных.

Сериализуемые типы

  • Неопределено;
  • Null;
  • Примитивные типы (все);
  • Универсальные коллекции значений (все);
  • УникальныйИдентификатор;
  • ЛюбаяСсылка;
  • Запрос;
  • РезультатЗапроса;
  • ВыборкаИзРезультатаЗапроса;
  • ПостроительЗапроса;
  • ПостроительОтчета;
  • ДанныеФормыКоллекция (только 8.2);
  • ДанныеФормыСтруктураСКоллекцией (только 8.2);
  • ДанныеФормыДерево (только 8.2)
  • ДвоичныеДанные;
  • Картинка;
  • ХранилищеЗначения.

Порядок сериализации типов 

  • Неопределено – сериализуется как Null;
  • Null – согласно стандарту;
  • Примитивные типы – согласно стандарту;
  • Массивы и COMSafeArray – массив, согласно стандарту:

[ Значение, … ]

  • Структуры и соответствия – объект, согласно стандарту;

{ Ключ:Значение, … }

  • СписокЗначений – массив объектов с тремя свойствами “Значение”, “Представление” и “Пометка”; 

[ { "Значение":Значение, "Представление":Представление, "Пометка":Пометка }, … ]

  • КлючИЗначение – объект с двумя свойствами “Ключ” и “Значение”;

{ "Ключ":Ключ, "Значение":Значение } 

  • ТаблицаЗначений – массив объектов:

[ { Колонка:Значение, … }, … ]

  • ДеревоЗначений – массив объектов с обязательным свойством “Строки”: 

[ { Колонка:Значение, … , "Строки":[ { Колонка:Значение, … , "Строки":[ … ] } , … ] }, … ]

  • УникальныйИдентификатор – приведение к строке вида “xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx”;
  • ЛюбаяСсылка:
    • – Стандартный режим – получение уникального идентификатора ссылки и его сериализация;
    • – Альтернативный режим – приведение к строке служебного вида “¦ref¦ … ¦”.

При сериализации ссылок в режиме автоматически передачи не только сериализованного значения ссылки, но и ее представления. Каждая ссылка передается как объект с двумя свойствами “Ссылка” и “Представление”.

{ "Ссылка":Ссылка, "Представление":Представление } 

  • Запрос – автоматически выполняется и сериализуется как таблица значений;
  • РезультатЗапроса – сериализуется как таблица значений;
  • ВыборкаИзРезультатаЗапроса – сериализуется как структура значений текущей запись результата запроса;
  • ПостроительЗапроса – автоматически выполняется и сериализуется как таблица значений;
  • ПостроительОтчета – автоматически выполняется и сериализуется как таблица значений;
  • ДанныеФормыКоллекция – сериализуется как таблица значений;
  • ДанныеФормыСтруктураСКоллекцией – сериализуется как таблица значений;
  • ДанныеФормыДерево – сериализуется как дерево значений;
  • ДвоичныеДанные – кодируется по алгоритму base64 и сериализуется как строка;
  • Картинка – автоматически преобразуется и сериализуется как двоичные данные;
  • ХранилищеЗначения – автоматически извлекается сохраненное значение и сериализуется в зависимости от типа извлеченного значения.

Рекомендация

При работе с проектами, в исходящих строковых данных которых не гарантируется отсутствие символов из диапазонов: 

  • [0x007f, 0x009f], 0x00ad, [0x0600, 0x0604], 0x070f, [0x17b4, 0x17b5],
  • [0x200c, 0x200f], [0x2028, 0x202f] [0x2060, 0x206f], 0xfeff, [0xfff0, 0xffff]

рекомендуется не отключать настройку полного маскирования символов.
 

Производительность

Производительность парсера исключительно зависит от набора входящих данных, а также от наличия форматирования. Наихудшим вариантом является форматированный массив чисел, наилучшим – неформатированный массив строк.

Intel Core 2 Duo T5870 @ 2GHz – форматированный массив со всеми приблизительно равномерно встречающимися типами данных:

Парсер: 35 Кбайт/с.

Сериализатор: 165 Кбайт/с.

История изменений

  • Версия 2.0.0.18:
    • – (Изменение) При сериализации строк специальный символ бекслеш (  ) более не маскируется;
    • – (Оптимизация) Устранена существенная деградация производительности при парсинге JSON большого размера;
    • – (Исправление) Исправлены опечатки.
  • Версия 2.0.0.17:
    • – (Новое) Маскирование кириллических символов современных алфавитов славянских языков (по требованию);
    • – (Новое) Поддержка сериализатором типов: ДвоичныеДанные, Картинка, ХранилищеЗначения;
    • – (Изменение) Рефакторинг переменных и процедур;
    • – (Исправление) Сериализация типа COMSafeArray;
    • – (Исправление) Удалены лишние ключевые слова "Экспорт".
    • – (Оптимизация) Уменьшение проверок связанных с режимом и параметрами парсинга и сериализцаии;
    • – (Оптимизация) Проверка необходимости анализа форматирования вынесена из процедуры анализа форматирования;
    • – (Оптимизация) Изменен алгоритм автоматического приведение объекта к структуре или соответствию в зависимости от имен свойств;
    • – (Оптимизация) Отказ от явного приведения типов в пользу неявного в операторах условий;
    • – (Оптимизация) Отказ от оператора "Попытка Исключение" при преобразовании строки к уникальному идентификатору;
    • – (Оптимизация) Изменен порядок проверки типов при парсинге.
  • Версия 2.0.0.15:
    • – Релиз.
Ресурс проекта, всем удачного программирования 🙂

Related Posts

48 Comments

  1. stal76

    Очень хорошо оформлена публикация!

    Reply ↓
  2. pumbaE

    Лицензия я так понимаю BSD?

    Reply ↓
  3. legionWFZ

    (1) stal76, Спасибо, первая публикация — старался 🙂

    Reply ↓
  4. legionWFZ

    (2) pumbaE, Лицензия — MIT

    Reply ↓
  5. pumbaE

    Хм, а почему не Regexp -ами? Думаю быстрее было бы…

    Reply ↓
  6. legionWFZ

    (5) pumbaE, Regexp -ами на больших пакетах однозначно быстрее бы было; выбор был сделан осознано в пользу использования только нативных средств, со всеми вытекающими от сюда достоинствами и недостатками. Из моей практики — перекос по объему идет в сторону исходящих данных, что хорошо гармонирует с данной реализацией.

    Reply ↓
  7. Новиков

    Прикрути опрос сверху: кто знает что такое JSON, где он используется и зачем он нужен 1Снику.

    Reply ↓
  8. fishca

    (7) JSON (англ. JavaScript Object Notation) — текстовый формат обмена данными, основанный на JavaScript и обычно используемый именно с этим языком. Как и многие другие текстовые форматы, JSON легко читается людьми.

    Несмотря на происхождение от JavaScript (точнее, от подмножества языка стандарта ECMA-262 1999 года), формат считается языконезависимым и может использоваться практически с любым языком программирования. Для многих языков существует готовый код для создания и обработки данных в формате JSON.

    За счёт своей лаконичности по сравнению с XML, формат JSON может быть более подходящим для сериализации сложных структур. Если говорить о веб-приложениях, в таком ключе он уместен в задачах обмена данными как между браузером и сервером (AJAX), так и между самими серверами (программные HTTP-интерфейсы). Формат JSON также хорошо подходит для хранения сложных динамических структур в реляционных базах данных или файловом кэше.

    Reply ↓
  9. tormozit

    Подписался.

    Reply ↓
  10. zavedeev

    Автор спасибо!

    Reply ↓
  11. ZLENKO

    Реально это кто то использует для обмена данными между базами 1С ?

    А то я 2 года назад месяц промучился (пока нашел как «обмануть» 1С чтобы для баз с разной конфигурацией использовать) над созданием обмена между похожими базами 1С через XDTO — работает ужасно быстро, но внутри реализация очень «некрасивая» получилась: сериализация XDTO полностью средствами платформы (практически мгновенно), а вот с десериализацией пришлось поморочиться.

    Reply ↓
  12. fixin

    (7) я столкнулся с JSON в трекере REDMINE. Посмотрел, подумал что это что-то вроде XML и забил на это дело.

    Reply ↓
  13. Yashazz

    Вот когда сериализация и десериализация будет по скорости сравнима с xml, будет и предмет для разговора.

    Reply ↓
  14. Поручик

    Что такое JSON, знаю, но вот куда его в 1С пристроить, ума не приложу. Всё как-то XML.

    Кстати, автор забыл упомянуть аналогичичные работы, выложенные на сайте.

    JSON и UnJSON в 1С http://infostart.ru/public/61194/

    Развитие темы JSON в 1С http://infostart.ru/public/60611/

    JSON в 1С http://infostart.ru/public/59535/

    Reply ↓
  15. BigB

    (0) слишком много конструкций Попытка — Исключение. Тормозить будет страшно. Посмотри вот тут http://infostart.ru/public/61194/ (без единой конструкции Попытка — Исключение).

    Reply ↓
  16. legionWFZ

    (11) розница.net, (14) Поручик, использование JSON при обмене данными непосредственно между базами 1С вряд ли имеет практический смысл.

    Но когда возникает необходимость интеграции с Интернет-ресурсом, может оказаться, что передача данных в формате JSON наиболее удачное (компромисное) решение для обеих сторон (особенно если речь идет о клиентской части Интернет-ресурса).

    Наиболее простой пример применения JSON — использование Google API.

    P.S. Про аналогичные работы — учту на будущее. Спасибо.

    Reply ↓
  17. legionWFZ

    (15) BigB, использование в коде конструкций Попытка — Исключение всегда обусловлено теми или иными причинами (в данном случае положением — валидность входящих данных не гарантирована).

    При этом важно понимать, что выполнение проверок на встроенном языке может оказаться более затратной операцией, нежели использование конструкции Попытка — Исключение.

    Кстати, выполнение простого кода в данной конструкции замедляется всего на ~7%.

    Спасибо, за наблюдение — я уже почти уверен, что могу избавиться как минимум от одной конструкции 🙂

    Reply ↓
  18. klel

    Спасибо автору за что он получает + =)

    Reply ↓
  19. Jonny_wk

    Автору респект, а json много где использовать нынче можно… хотя бы для смс шлюзов, ответы то в json получаешь…

    Reply ↓
  20. pencroff

    (15) BigB, Доброго вечера. Специально проверил быстродействие (строю обмен с сайтом и для меня это важно). Оценивал кодом:

    count = 1000;
timeStart = ТекущаяДата();
Для к = 1 по count Цикл
ХХ=ПрочитатьJSON(in_JSON_Text, ВходящийРежим);
YY=ЗаписатьJSON(ХХ, ИсходящийРежим);
КонецЦикла;
timeEnd = ТекущаяДата();
out_JSON_Text = YY;
ЭлементыФормы.НадписьВремени.Значение = Число(timeEnd — timeStart) / count;

    Показать

    В результате вышло что JSON из примера обработки указанной в Вашей ссылке на 1000 итераций:

    • эта обработка: 0,022с 1 итерация цикла
    • обработка по ссылке: 0,048с 1 итерация цикла

    А автору большое спасибо и +!

    Reply ↓
  21. kostas

    Плюсанул. Спасибо. Есть одно пожелание это преобразование кириллицы к виду u0430 и т.д. при записи.

    Reply ↓
  22. lamelioss

    автор молодец, держи плюс )

    Reply ↓
  23. NDM

    Александр, спасибо за Ваш труд.

    Однозначно +

    Reply ↓
  24. theagile

    Парсер и сериализатор в 7.7 будет работать? Спасибо.

    Reply ↓
  25. legionWFZ

    (24) theagile, нет, в 7.7 работать не будет. Попробуйте эту реализацию http://infostart.ru/public/198619/ .

    Reply ↓
  26. AlexO

    Обработка зашифрована?

    Reply ↓
  27. legionWFZ

    (26) Нет.

    Reply ↓
  28. Sirruf

    Сериализую ТаблицуЗначений, а обратно получается массив соответствий почему-то…

    Reply ↓
  29. legionWFZ

    (28) Sirruf, всё верно, JSON оперирует только двумя не примитивными типами: объектом и массивом. Поэтому после сериализации невозможно определить исходный тип многих объектов 1С, без модификаций формата или дополнительных соглашений.

    Reply ↓
  30. ManyakRus

    всё заработало на ура 🙂 спасибо

    Reply ↓
  31. TitanLuchs

    Спасибо автору, как раз то что искал!

    Reply ↓
  32. Al-X

    Автору ОГРОМНОЕ Спасибо !!! Тут спрашивали зачем JSON нужен в 1С ? Так вот мне было необходимо наладить взаимодействие УПП с неким WEB-сервисом, авторы которого категорически работают только с данным форматом. Изначально делал по http://blog.1cbook.ru/index.php/razdely/integratsiya-1s-s-drugimi-sistemami-i-obmen-dannymi/8-rabota-s-formatom-json-a-1s , но, наткнувшись на данный пост, все быстро переделал и прямо доволен вместе с руководством 😉 !!!

    Reply ↓
  33. Elisy

    По скорости, если кому-то интересно. Сериализация Json работает очень медленно по сравнению с XML-сериализацией.

    Оптимизация делалась для веб-сайта http://www.oboi.kg

    На данных из примерно 5 тысяч записей таблицы значений перевод в XML уменьшил время обработки со 120 секунд (2 минуты) до 4 секунд.

    Reply ↓
  34. lustin

    (0) портировали проект на 1Script https://github.com/allustin/json-onescript-lib — работает в первом приближении

    все «копирайты» постарались максимально сохранить

    P.S. Заодно отладили соответствие языка 1С и OneScript 😉

    Reply ↓
  35. gavlexx

    Пытаюсь разобрать 15-тимегабайтный файл JSON. Все 15МБ — одна длинная строка. Парсер работает 4-5 часов.

    Запустил замер производительности. более 80% времени выполняется 1(!) строчка кода:

    Функция jsonПрочитать(Значение, Стандарт, Альтернативный, ПредставленияСсылок, Индекс, Длина, ВспомогательныеДанные, СимволыФорматирования, ПервыйУровень)
…
Подстрока = Сред(Значение, Индекс + 1);
…
КонецФункции

    Понятно, что многократно происходит перелив этой огромной строки между ячейками памяти.

    Кто подскажет, как можно ускорить работу алгоритма?

    Reply ↓
  36. legionWFZ

    (35) gavlexx, попробуйте эту реализацию http://infostart.ru/public/61194/ , в вашем случае она скорее всего отработает быстрее, единственно последняя версия которую я пробовал на невалидных данных вела себя непредсказуемо вплоть до зацикливания. Если хочется использовать именно мою реализацию, то самым простым способом будет переписать поиск кавычки (лексемы окончания данных типа Строка) на алгоритм с посимвольным проходом по строке.

    Reply ↓
  37. capitan

    Спасибо. Просто супер.

    Reply ↓
  38. AlexO

    (35) gavlexx,

    Парсер работает 4-5 часов.

    А с чего вы взяли, что 1С поддерживает JSON? Потому что кто-то из студентов об этом написал (я не про автора)?

    Реализована обыкновенная тормозная работа с текстом.

    Reply ↓
  39. gavlexx

    (38) AlexO, Ни с чего не взял. Не жалуюсь, а прошу совета.

    Я говорю о конкретном куске кода, где происходит создание новой большой строки путем обрезки нескольких символов из исходной. И спрашиваю — а можно переписать строку кода на другую, которая будет выполняться быстрее?

    P.S. Разделил 15МБ файл JSON на 20 кусков поменьше. Стало работать в разы быстрее. 1 кусок обрабатывается 1-3 минуты, всего за 50 минут обработались все файлы.

    Reply ↓
  40. kabanoff

    Автор безусловно молодец! Такой труд проделал. Спасибо тебе!

    Reply ↓
  41. starik-2005
    Reply ↓
  42. AlexO

    (41) starik-2005, текст стал читаться быстрее? XML, из которого вырос JSON — значит, тормозной, а JSON — стал быстр? 15 минут 100 метров? Парсинг файла на одном «Пока JS.Прочитать() Цикл»? Ну, пишите еще.

    Reply ↓
  43. starik-2005

    (42) AlexO, а что Вам мешает протестировать и не верить кому-либо на слово. Вот я, допустим, не только прочитать, но и десериализирую. Предположим, что в 1С сидят не совсем идиоты и файл меньшего размера читается быстрее, чем большего. XML содержит описания, в JSON описания заменены на скобочки. Если подойти с точки зрения даже банальной школьной программы, то сравнение одного символа с другим занимает меньше времени, чем сравнение нескольких строк друг с другом, и чем более похожи строки, тем больше операций тратится или на сравнение, а если строится хеш-таблица, то все-равно выбрать для ее построения придется все символы обоих строк. В JSON нет этих дополнительных символов, поэтому код на языке написания платформы (предположим, что-то типа библиотеки stdlib для работы с XML и JSON) будет для JSON работать быстрее только исходя из того, что JSON занимает меньше места.

    Reply ↓
  44. DrBlack

    Добрый день!

    Использую ваши труды, т.к. пишу универсальную обработку без заточки под новые платформы (в которых уже реализован JSON-парсер).

    Парсером был доволен, но столкнулся с проблемой, что дату мне стали передавать в формате: «2015-01-01 13:50:21» и «2015-01-01»

    Можете обновить функцию парсинга даты? Код предоставляю ниже:

    Для всех кто столкнулся с такой же проблемой, замените функцию «jsonПрочитатьОпределитьДату» на:

    Функция jsonПрочитатьОпределитьДату(Значение)

// Проверка.
ДлинаСтроки = СтрДлина(Значение);
Если ДлинаСтроки >= 19 И ДлинаСтроки <= 20 Тогда  //(СтрДлина(Значение) = 20) Тогда
Если (Сред(Значение, 05, 1) = «-«) И                      // —
(Сред(Значение, 08, 1) = «-«) И                      // —
(Сред(Значение, 11, 1) = «T» ИЛИ Сред(Значение, 11, 1) = » «) И  // T
(Сред(Значение, 14, 1) = «:») И                      // :
(Сред(Значение, 17, 1) = «:») И                      // :
(?(ДлинаСтроки = 20, Сред(Значение, 20, 1) = «Z», Истина)) Тогда // Z
// Год.
Если Булево(Найти(«0123456789», Сред(Значение, 01, 1))) И
Булево(Найти(«0123456789», Сред(Значение, 02, 1))) И
Булево(Найти(«0123456789», Сред(Значение, 03, 1))) И
Булево(Найти(«0123456789», Сред(Значение, 04, 1))) И
// Месяц.
Булево(Найти(«0123456789», Сред(Значение, 06, 1))) И
Булево(Найти(«0123456789», Сред(Значение, 07, 1))) И
// День.
Булево(Найти(«0123456789», Сред(Значение, 09, 1))) И
Булево(Найти(«0123456789», Сред(Значение, 10, 1))) И
// Час.
Булево(Найти(«0123456789», Сред(Значение, 12, 1))) И
Булево(Найти(«0123456789», Сред(Значение, 13, 1))) И
// Минута.
Булево(Найти(«0123456789», Сред(Значение, 15, 1))) И
Булево(Найти(«0123456789», Сред(Значение, 16, 1))) И
// Секунда.
Булево(Найти(«0123456789», Сред(Значение, 18, 1))) И
Булево(Найти(«0123456789», Сред(Значение, 19, 1))) Тогда
Возврат Истина;
КонецЕсли;
КонецЕсли;
ИначеЕсли ДлинаСтроки = 10 Тогда
Если (Сред(Значение, 05, 1) = «-«) И                      // —
(Сред(Значение, 08, 1) = «-«) Тогда                     // —
// Год.
Если Булево(Найти(«0123456789», Сред(Значение, 01, 1))) И
Булево(Найти(«0123456789», Сред(Значение, 02, 1))) И
Булево(Найти(«0123456789», Сред(Значение, 03, 1))) И
Булево(Найти(«0123456789», Сред(Значение, 04, 1))) И
// Месяц.
Булево(Найти(«0123456789», Сред(Значение, 06, 1))) И
Булево(Найти(«0123456789», Сред(Значение, 07, 1))) И
// День.
Булево(Найти(«0123456789», Сред(Значение, 09, 1))) И
Булево(Найти(«0123456789», Сред(Значение, 10, 1))) Тогда
Возврат Истина;
КонецЕсли;
КонецЕсли;
КонецЕсли;

Возврат Ложь;

КонецФункции // jsonПрочитатьОпределитьДату()

    Показать

    Reply ↓
  45. Saldor

    Подскажите, это обработка подойдет для обмена по rest или что мне еще нужно, если со стороны сайта все готово.

    Reply ↓
  46. DrBlack

    Эта обработка для формирования данных в JSON-формате.

    А по REST обмен может работать как в XML-формате, так и в JSON-формате.

    На данный момент все стараются использовать JSON.

    Reply ↓
  47. Saldor

    (46) DrBlack,

    А если по xml rest идет обмен, какую обработку лучше использовать?

    Reply ↓
  48. baton_pk

    (47) Saldor, XDTO.

    Reply ↓

Leave a Comment

Ваш адрес email не будет опубликован. Обязательные поля помечены *