Выгрузка Загрузка Данных COM-XML v8.1

Универсальная обработка для выгрузки загрузки данных в идентичную конфигурацию. Может использовать файл для переноса данных, а возможно использование прямого подключения к БД.
Используется для перенесения данных в идентичную конфигурацию через сериализацию объектов. Адаптировано для переноса данных сверх-больших объемов!!!

Обработка создана на основе типовой из КД 2.0.28. 

Функционал:

  • Выгрузка данных в идентичную конфигураци
  • Обмен через файл (XML или FastInfoset)
  • Выгрузка движений с документом
  • Добавлена работа с COM-соединением — для прямой выгрузки в БД-приемник.
  • Получение данных из плана обмена — для перегрузки изменений.

Почему не устраивает типовая? Т.к. для переноса данных очень больших баз — 1С:Предприятие набирает более 1200 мб оперативной памяти и вылетает с ошибкой «Нехватка памяти».

Данная обработка для использования прямого обмена (COM) с БД должна быть включена в состав конфигурации (хотя бы временно) в ИБ-приемнике.

Планируется:

  • Отчет-сравнение состояния объектов в базе данных

 

История:

v.3:

Доработана «поддержка большого объема данных».

v.2:

Добавлена возможность использовать ПланОбмена в качестве источника данных.

v.1:

Добавлена работа по COM-соединению в типовую обработку.

90 Comments

  1. rumik007

    А файлик мона загрузить, или мы тока увидим ссылку ???

    Reply
  2. (1) не нервничайте! просто Хром не грузил что-то файлы на сервер.. 😉

    Залил, все ок.

    Пишите ваши комментарии!!! 😀

    Reply
  3. WiseSnake

    >>Добавлена работа с COM-соединением — для прямой выгрузки в БД-приемник.

    Так вроде типовая так же умеет подключаться к базе приемнику и без включения в конфигурацию. Вы стандартным прямым переносом пробовали делать?

    Reply
  4. WiseSnake

    А Конвертация данных 2.1.1 и с регистрацией данных работает

    Reply
  5. (3) похоже вы никогда не проверяли эту функцию сами лично! 😉

    Стандартный прямой перенос??? Это что такое? есть выгрузка по правилам обмена… и есть выгрузка через сериализацию объектов. Я использую последнюю — только дописанную для работы с COM.

    Reply
  6. (4) тут речь не о самой КД!!! А о возможности получать из плана обмена ссылки для переноса только измененных данных. Перенос только в идентичную конфигурацию.

    Reply
  7. KapasMordorov

    (3)

    Это типовая, но другая обработка, для переноса по идентичным конфигурациям.

    И в ней для COM отсутствует.

    Reply
  8. WiseSnake

    (5,6) Стандартный прямой перенос это написать правила переноса (для идентичных баз это плевое дело) и выгружать стандартной обработкой (которая в новой версии поддерживает регистрацию в планах обмена).

    Я говорю о том, что стандартной обработкой ИМХО можно добиться тех же результатов.

    >>есть выгрузка по правилам обмена… и есть выгрузка через сериализацию объектов. Я использую последнюю — только дописанную для работы с COM.

    А типовая по Вашему как делает перенос? Через COM и делает по правилам обмена..

    Да и таких простых задач когда тупо перенести из базы в базу это 1% из всех. Мне, кстати, так ни разу и не попалась такая задача.

    P.S. Может я чего не понял, я ж всего лишь человек ;). Объясните дурню..

    Reply
  9. WiseSnake

    (5,6,7) От ексель-моксель, точно 😳 Я ее просто никогда не пользовался… Извините! 🙂

    Reply
  10. (9) Судя по всему вы не «дурень» 😉 Правильные вопросы задаете! 😉

    Типовая обработка — это загрузка-выгрузка по правилам. Это очень «энергоемкий» процесс.

    Когда нужно перенести из одной базы в другую — самый быстрый способ — это «сериализация» объектов. (такого в типовом обмене XML нет!).

    Для сериализации есть типовая обработка ВыгрузкаЗагрузкаДанныхXML81.epf — и все бы хорошо!!! НО! именно у этой обработки нет COM-подключения к ИБ-приемнику!!! Можно было бы через файл — но эта обработка вылетает на очень больших объемах баз — более 10 ГБ! (Мы выгружаем 250 ГБ!!!!). При этом встает вопрос переноса движений документа — если конфигурация часто и много менялась — то перенести правильно движения практически не возможно с помощью обмена по правилам!!! — Опять же спасет только сериализация наборов записей!

    В итоге — эта обработка! Кому интересно — пользуйтесь! 😉 И не забывайте ставить плюсики! 😉

    Reply
  11. WiseSnake

    (10) За правильные вопросы спасибо, конечно, тока они не правильные 🙂 и не успокаивайте. И 1совцы подвели меня, как же так, не запихнуть COM в стандартный обмен :). Просто я не догнал, что за обработка переноса через сериализацию 😳

    ПС: Плюсик то я поставил, вот только из поста (10) можно убрать фразу о плюсиках, а то расценим как попрошайничество и насуем минусов :). К тому же за вас уже давно все написали (возле бАльшой звездочки) 😉

    Reply
  12. Danil.Potapov

    (10) Кстати, если взял за основу ВыгрузкаЗагрузкаДанныхXML81.epf, то там есть серьезная ошибка, каждый набор записей выгружаются столько раз сколько строк в нем содержится, поэтому файл так пухнет. Но почему обработка вылетает на больших объемах не разбирался, возможно это ограничение объекта Чтениеxml.

    Reply
  13. vkl

    V2 чем отличается? У меня выдает «Недостаточно памяти», точно такое же выдает при выгрузке в файл, как стандартной так и представленной обработкой.

    Reply
  14. fox06

    😮 😮 😮

    Reply
  15. vkl

    to fox06: Ну и кому нужны рожицы (разве что любителям сортировать файлы 🙂

    Кто нибудь ответит на вопрос?

    Что значит фраза «Т.к. для переноса данных очень больших баз — 1С:Предприятие набирает более 1200 мб оперативной памяти и вылетает с ошибкой «Нехватка памяти»» — данная обработка c использованием «прямого обмена» дает такой же результат.

    Reply
  16. (15) Как раз работаю над этой проблемой!

    Применил пошаговую выгрузку данных — все равно тот же результат… 🙁

    «На подходе» еще один вариант решения проблемы — тестирую…

    Проблема не в объектах Чтениеxml или Записьxml — проблема в кэшировании данных — когда выгружается более 300 тыс. ссылок… у меня процесс уже 1500мб в оперативке, но пока еще не вылетел. 🙂

    При использовании данных из плана обмена — увеличение памяти вообще не происходит!

    Reply
  17. Danil.Potapov

    (16) Постой, а зачем этот дуралей кэширует?

    Reply
  18. (12) (13) (15) (17) Предлагаю обсудить это здесь!!! http://infostart.ru/public/61320/forum/topic/29275/

    Reply
  19. Nadezhda09

    Здравствуйте!

    Очень понравилась обработка! Большое спасибо!

    Жалко только, что не работает для обмена данными между ЗУП и УПП

    Reply
  20. (19) в описании написано:

    > Используется для перенесения данных в идентичную конфигурацию

    Это не для обмена — а для переноса.

    Reply
  21. bearcat

    Всем доброго времени суток.

    Разработчику и тем, кто уже скачал, плиз, ответьте, если не трудно на три вопроса:

    1. этой обработкой можно пользоваться для выгрузки из 1С 8.1 УТ в 1С 8.1 БП (базовая) ?

    2. в этой обработке можно «отключать» нежелаетльные для выгрузки документы?

    3. в этой обработке как происходит «сравнение» контрагентов на совместимость? Как в типовой 1С по всем параметрам : (внутренний код, краткое наименование, полное наименвоание, ИНн, КПП, код догвора)? Или сделано по уму, только по ИНН (так как всем же понятно, что ИНН может быть присвоен налоговыми органами только одному контрагенту, а не ста и даже не двум. Так зачем 1С-овцы нагромоздили, чтобы совпадало все, абсолюно непонятно. Менелджеры постоянно меняют название, то кавычку добавят, то буквы изменят, а программа считает это уже другим контрагентом и выгружает его втрой строкой рядом с уж имеющимся!!!

    Как в предложенной обработке решены эти вопросы?

    Reply
  22. (21) Вот ответы:

    1) — нет.

    2) — да.

    3) — нет.

    Вообще-то вы не по адресу! Эта обработка предназначена совершенно для других целей!

    Поищите обработку УниверсальныОбменДаннымиXML.epf

    Reply
  23. anton448

    по ходу дела смотрю и сразу же пришу вопросы…

    Узел-источник — для какой цели этот реквизит необходим?

    Reply
  24. anton448

    А так в общем и в целом плюс за идею…

    Reply
  25. Nadezhda09

    Главным было сочетание ЗУП-УПП

    Reply
  26. (23) Узел-источник — это источник получения данных для обмена. В противном случае объекты выбираются запросом к базе.

    Reply
  27. rustemg

    Пытаюсь этой штучкой перекинуть константы справочники из УТ10.3.3.3 на УТ 10.3.8.9. Пишет:

    При попытке создания объекта ВыгрузкаЗагрузкаДанныхCOMXML произошла ошибка:{ВнешняяОбработка.ВыгрузкаЗагрузкаДанныхCOMXML(2959)}: Поле объекта не обнаружено (ВыгрузкаЗагрузкаДанныхCOMXML)

    Reply
  28. (27)

    1) эта обработка — ТОЛЬКО ДЛЯ ИДЕНТИЧНЫХ КОНФИГУРАЦИЙ! (а вы уже не идентичные конфигурации используете)

    2) с константами там немного сложнее работа. Но попытайтесь проверить соответствуют ли константы в конфигурациях…

    Reply
  29. rustemg

    Не могу же оставаться на старой версии УТ, надо как то продвигаться. Как еще перекинуть большие данные..

    Reply
  30. (29) На самом деле можно использовать и не для идентичных конфигураций — нужно только убедиться что метаданные объектов источника и приемника совпадают. С константами точно есть расхождения в этих версиях — попробуйте по одной вручную перекинуть то что совпадает.

    Reply
  31. rustemg

    Классно было бы сделать кнопку при COM-соединении: «Выбрать совпадающие объекты «. Можно будет перекидывать справочники между любыми конфами.

    Reply
  32. ut2k5

    … Уважаемы комментаторы, прежде чем писать замечания, внимательно читайте описание, зачем Вы человека мучаете, он же написал, обработка используется для переноса данных ИДЕНТИЧНЫХ КОНФИГУРАЦИЙ…, предмет использования узко-специализированный…, хотя в моем случае случается часто 🙂

    автору спасибо 🙂 щас найду, где ставить +

    Reply
  33. anig99

    Выгрузка чисто движение по регистрам бухгалтерии работает неверно — нет субконто.

    Reply
  34. Letos

    А есть что-нибудь подобное для 1с7.7. А то надо сделать выгрузку с 7 в 8 а база слишком большая, и выгрузку не удаётся выполнить.

    Reply
  35. sound

    поюзаем

    Reply
  36. Igor_A

    А в 8.2 версии не работает 🙁 Пишет, что не поддерживается данной версией.

    Reply
  37. (36) Советую вам прежде прочитать заголовок! 😉

    Reply
  38. Душелов

    (37) Тогда стоит подправить рубрики: «Внешний отчет, обработка для 1С: Предприятие 8.0; 1С: Предприятие 8.1; 1С: Предприятие 8.2»

    Reply
  39. Широкий

    Обмен в формате FastInfoset — только у меня не работает или это в принципе не работает?

    Reply
  40. (39) Вообще работает FastInfoset. Правда с ним не все так просто как с XML, но вобщем переносить можно. Если пишите — пожалуйста по конкретней проблему описывайте!

    Reply
  41. (36) Для версии 8.2 достаточно сконвертировать обработку и запустить приложение в режиме толстого клиента.

    Reply
  42. Широкий

    (40) Конкретнее — выгружаю твоей обработкой справочник в файл и гружу в эту же конфу.

    Выгружается нормально, но при загрузке вываливает ошибку.

    Reply
  43. Широкий

    Платформа 8.1

    Reply
  44. (42) А текст ошибки можно? Но таких проблем никогда не возникало — скорее вопрос в данных…

    Reply
  45. danpir

    Платформа (8.2.10.82) . Режим толстого клиента.

    При выгрузке данных на прямую в ИБ через COM. Возникает такая ошибка:

    «При попытке создания объекта ВыгрузкаЗагрузкаДанныхCOMXML произошла ошибка:{ВнешняяОбработка.ВыгрузкаЗагрузкаДанныхCOMXML.МодульОбъекта(3123)}: Поле объекта не обнаружено (ВыгрузкаЗагрузкаДанныхCOMXML)

    «

    Reply
  46. uri97

    Как сделать так, что бы при загрузке элементов справочника коды не дублировались, а назначались новые?

    Reply
  47. dimbasbear

    при выгрузке из УТ 10.3.4.10 документа «Реализация товаров и услуг» — все время выгружает 0. Хотя все в обработке выбрано правильно….Сначало выгружала,теперь нет 🙁

    Reply
  48. jominal

    Спасибо, все работает 😀

    Reply
  49. Dimel

    Обработка то неплохая, только баги из типовой тянутся. Например галочка «Отключить использование итогов во время загрузки данных» работает наоборот т.е. при установленном флаге итоги не выключаются, а при снятом отключает использование итогов.

    Reply
  50. Nigelist

    Плиз, закиньте кто-нибудь последнюю версию обработки на какой нибудь файлообменник. Или прямую ссылку в личку.

    Reply
  51. lakomka

    Подойдет ли эта обработка для объединения 3 баз по трем разным организациям БП 2.0 в одну ?

    Reply
  52. Без бекапа

    Здраствуйте! Скачал обработку, пробую тестировать…

    Возник вопрос:

    1)Имею 2 идентичные конфигурации УПП (1.3) Источник-(А), Приемник-(Б).

    Переношу через xml справочник «Статьи движения денежных средств«.

    2)До переноса — в базе (Б-приемнике) часть элементов справочника существует и одинакова с некоторыми элементами того же справочника базы (А-источника).

    3)После переноса — элементы с одинаковыми кодами в базе Б задваиваются, т.е. вместо того чтобы проигнорировать такой перенос — система создает с тем же кодом новые, и с тем же наименованием.

    Возможно я чего-то не понимаю в настройке обработки.

    Друзья подскажите пж-та!

    Reply
  53. ediks

    (52) Это означает, что внутренние идентификаторы объектов не совпадают, несмотря на все остальные одинаковые реквизиты (наименование, код и т.д.). Возможная ситуация — данные переносились какими-либо обработками или копировались вручную.

    Reply
  54. Без бекапа

    (53) И как же тогда на Ваш взгляд лучше поступить?

    В базе Б, часть указанных элементов, что задвоились — однозначно вручную была введена…

    И удалить их нет уже никакой возможности — провели ряд документов в базе Б с этими ручными элементами справочника.

    Reply
  55. ediks

    (54)

    1) По идее нужно воспользоваться конвертацией данных, создать правила обмена этого справочника. Но указать в свойствах объекта синхронизацию по коду (ну или какой там синхронизирующий реквизит).

    Создание правил для переноса одного справочника не займет много времени.

    2) найти обработку для переноса справочников — их здесь немеряно.

    Reply
  56. astvit15

    спасибо большое

    Reply
  57. jiggli

    хорошая идея, мне понравилась. Спасибо!

    Reply
  58. icemurm

    Не работает

    Reply
  59. icemurm

    похожа на стнадартную

    Reply
  60. gorchiha

    Большое спасибо, очень удобная программа.

    Reply
  61. itit

    хорошо помогла в свое время

    Reply
  62. Komp-as

    Искал данную обработку очень давно! хотелось бы проверить как она работает в Зарплате и кадрах бюджетного учреждени!

    Reply
  63. Acasta

    Очень пригодилась обработка, спасибо!

    Reply
  64. sirm

    Очень пригодилась.

    Выгружаю УТ 10.3 <—> УТ 10.3 (баз).

    Правда иногда выгружает с ошибками.

    Почему непонятно…

    Reply
  65. LevSon

    Очень удобная обработка.

    Reply
  66. Mic

    нашел версию 2.1.2 (скачать v.3 нет прав)

    добавил флажок на запрет выгрузки движений регистров у документов по ссылкам (при вводе остатков)

    а в остальном все ОК

    Reply
  67. achikunov

    Удобная обработка для переноса документов.

    Reply
  68. kotyas

    Спасибо, удобно!

    Reply
  69. JinTropin

    Спасибо, удобная обработка, часто пользуюсь.

    Reply
  70. Coollerok

    Забрал! Спасибо большое!!!!

    Reply
  71. zhleonid8

    сверх-больших объемов это радует

    Reply
  72. zhleonid8

    спасиб

    Reply
  73. zhleonid8

    перенос нужен из нетиповой обратно в типовую изменения минимальны

    Reply
  74. Voloden

    Отличная вещь. Спасли.

    Reply
  75. psih12

    Кто знает, почему, если обработка загружена в «Бухгалтерию 2.0» сохранение настроек работает нормально, а если в «УТ 10.3» платформы 8.2 вылетает ошибка, что не может записать несериализуемый элемент? И как это победить?

    Reply
  76. Гость

    Спасибо за обработку, пригодилась

    Reply
  77. BurSer

    Спасибо ! Срочно понадобилось перенести данные из сбойной базы, искал, нашел. Автор — молодец ! Тем более, что история этой обработки заслуживает отдеьного внимания. Всем рекомендую сначала прочитать комментарии к этой обработке — много интересного почерпнёте.

    Reply
  78. WWWolfy

    Пригодилась при переносе УТ-УТ

    Типовая падала при выгрузке в xml-файл с криком «Недостаточно памяти»

    Reply
  79. protlt

    А для Бухгалтерии 2.0. подходит?

    Reply
  80. baralgin1003
    При попытке создания объекта ВыгрузкаЗагрузкаДанныхCOMXML произошла ошибка:{ВнешняяОбработка.ВыгрузкаЗагрузкаДанныхCOMXML.МодульОбъекта(3123)}: Поле объекта не обнаружено (ВыгрузкаЗагрузкаДанныхCOMXML)

    в чем может быть причина?

    Reply
  81. baralgin1003

    и еще

    {ВнешняяОбработка.ВыгрузкаЗагрузкаДанныхCOMXML.МодульОбъекта(230)}: Ошибка при вызове метода контекста (ПрочитатьXML)

    ЗаписанноеЗначение = ПрочитатьXML(ЧтениеXML);

    по причине:

    Ошибка преобразования данных XML: [file://C:/Users/adam/Desktop/Временная/выгрузка.xml][63,16]

    выгружал-загружал только этой обработкой. Спасибо

    Reply
  82. (82) baralgin1003,

    COM-режим можно использовать только при определенных условиях. См. описание.

    Reply
  83. (83) baralgin1003,

    Вероятнее всего:

    1. в процессе выгрузки была ошибка — файл не дописан до конца.

    2. структуры объектов выгрузки и загрузки разные.

    Полагаю что второй вариант, т.к. ЧтениеXML прошло успешно.

    Reply
  84. jump0

    Отличная обработка. Буду пробовать объединять базы.

    Reply
  85. Tolpinski

    Такая же ошибка как у baralgin1003

    Пытаюсь штатное расписание из ЗУП грузить, конфигурации одинаковые.

    Reply
  86. eugen91

    Как загрузить в 1с 8.2 ут 10.3 даныне из Ут 11?

    Reply
  87. sirm

    А работу по FTP не планируется добавить?

    Reply
  88. It-developer

    Отбор походу Вы не допиляли :((( В регистрах сведений. Хотя то, наверно, не Ваш косяк, а типовой обработины ВыгрузкаЗагрузкаXML

    Reply
  89. jobkostya1c8

    Вопрос автору и форумчанам: насколько эффективна по сравнению со стандартной загрузкой-выгрузкой в XML? Вижу что 2009 год. Может подойдет для древних конфигураций 8.1 Кто как использовал?

    Reply
  90. It-developer

    (92) Крутая вещь — быстрее грузим. Точнее — ставим выгрузку-загрузку, идем на обед и видим, что все сделано :))) Сейчас юзаю очень активно. Пришлось допилять регистры накопления и регистры сведений фильтры. Не удобно то, что используется построитель отчета, в котором нельзя поставить условие ИЛИ

    Reply

Leave a Comment

Ваш адрес email не будет опубликован. Обязательные поля помечены *