Интерактивный анализатор больших и вложенных запросов "Парсер запросов"

16.05.2017 63 Comments

Практика программирования, Разработка

Related Posts

63 Comments

  1. Famza

    (0) Может описание более развернуто сделать?

    Reply ↓
  2. German

    oOO неожиданно парсер и лексер на языке 1С, только на первый взгляд лексем маловато

    GoldParser, Antlr — не не слышал?

    + за декомпозицию во временные, еще не было

    Reply ↓
  3. bwlg

    Пишите «хотелки» и найденные ошибки. Будет новая версия (уже beta), будет более подробное описание в Help (Кстати, читали help ?), будет конвертация пакета в запросы с максимальной вложенностью.

    Главное — пишите разборчиво, что доделать и что поправить.

    ЛЕКСЕМ (точнее терминальных символов) столько, сколько нужно было для именно этой задачи.

    Изначально задумка была сделать на Внешних компонентах, но для этого потребовалось бы таскать с собой dll-ку.

    Кажется по скорости удалось сделать что-то приемлемое на языке 1С. Очень много сил ушло на оптимизацию по скорости.

    На Мисте посмотрел GoldParser, Antlr — это немного другое.

    По сравнению Консолью запросов из «Подсистема «Инструменты разработчика» v2.69″, позволяет делать «снимки» запросов в виде файла *.sel и далее их использовать почти в любой консоли запросов, не требует регистрации COM библиотеки.

    Reply ↓
  4. German 
    На Мисте посмотрел GoldParser, Antlr — это немного другое.

    А ну тогда действительно)

    Понятно что они текст запроса 1С не разбирают

    Выбрать Таб.* ИЗ Таб
    Reply ↓
  5. makfromkz

    (3)

    На Мисте посмотрел GoldParser,

    Я поиском не нашел там 🙁

    не подскажите ссылку, плииз 🙂

    Reply ↓
  6. makfromkz

    (3) ЧТД?

    // Копирует дерево запросов
//
// Параметры:
//  ИсходноеДерево
// НовоеДерево.
//
Процедура вСкопироватьДеревоЗапросов(ИсходноеДерево, НовоеДерево, КолонокВДереве)

НовоеДерево.Строки.Очистить();

Если ИсходноеДерево.Строки.Количество() = 0 Тогда
Возврат;
КонецЕсли;

Для каждого СтрокаДерева из ИсходноеДерево.Строки Цикл

НоваяСтрока = НовоеДерево.Строки.Добавить();

Для сч = 0 по КолонокВДереве — 1 Цикл
НоваяСтрока[сч] = СтрокаДерева[сч];   // <=== тут ошибка, её текст ниже
КонецЦикла;

    Показать

    текст ошибки возникающей при открытии обработки:

    {Форма.Форма.Форма(655)}: Индекс находится за границами массива

    НоваяСтрока[сч] = СтрокаДерева[сч];
    Reply ↓
  7. bwlg
    Индекс находится за границами массива НоваяСтрока[сч] = СтрокаДерева[сч];

    У меня за месяц эта ошибка не возникала. Причина ошибки, только одна — неверный формат файла (колонок в файле *.sel больше 7).

    Можно исправить так

     //строка 703
// Было
вСкопироватьДеревоЗапросов(ПолученноеЗначение, ДеревоЗапросов, ПолученноеЗначение.Колонки.Количество());
// Стало
вСкопироватьДеревоЗапросов(ПолученноеЗначение, ДеревоЗапросов, Мин(ПолученноеЗначение.Колонки.Количество(),7));

    Спасибо за сообщение, эта ошибка исправлена в очередном релизе

    Reply ↓
  8. bwlg
    Я поиском не нашел там 🙁

    Надеюсь правила форму не нарушаю ..

    http://yandex.ru/yandsearch?text=GoldParser%2C+Antlr&lr=38

    Там и Миста и Wikipedia

    Reply ↓
  9. Darth_Anyan

    Скормил обработке запрос с подзапросом в условии ГДЕ (запрос бессмысленный-тестовый):

    ВЫБРАТЬ
Контрагент.ИНН
ИЗ
Справочник.Контрагенты КАК Контрагент
ГДЕ
Контрагент.Ссылка В
(ВЫБРАТЬ
Справочник.Контрагенты.Ссылка
ИЗ
Справочник.Контрагенты)

    Показать

    Преобразование во временные таблицы отработало следующим образом:

    ВЫБРАТЬ
Справочник.Контрагенты.Ссылка
ПОМЕСТИТЬ Запрос_1afa415bad78447bac6cca9c159a848d
ИЗ
Справочник.Контрагенты
;

////////////////////////////////////////////////////////////­////////////////////
ВЫБРАТЬ
Контрагент.ИНН
ИЗ
Справочник.Контрагенты КАК Контрагент
ГДЕ
Контрагент.Ссылка В
Запрос_1afa415bad78447bac6cca9c159a848d

    Показать

    По идее, подзапросы из условий отбора/соединения надо либо не трогать (что просто технически, но спорно методически), либо преобразовывать во внутреннее соединение (наоборот).

    Reply ↓
  10. bwlg

    Именно по этой причине еще нет трансформаций из временных таблиц во вложенные.

    При трансформации нужно учитывать еще тип запроса, в том числе коррелированные запросы. В вашем запросе именно такой случай, Запрос_1afa415bad78447bac6cca9c159a848d потенциально может быть коррелированным (т.е. выполняться многократно). В 2.10 постараюсь сделать разбор конструкций В () и В ИЕРАРХИИ () для определения потенциально коррелированных запросов. Полагаю, что факт коррелирования установить не получится, так как для этого пришлось бы полностью разбирать конструкции ВЫБОР, и следить за метаданными конфигурации.

    ИТОГО: Спасибо за сообщение. Будет исправлено в версии 2.10. Остальным рекомендую до выхода 2.10 пока не пользоваться трансформациями. 2.10 примерно в понедельник

    Reply ↓
  11. DAnry

    Очень интересный, оригинальный, подход к проблеме. …опробуем

    Reply ↓
  12. bulpi

    Это очень круто. Но, для того, чтобы пользоваться можно было юзерам не таким умным, как автор (например, мне), нужен более развернутый help, а лучше с простыми примерами.

    Reply ↓
  13. bwlg

    На написание этого help у меня ушло 2 дня. Более объемный help — это время, которого просто нехватает.

    Весь help можно расписать так.

    1. Запустить ПарсерЗапроса (просто открыть в 1С Предприятие). Дальше как в Консоли запросов, только есть второе маленькое окошко навигации по запросу. В ПарсереЗапросов можно редактировать любую маленькую часть запроса, не пугаясь «километровых» запросов. Если не знаете как работать с Консолью запросов — то эта обработка точно Вам не нужна.

    2. Хотите «продвинутую» выгрузку в консоли запросов ? Нажмите кнопку «Консоль запросов» и пользуйтесь этой обработкой. Можно из макета «Консоль запросов» сохранить как *.epf файл и пользоваться этой консолью запросов.

    Что «крутого» в этой консоли ? Не надо просматривать временные таблицы, просто выбираем способ выгрузки «Анализ» и получаем все результаты временных и вложенных таблиц в виде одного дерева.

    Хотите «прокачать» Консоль запросов, которая у Вас есть и Вам нравится — читаем help и соответствующий макет.

    3. Нужен экспресс-анализ запроса под отладкой? Первое, решаем, где лично Вам удобно хранить файл «снимка» запроса. Второе, в Парсере запросов, меню сервис -> Получить код VLF. Программа спросит имя, под которым будет сохраняться «снимок» запроса и выдаст Вам готовый код для вставки в глобальный/общий модуль. Скопировали с окна, вставили в конфигурацию. Все, пользуемся.

    Просто посмотреть запрос в Табло VLF(Запрос).

    Посмотреть и сохранить VLF(Запрос,1)

    Все

    Reply ↓
  14. v.l.

    (3) bwlg, хотелка — есть версия для 8.1 или самому перевести?

    Reply ↓
  15. bwlg

    Нету. Перевести.

    Reply ↓
  16. tormozit

    Декомпозиция во временные таблицы по одному подзапросу уже давно есть в консоли запросов ИР.

    Кстати в ней же есть

    1. По-компонентный анализ и корректировка текстов на языке запросов 1С.

    2. Экспресс анализа запроса в режиме отладки программного кода 1С, без изменения содержимого менеджера временных таблиц.

    3. Создание файла — «снимка» запроса *.sel и элемента справочника «Объекты для отладки» в режиме отладки программного кода 1С для последующего автономного анализа запроса.

    4. Выполнение системных трансформаций текстов запросов, а именно:

    — Декомпозиция во временные таблицы по одному подзапросу;

    5. Не нужно интегрироваться с Консолью запросов.

    Reply ↓
  17. Darth_Anyan

    (16) tormozit,

    при всем безграничном уважении к ИР, у них есть архитектурная особенность — требуется регистрация GoldParser (ну и доступ к WSH и WinAPI), в результате, работая в терминалке заказчика с порезанными донельзя правами, можно остаться без инструментария. Представленный механизм служит очень мощным дополнением как раз для таких случаев. По крайней мере, я так выстроил для себя их использование — если есть возможность, встраиваем ИР, если нет — достаем мобильную версию от khaoos, если совсем нет — Парсер запросов.

    Reply ↓
  18. tormozit

    (17) Все так. Я собственно просто отметил, что почти все фичи реализованные здесь, давно уже отточены в консоли запросов ИР. Просто автор видимо не знал об этом и потому не упомянул в публикации. Я решил явно указать на это для тех, кто не в курсе.

    Необходимость админских прав для регистрации ряда вспомогательных dll в ИР конечно же является самым большим неудобством.

    Reply ↓
  19. Darth_Anyan

    (18) Вообще, идеальным видится объединенное решение на базе ИР с переключением между движками, но это уже мечты о всеобщем благорастворении воздухов…

    Reply ↓
  20. bwlg

    Вообще-то автор о всем сказанном уже упомянул

    По сравнению Консолью запросов из «Подсистема «Инструменты разработчика» v2.69″, позволяет делать «снимки» запросов в виде файла *.sel и далее их использовать почти в любой консоли запросов, не требует регистрации COM библиотеки.

    А об ИР до этого комментария действительно не знал.

    Было бы интересно эти два инструмента сдружить. Это пока заочный вопрос к автору ИР

    Reply ↓
  21. tormozit

    У меня в консоли запросов ИР используется грамматика языка запросов 1С. К ее правилам привязан анализ построенного парсером GoldParser синтаксического дерева. Соответственно чтобы избавиться от необходимости подключать GoldParser.dll нужно написать NATIVE компоненту, которая бы имела примерно тот же интерфейс, что и COM объект из GoldParser.dll. Делать это у меня пока нет времени. Возможно сделаю в будущем.

    Использовать неполное синтаксическое дерево, построенное по наверняка неявной грамматике из этой обработки, где все правила называются по-своему — не очень привлекательная идея. Любой баг в таком парсере, кажется, будет исправляться все сложнее и сложнее с неизбежным ростом числа и сложности конструкций.

    Reply ↓
  22. bwlg

    На самом деле у меня не стояла цель написать полный компилятор. Хотелось просто сделать хороший инструмент для себя и друзей.

    Сейчас скачал грамматику и по заголовку понял, что это Вы писали ИР.

    Лексический анализатор для разбора программных модулей 1С необходимо доделать. В запросах не бывает многострочных строковых констант. Синтаксический разбор ведется по БНФ. Грамматику языка запросов брал из документации к 1С (как не странно, хорошо описана в файле ЕСИС8.0), терминальные символы взяты из книг по языку 1С (стр 2870).

    Давайте так: вы определяетесь с техническими требованиями, и пообщаемся вне этого форума. В help мой адрес есть. На выходных я буду в Skype, постучусь. До связи.

    Reply ↓
  23. Gilev.Vyacheslav

    я пока не понял, зачем бессмысленно загонять все во временные таблицы, но плюс поставил авансом и скачал, вдруг придет озарение )

    Reply ↓
  24. bwlg

    Это инструмент анализа (больших) запросов. Иногда удобнее читать и отлаживать запрос в виде последовательности временных. Другими словами, это дополнительный инструмент, удобный тогда, когда он нужен.

    Reply ↓
  25. Gilev.Vyacheslav

    а я то дурак планы запросов смотрю…

    Reply ↓
  26. tormozit

    (25) План запроса смотрят при «техническом» исследовании запроса, когда нужно понять почему так долго, как ускорить и т.д. Автор же пишет о «логическом» исследовании запроса, когда нужно «по шагам» понять как логически работает чужой запрос или почему он выдает неверный результат

    Reply ↓
  27. 1cmax

    есть ли преимущества перед консолью от Tormzit?

    Reply ↓
  28. bwlg

    Размещена версия 2.10beta. Исправлены ошибки:

    1. Вложенный запрос в конструкции В и ИЕРАРХИИ не выносится во временные, о чем выдается сообщение.

    2. Не приводит к сбою загрузка файла *.sel с количеством колонок более 7.

    3. Устранена ошибка, связанная с некорректным поведением платформы ( в табло, подзапросы-объединения разбирались в бесконечную вложенность подзапросов. Вне Табло — все работало корректно). Версия обозначена как beta.

    4. Добавлена метка версии в локальном help функции VLF().

    5. Дописан help Парсера запросов.

    В ближайший месяц новых версий не будет. Попробую написать полный компилятор на правилах для использования, возможно, в «Инструменты разработчика».

    Reply ↓
  29. zba

    Пригодится! +

    Reply ↓
  30. blockcode

    Кстати, необходимость разбивки сложных запросов мне тоже пришлось решать))) Правда я обошелся двумя кнопками, которые добавил на чужую консоль запросов))) http://forum.infostart.ru/forum24/topic20163/message861068/#message861068

    Reply ↓
  31. bwlg
    Reply ↓
  32. tormozit

    (31) Сделаешь багрепорт для 1с? Если не франч, то я могу отправить.

    Reply ↓
  33. bwlg

    Франч.

    Отправил

    Reply ↓
  34. margo_m09

    хорошая идея, сразу понравилась обработка, даже если и есть какие недочеты пока при использовании, не заметили))))

    Reply ↓
  35. so-quest

    На правах рекламы. Если не нравиться таскать за собой голдпарсер то вот есть решение — http://infostart.ru/public/186724/ осталось только грамматику выбрать и прикрутить.

    Reply ↓
  36. so-quest

    Не пугайтесь что там вывод в ХМЛ — код открыт и вывод можно сделать куда угодно (массив, структура и т.д.)

    Reply ↓
  37. bwlg

    Недочеты есть. В основном это «снимок» запроса. Не все типы данных удается вытаскивать в файл.

    Второй недочет — ограничение выборки в 100 записей. Иногда это здорово вводит в заблуждение.

    Постараюсь в ближайшее время выложить новую версию.

    Reply ↓
  38. prodines

    Не открывается консоль запросов для sel-файла. Пишет:

    Консоль запросов недоступна. Форма.Форма.Форма(283) Поле объекта не обнаружено. (ВнешнийЗапрос)

    ЗЫ Да ерунда это всё — все эти консоли запросов и парсеры — анализаторы. Всё это НЕ работает в полной мере — и никогда не заработает…

    Reply ↓
  39. bwlg

    В тексте ошибки на русском языке написано «Консоль запросов недоступна.»

    Консоль запросов — это внешний файл для Парсера. Смотри и читай документацию.

    Эта ошибка может происходить, если в макете хранится файл консоли несоответствующий описанию. Замените в макете (он там один) на ту консоль, которая у Вас работает.

    Если у Вас ВСЕ НЕ работает и НИКОГДА НЕ заработает — то значит такая карма. Даже не пытайтесь пользоваться всякими парсерами и консолями.

    Reply ↓
  40. bwlg

    Вероятная ошибка:

    При запуске консоли макет сохраняется в файл. По какой-то причине файл не создан или не открывается (нет места на диске, нет прав на папку). Парсер не смог открыть сохраненный файл, поэтому выдал такое сообщение.

    Reply ↓
  41. prodines

    (40) bwlg,

    Если будет время — попробую поковыряться. Но пока его нет.

    Если у Вас ВСЕ НЕ работает и НИКОГДА НЕ заработает — то значит такая карма. Даже не пытайтесь пользоваться всякими парсерами и консолями.

    Я перебрал штуки 3-4 всяких запросников-консолей и т.п. с этого сайта — и ни один пока что с моим конкретным запросом не заработал (причем вообще не сработал). А штатная консоль запросов — работает, просто у неё мало возможностей.

    Да, и у меня тоже возникла ошибка, когда при объединении вложенных подзапросов открываешь их (в отладчике) — а там ещё вложенные — в них ещё вложенные — и так до бесконечности. А мне как раз нужно было в них посмотреть, что там происходит.

    Вообще-то я только от Вашей разработки добился ну хоть какого-то толка — в отличие от аналогов на этом сайте. Просто под отладкой смотреть запрос и очень медленно, и не очень наглядно — вот я и хотел через консоль глянуть, как было в хелпе заявлено.

    Reply ↓
  42. bwlg

    По бесконечному вложению запросов информация отправлена в 1С. Обещали исправить. Будем ждать.

    Эта ошибка меня тоже напрягает. Возможно в очередном релизе я ее обойду. Пока у меня тоже очень мало времени.

    Смотреть запрос под отладчиком — просто не о чем. Парсер ускоряет отладку в десятки раз.

    Ошибок пока в Парсере много. (Забавно, что даже в нативном конструкторе запросов ошибок много.)

    Примерный список предстоящих доработок:

    1. Ограничение 100 записей на выборку часто вводит в заблуждение. Буду подымать до 500.

    2. Использование ограничения на 100 записей в подзапросах отрубает оптимизацию. Иногда в больших запросах это приводит к зависанию (буду переписывать сборку запроса).

    3. Не везде стоит ограничение на 100 записей. Например, когда раскрываешь ветку «Вложенные». Где-то просмотрел.

    4. В «снимке» запроса «заглушки — пустые таблицы» из параметров буду менять. В полях запроса нужно возвращать конкретные типы данных.

    5. Массив в параметре запроса не сохраняется в файле sel. Поэтому почти все разработчики массив меняют на список значений. Но список запросов нельзя передавать при расчете базы. Там должен оставаться массив строк.

    6. Бесконечное вложение объединения. Буду переходить на свой алгоритм генерации уникального имени.

    7. В функцию VLF планирую добавить итератор по выборке и результату запроса. Функции типовых алгоритмов часто возвращают переменные, содержимое которых надо посмотреть.

    Если кто нашел еще какие ошибки — пишите. Жду.

    Reply ↓
  43. prodines

    (40) bwlg,

    В Вашей обработке в макете «КонсольЗапросов» содержится … сама эта же обработка. 🙂 А вот в ней уже есть макет «КонсольЗапросов3» — вот там только и есть консоль запросов. Я поправил это — и консоль стала нормально запускаться из парсера. 🙂

    Способ выгрузки «Анализ» — хорошая вещь. Видно всё то же самое, что и в отладчике — только нет вложенной бесконечной зацикленности (когда есть объединение вложенных подзапросов) и скорость работы отменная — не то, что эти дикие тормоза в отладчике.

    Только почему-то вложенные запросы не разбираются до конца? А тогда какой смысл в Вашей разработке?

    Что мне теперь делать? Надо посмотреть все вложенные запросы — а я не могу…

    ЗЫ А как вообще просматривать вложенные подзапросы стандартной консолью запросов? Я так и не понял… Там ведь нет способа выгрузки «Анализ».

    Reply ↓
  44. bwlg

    Анализ есть в выпадающем списке. Файл сегодня обновлю

    Reply ↓
  45. bwlg

    Обновил. Большинство описанных выше ошибок устранил.

    Не устранено: массив для расчета по базе. Это нужно менять в консоли запросов.

    Тестируйте. Пишите замечания.

    Изменено: Новое имя формируется не через УИД, а через генератор случайных чисел.

    Это позволит уйти от ошибки платформы — бесконечного вложения.

    Reply ↓
  46. bwlg

    Максимально упростил текст, чтобы довести ситуацию до сути (до абсурда).

    «Лесенка» в структуре, что описана выше, сохраняется вплоть до кода:

    Перем ГенераторСЧ;

Процедура КнопкаСформироватьНажатие(Кнопка)
х = VLF_();
КонецПроцедуры


Функция VLF_()


Возврат новый Структура(

«Запр» + Формат(ГенераторСЧ.СлучайноеЧисло(),»ЧГ=0″),

Новый Структура(«Тек»,»аа»)

);

КонецФункции

ГенераторСЧ = новый ГенераторСлучайныхЧисел(Секунда(ТекущаяДата()));

    Показать

    Reply ↓
  47. vec435

    А если набор временных таблиц запроса формируется не в одном блоке кода , а последовательно — можно ли «собрать» его в одно дерево? И 2 вопрос: можно ли построить дерево «родословных» для временных таблиц?

    Reply ↓
  48. bwlg

    При формировании «снимка» содержимое временных таблиц сохраняется в sel.

    Родословную в пределах запроса видно по ответу функции.

    Анализ программного кода для сбора предыдущих таблиц, а также «накопление» снимков в один файл — не планируется.

    Reply ↓
  49. bwlg

    Ура! «Лесенку» раскрытия запроса победил.

    Причина в не идемпотентности вызова. При раскрытии ветки структуры платформа повторно обращается к коду. Затем начинает склеивать ту структуру, что раскрывали, и вновь полученную структуру. Так как при повторном вызове названия ветвей уже другие, происходит описанный выше баг.

    Выкладываю новую версию.

    Reply ↓
  50. Shade

    Да, потенциал очень большой, разбираться и разбираться, спасибо, думаю пригодится в работе!

    Reply ↓
  51. bwlg

    Обновление:

    1. Добавлено окно информации, которое в настройках может быть отключено.

    В окне информации выводится: место ошибки в запросе, входящие таблицы. Для исходящей указываются имена запросов, в которых эта таблица используется.

    2. Устранена ошибка при конвертации запроса из вложенного во временные таблицы (неверное место конструкции ПОМЕСТИТЬ)

    3. Устранена ошибка 15-го релиза (не сохранялся «снимок запроса» если использовались временные таблицы).

    4. Изменен алгоритм получения запроса из построителя. Раньше запрос собрался по частям: отдельно текст запроса, отдельно параметры. В 16 релизе принято решение перейти на функцию ПолучитьЗапрос().

    Reply ↓
  52. alkar

    Ругается!

    {Форма.Форма.Форма(335,8)}: Процедура или функция с указанным именем не определена (VLF)

    х = <<?>>VLF();

    Reply ↓
  53. bwlg

    Заменить строку 335 на

    х = «»; Выполнить(«х = VLF();»);

    Сейчас файл обновлю.

    Reply ↓
  54. alkar

    (53) bwlg, Ок. Работает спасибО!

    Reply ↓
  55. lelusha

    Уточните, пжл, а будет ли работать на 8.2?

    Reply ↓
  56. bwlg

    Работает на любой 8-ке. Сам пользуюсь на 8.1, 8.2 и 8.3.

    Reply ↓
  57. Virgiliy

    Добрый день!

    При открытии ошибка…

    Reply ↓
  58. bwlg

    Для Virgiliy 13.03.2014 09:44

    Это не ошибка. Это уведомление, что код не добавлен в конфигурацию. Так задумывалось.

    Reply ↓
  59. Virgiliy

    (58) bwlg,

    Я что-то где-то упустил… наставьте на путь истинный (подскажите код) 🙂

    Reply ↓
  60. Virgiliy

    Нашел, спасибо

    Reply ↓
  61. TIG-PROGRAMMIST

    Работает спасибо коллега…

    Reply ↓
  62. AlexO

    Все равно не понял, как это помогает писать запросы. Что анализируется, и как результаты этого «анализа» помогут исправить что-то в запросе/модифицировать его — без понимания смысла написанного.

    А если есть понимание — то как тут поможет анализатор, если и так понимаешь, где ошибка, где — нужна оптимизация, и все напишешь вручную?

    Reply ↓
  63. bwlg

    (62) AlexO, понимание — это хорошо. А если это чужой запрос на 10 тыс строк?

    Reply ↓

Leave a Comment

Ваш адрес email не будет опубликован. Обязательные поля помечены *