OneScript — WinExt: Работа с окнами, управление мышкой и клавиатурой

29.11.2018 30 Comments

Разработка, Языки и среды

    sample_winext_ordinary_forms.gif
Цель: Инструмент позволяющий автоматизировать управление окнами, мышкой, посылать нажатия клавиш.

Задачи:
— Поиск окна по части заголовка
— Поиск фрагмента изображения похожего на сохраненный в файле кусок.
— Возможность позиционировать курсор, нажимать кнопки мышки.
— Возможность посылать нажатия клавиш

Использовать SikuliX, Selenium не хотелось, слишком громоздко, нужно переучиваться.
В сети, нашел пример поиска части изображения в другом изображении.
Решил добавить функциональность в ВК созданную для проекта SmartConfigurator (WinExt) и опубликовать.

Сначала небольшой пример возможностей ВК.

  • Активировать окно по части заголовка
  • Через меню Операции открыть список документов
  • Создать документ
  • Создать контрагента с наименованием: Контрагент_<ТекущаяДата()>
  • Выбрать контрагента
  • Заполнить ТЧ документа
  • Провести документ
  • Сформировать отчет по остаткам

 

#Использовать WinExt

Перем РаботаСОкнами;
Перем Экран;
Перем Мышь;
Перем Клавиши;

Процедура ПриСозданииОбъекта()

РаботаСОкнами = Новый РаботаСОкнами();
Мышь = Новый Мышь();
Экран = Новый Экран();
Клавиши = Новый МСПослатьКлавиши();

// Активируем окно по части заголовка (окно не должно быть свернуто)
РаботаСОкнами.АктивироватьОкноПоЗаголовку("Win ext example ordinary");

СоздатьПоступлениеТМЦ();
СформироватьОтчетОстаткиТМЦ();

КонецПроцедуры

Процедура СоздатьПоступлениеТМЦ()

// меню Операции
ВыполнитьШаг("img/menu_operations.png");
Приостановить(1000);
// Меню Документы
ВыполнитьШаг("img/menu_documents.png");
Приостановить(1000);
// Откроем список Поступлений ТМЦ
// Для разнообразия нажмем Enter
Клавиши.ПослатьКлавиши("{ENTER}");
Приостановить(1000);
// Нажнем кнопку добавить в списке ПоступлениеТМЦ
ВыполнитьШаг("img/btn_add.png");
Приостановить(1000);
// Найдем подпись контрагенты и кликнем правей, в поле ввода
ВыполнитьШаг("img/form_title_contragent.png",,100);
// Откроем окно выбора из списка, создадим контрагента, выберем его
Клавиши.ПослатьКлавиши("{F4}{INSERT}{TAB}Контрагент_"+ТекущаяДата()+"#k8SjZc9Dxk({ENTER}){ENTER}");
// Добавим товар в табличную часть и введем количество, цену, сумму
Клавиши.ПослатьКлавиши("{TAB}{INSERT}товар1{ENTER}10{ENTER}1{ENTER}10{ENTER}");
Приостановить(1000);
// На панели документа нажмем Ок (скрин всей панели, снова делаем сдвиг курсора)
ВыполнитьШаг("img/panel_doc_buttons.png",,-50);

КонецПроцедуры

Процедура СформироватьОтчетОстаткиТМЦ()

// меню Операции
ВыполнитьШаг("img/menu_operations.png");
Приостановить(1000);
ВыполнитьШаг("img/menu_reports.png");
Приостановить(1000);
Мышь.УстановитьПозициюКурсора(0, 0);
Приостановить(300);
ВыполнитьШаг("img/btn_big_ok.png");
Приостановить(1000);
ВыполнитьШаг("img/btn_report_run.png");
Приостановить(1000);
Мышь.УстановитьПозициюКурсора(0, 0);
Приостановить(1000);
ПутьКФрагменту = Новый Файл("img/report_after_receipt.png").ПолноеИмя;
ФрагментРезультатОтчета = Экран.НайтиФрагмент(ПутьКФрагменту);

Если ФрагментРезультатОтчета = Неопределено Тогда
ВызватьИсключение "Ожидаемый фрагмент с результатом отчета не найден.";
КонецЕсли;

КонецПроцедуры

Процедура ВыполнитьШаг(ИмяФайлаФрагмента, ДвойнойКлик = Ложь, СмещениеЛево = 0, СмещениеВерх = 0)

ПутьКФрагменту = Новый Файл(ИмяФайлаФрагмента).ПолноеИмя;
Фрагмент = Экран.НайтиФрагмент(ПутьКФрагменту);

Если Фрагмент = Неопределено Тогда
ВызватьИсключение "Не найден фрагмент: " + ИмяФайлаФрагмента;
КонецЕсли;

Координаты = КоординатыЦентра(Фрагмент);

Если ДвойнойКлик Тогда
Мышь.ЛеваяКнопкаКлик(Координаты.Лево + СмещениеЛево, Координаты.Верх + СмещениеВерх);
Приостановить(50);
Мышь.ЛеваяКнопкаКлик(Координаты.Лево + СмещениеЛево, Координаты.Верх + СмещениеВерх);
Иначе
Мышь.ЛеваяКнопкаКлик(Координаты.Лево + СмещениеЛево, Координаты.Верх + СмещениеВерх);
КонецЕсли;

КонецПроцедуры

Функция КоординатыЦентра(Фрагмент)

Лево = Фрагмент.Лево + (Фрагмент.Ширина / 2);
Верх = Фрагмент.Верх + (Фрагмент.Высота / 2);

Координаты = Новый Структура();
Координаты.Вставить("Лево", Лево);
Координаты.Вставить("Верх", Верх);

Возврат Координаты;

КонецФункции

Установка

Скачать архив здесь: https://github.com/ret-Phoenix/WinExt/releases

Выполнить команду: `opm install WinExt.ospx`

* Укажите свой путь до файла WinExt.ospx 

Позже будет доступна установка через OneScript OPM без предварительной скачки.

Возможности ВК:

Экран / Sreen

Методы

РазрешениеЭкрана / ScreenResolution()

Получить разрешение экрана

Параметры

  • SreenNumber: Число — Номер экрана, если ничего не задано — берет основной экран

Возвращаемое значение

ФиксированнаяСтруктура (Ширина, Высота)

НайтиФрагмент / FindFragment()

Найти на экране фрагмент из файла

Параметры

  • fragmentFileName: Путь к файлу с искомым фрагментом

Возвращаемое значение

ФрагментЭкрана

ФрагментЭкрана / ScreenFragment

Свойства

Верх / Top

Доступ: Чтение

Лево / Left

Доступ: Чтение

Высота / Height

Доступ: Чтение

Ширина / Width

Доступ: Чтение

РаботаСОкнами / WorkWithWindows

Методы

ЗапомнитьТекущееОкно / GetLinkToCurWindow()

АктивироватьЗапомненноеОкно / WndActivate()

АктивироватьОкноПоЗаголовку / SwitchToWinByTitle()

Мышь / Mouse

Управление мышкой. Установить/Считать позицию. Кликнуть кнопкой.

Методы

ЛеваяКнопкаКлик / LeftMouseClick()

ПраваяКнопкаКлик / RightMouseClick()

СредняяКнопкаКлик / MiddleMouseClick()

УстановитьПозициюКурсора / SetCursorPosition()

Установить позицию курсора

Параметры

  • posX: Позиция X

  • posY: Позиция Y

Возвращаемое значение

Булево — Удалось установить позицию курсора

ПолучитьПозициюКурсора / GetCursorPosition()

Получить позицию курсора

Возвращаемое значение

Структура — Ключи: Верх, Лево

МСПослатьКлавиши / MSSendKeys

Класс для отправки нажатий клавиш, основан на родном .net SendKeys.

Методы

ПослатьКлавиши / SendKeys()

Послать нажатия клавиш. Правила: https://docs.microsoft.com/ru-ru/dotnet/api/system.windows.forms.sendkeys?view=netframework-4.7

Параметры

  • keys: Строка — набор клавиш

ПослатьCtrlG / SendCtrlG()

ПослатьCtrlF / SendCtrlF()

ПослатьCtrlA / SendCtrlA()

ПослатьCtrlO / SendCtrl0()

ПослатьCtrlQ / SendCtrlQ()

ПослатьCtrlT / SendCtrlT()

ПослатьКвадратнуюСкобкуЛевую / SendCtrlSquareBracketLeft()

ПослатьКвадратнуюСкобкуПравую / SendCtrlSquareBracketRight()

ПослатьКонтролИнсерт / SendCtrlInsert()

РаботаСТекстом / WorkWithText

Методы

ПолучитьТекстПоля / GetModuleText()

ЗапомнитьТекущееОкно / GetLinkToCurWindow()

АктивироватьЗапомненноеОкно / WndActivate()

Related Posts

30 Comments

  1. Vladimir Litvinenko

    Ого, теперь приложения на OneScript, написанные с применением c применением библиотеки GUI можно будет покрывать сценарными тестами ))

    А если серьезно, то два вопроса:

    — Предполагается ли кросплатформенность с применением mono или хотя бы wine?

    — Будет ли на github документация? Хотелось бы более полную документацию чем по https://github.com/ret-Phoenix/oscript-simple-gui, чтобы не приходилось в исходники смотреть для применения ))

    Reply ↓
  2. ret-Phoenix

    (1)

    1. Изначально ВК тестировалась как раз на OneScript GUI (лежит в тестах)

    2. Кроссплатформенность — с этим проблемы, поэтому и называется WinExt, т.е. упор на Windows.

    Например работа с мышкой и хоткеи — работа через WinAPI, как себя поведет на Wine я не знаю.

    Работу под Mono не проверял, по идее класс Экран должен работать, что-то из управления мышкой может получится сделать без WinApi.

    3. Документация, на уровне API есть. остальное уже скорее howto.

    По тому же GUI громадный фронт работ, по документации так же. Если есть что добавить/подправить — присылайте.

    В дальнейшем планируется добавить еще алгоритмы анализа слепков, с возможностью указания какой использовать.

    Reply ↓
  3. ret-Phoenix

    Кстати, есть возможность использовать плагин из 1С. Например SQL уже так используется. Не помню точно кто это делал, поищу. Как найду — будет 2 статья, но уже по работе из 1С с DLL.

    Reply ↓
  4. Evil Beaver

    Ништяаааак!

    Reply ↓
  5. Makushimo

    круто.

    а откуда брать координаты для метода ФрагментЭкрана () ?

    для тестирования 1С обычные формы еще нельзя использовать?

    Reply ↓
  6. ret-Phoenix

    (5)

    фрагмент экрана — это что ищем.

    см. gif и см код. как раз тестирование обычных форм сделано.

    Reply ↓
  7. Tiger77

    Было бы неплохо добавить функцию для снятия скриншотов…

    Reply ↓
  8. comol

    Крут крут! И на шарпе наконец то и под оскрипт в исходниках… ещё в ВК обернуть заодно :).

    Слушай, а можешь FindSubimage на что-нить другое заменить?

    Может заюзаешь https://www.nuget.org/packages/AForge.Vision/ или https://www.nuget.org/packages/OpenCV/ ?

    Уже лучше чем сикули работать будет… Точное соответствие это несколько неюзабельно.

    Я себе конечно записал в личный бэклог к этой теме вернуться, но чувствую ты быстрее доберёшься…

    Reply ↓
  9. ret-Phoenix

    (8) AForge, насколько помню мертв. OpenCV — что-то мелькало по нему, не разбирался.

    Точность соответствия пока не регулируется, но это есть в планах.

    В будущем хотел разные движки-анализаторы добавлять.

    Reply ↓
  10. comol

    (9) Да, Aforge умер, прочитал :(. Раньше помогал он, в любом случае применение то простое.

    Сейчас nuget по CV самый популярный: https://www.nuget.org/packages/Accord.Imaging

    Если юзать хотя бы эти движки — с целью скриптов получим лучшее что сейчас есть…

    Reply ↓
  11. ret-Phoenix

    (10) еще Magic.Net есть, более известный как ImageMagic

    Reply ↓
  12. Makushimo

    (6)то есть координаты фрагмента экрана нужно писать наугад, пока не попадешь? если например у мена нету линейки вертикальной и горизонтальной?

    Например в сикули выбираешь область экрана рамкой и она сама координаты фрагмента определяет

    Reply ↓
  13. ret-Phoenix

    (12) не понимаю о чем вы вообще пишите.

    Читайте API и код.

    ФрагментЭкрана — это искомая область, загружаемая из файла. что видно из примеров, документации.

    Экран.НайтиФрагмент — ищет на основном экране изображение из ФрагментЭкрана. Если находит вернет структуру с координтами, иначе неопределено. Это видно из примера и документации.

    Я ищу не по координатам, а по содержимому. Сикули кстати так же.

    Reply ↓
  14. ret-Phoenix

    (7) добавил в задачи, это просто, сделаю в ближайшее время.

    Reply ↓
  15. ret-Phoenix

    (1) и часто приходилось лезть в исходник?

    Из текущих проблем, знаю только о поиске подчиненного элемента. В остальном, как мне кажется, документация с примерами решают все.

    Но я разработчик, мне многое понятно т.к. сам делал, поэтому могу что-то не замечать…

    Reply ↓
  16. Makushimo

    (13) Закроем эту тему. Видимо мне не удастся донести свой вопрос. Закину в кладовку может найду время разобраться с этим.

    пока буду по-старому Сикули использовать.

    Reply ↓
  17. ret-Phoenix

    (16) Ваше право, только ФрагментЭкрана лишь возвращает координаты найденного изображения, и принимает только путь с файлом картинки которую нужно найти. Поэтому и не понимаю как писать координаты экрана фрагмента, когда они впринципе не указываются, а возвращаются. В документации и примере это четко видно:

    Процедура ВыполнитьШаг(ИмяФайлаФрагмента, ДвойнойКлик = Ложь, СмещениеЛево = 0, СмещениеВерх = 0)

// ИмяФайлаФрагмента — имя файла с изображением, которое необходимо найти на экране.
ПутьКФрагменту = Новый Файл(ИмяФайлаФрагмента).ПолноеИмя;
// ищем изображение из файла на экране
Фрагмент = Экран.НайтиФрагмент(ПутьКФрагменту);
// если не нашли — Неопределено
Если Фрагмент = Неопределено Тогда
ВызватьИсключение «Не найден фрагмент: » + ИмяФайлаФрагмента;
КонецЕсли;

// Нашли, получили класс фрагмент, имеющий ряд свойств, таких как координаты, размеры.
// Находим координаты центра изображения, для клика, т.к. в моем случае искалась кнопка чтобы кликнуть.
Координаты = КоординатыЦентра(Фрагмент);
// какие-то действия

КонецПроцедуры

Функция КоординатыЦентра(Фрагмент)

// Фрагмент.Лево — координаты левого угла по горизонтали
// Фрагмент.Верх — координаты левого угла по вертикали
// Фрагмент.Ширина — ширина фрагмента, иначе говоря искомого изображения
// Фрагмент.Высота — ширина фрагмента, иначе говоря искомого изображения

Лево = Фрагмент.Лево + (Фрагмент.Ширина / 2);
Верх = Фрагмент.Верх + (Фрагмент.Высота / 2);

Координаты = Новый Структура();
Координаты.Вставить(«Лево», Лево);
Координаты.Вставить(«Верх», Верх);

Возврат Координаты;

КонецФункции

    Показать

    Reply ↓
  18. Makushimo

    (17) Я, наверное невнимательно смотрел. У вас ФрагментЭкрана — это некий объект со свойствами, который возвращается методом НайтиФрагмент(). А я было подумал, что это метод ФрагментЭкрана(), который аналогично Region() в Сикули, указывает область поиска фрагмента. От этого и возник вопрос.

    Ну ОК.

    А есть ли у вас метод, который указывает область поиска ? или поиск фрагмента всегда идет по всему экрану?

    И как устроен процесс подготовки фрагментов для сценария? Нужно заранее составить библиотеку картинок-скринов элементов интерфейса, например, в Paint ?

    Reply ↓
  19. ret-Phoenix

    (18) Метода ограничивающего область поиска нет.

    Подготовка фрагментов — нарезка картинок-скринов интерфейса.

    Пример из исходников на github

    Reply ↓
  20. Makushimo

    (19) Ок. спасибо.

    Reply ↓
  21. 🅵🅾️🆇

    Про AutoHotKey было уже?)

    Reply ↓
  22. blackhole321

    Сергей, зайди плз на github, посмотри форк

    Reply ↓
  23. frostrester

    Добрый день. Подскажите, пожалуйста, по каким причинам может быть не найден фрагмент на экране? Есть какие-то условия качества/формата картинки, которую нужно использовать для поиска? Проверила все функции, все работает кроме фрагментов. Может у вас есть какие-то предположения или вы с чем-то подобным сталкивались?

    Reply ↓
  24. ret-Phoenix

    Сталкивался. Когда много шума. Скрины делал в png, программа joxi.

    Для начала попробуйте запустить мои тесты. И код точно верный?

    Reply ↓
  25. frostrester

    Да, код верен. Так же делала скрины с помощью joxi. Буду тестировать на других картинках, посмотрю, что получится. Спасибо!

    Reply ↓
  26. ret-Phoenix

    (25) Напомню, приложение не должно быть свернутым.

    Reply ↓
  27. Perfolenta

    (23) образец лучше всего делать в формате bmp с той же разрядностью цвета как у экрана, т.к. если делать в jpg, то картинка может и не совпадать из-за сжатия…

    Reply ↓
  28. ret-Phoenix

    (27) PNG — вполне неплохой вариант.

    У меня в тестах он используется.

    Reply ↓
  29. Perfolenta

    (28) да, PNG и GIF тоже подходят, они используют сжатие без потерь, но надо следить, что бы палитра в них правильная была выбрана… особенно в GIF…

    Reply ↓
  30. premierex

    (0)

    Поиск окна по части заголовка

    А в управляемых формах тоже можно дочернее окно по части заголовка найти?

    Я, насколько помню, их там просто нет. Заголовков в смысле. Когда писал компоненту ActiveX контейнер для управляемого интерфейса системы 1С:Предприятие столкнулся с этой проблемой.

    Reply ↓

Leave a Comment

Ваш адрес email не будет опубликован. Обязательные поля помечены *