Парсинг сайтов из 1С на примере ломбарды.рф с помощью XPATH для ДокументDOM

33 Comments

1. bonv 01.04.2019 at 15:53

   (0)

   1. Редирект. По указанной в Урл странице находится страница с перманентным редиректом. Взять из нее адрес не составит никакого труда. а определить ее можно по 301-й ошибке в ответе веб-сервера.

   Используйте
   
   https://infostart.ru/public/709325/
   
   и не будет проблем с редиректами

   Reply ↓
2. webester 02.04.2019 at 12:33

   (1)Мне нравится простой пример с ИТС https://its.1c.ru/db/metod8dev#content:5574:hdoc обрабатывает перенаправления указывает на типы ошибок

   Reply ↓
3. bonv 02.04.2019 at 12:43

   (2) все хорошо, пока не захочется парсить сайты, требующие предварительной авторизации

   Reply ↓
4. webester 02.04.2019 at 12:52

   (3)Это на тему перенаправления. Использовать только ради него Коннектор, как из пушки по воробьям. Библиотека сама по себе отличная.

   Reply ↓
5. Поручик 02.04.2019 at 21:19

   Редирект в ответе HTTP и не только http://forum.aeroion.ru/topic749.html

   Reply ↓
6. starik-2005 02.04.2019 at 22:49

   Редирект на столько прост, что я о нем даже говорить не стал — скучно! Особенно когда редирект внутри одного домена

   О = С.Ролучить(З);
   Если О.КодОтвета МЕЖДУ 300 и 399 Тогда
   З = Новый HTTPЗапрос(ПолучитьУрл(О));
   О = С.Получить(З);
   КонецЕсли;
   

   Reply ↓
7. s_vidyakin 03.04.2019 at 02:28

   лучше поднапрячься и изучить как это делается в цивилизованном мире — nodejs + axios + cheerio https://nuancesprog.ru/p/3102/ делов на полчаса ))
   
   XPath это непонятная хрень, иногда работает иногда нет, на определенных тегах/классах/фазах Луны

   Reply ↓
8. starik-2005 03.04.2019 at 07:20

   (8) ну это как с регулярками — у меня работает, а у пользователей компьютера не всегда, хотя у нас даже аналитики уже регулярки освоили и дату в локальном формате могут заменять на xml- дату, и всегда работает)))

   Reply ↓
9. starik-2005 03.04.2019 at 08:55

   (8) кстати, вывод автора неутешительный: «мы можем извлекать данные только из статических сайтов». Я же привел пример извлечения из динамического сайта как раз — основная хитрость тут — это разобраться с источниками данных.

   Также если посмотреть на статью внимательно, то понятно становится, что ничего нового — тот же запрос к HTML-ДОМ’у, преобразованному в виртуальный ДОМ с помощью компонента node.

   Reply ↓
10. s_vidyakin 03.04.2019 at 11:07

    (10) там есть вторая часть, для динамических сайтов — https://nuancesprog.ru/p/3125/.
    
    Конечно тот же DOM, но удобнее, у XPath язык отличается от стандартных CSS селекторов
    
    Да и скорость еще под вопросом у XPath, думаю он ляжет на больших объемах

    Reply ↓
11. starik-2005 03.04.2019 at 11:11

    (11) так я и не спорю, что 1С для парсинга сайтов подходит весьма условно. Во второй статье очень хороший и интересный подход через кликер для динамики — реально вещь! )))

    Reply ↓
12. s_vidyakin 03.04.2019 at 11:14

    (9) пробовал получать вложенные теги в определенном теге, указываю типа «.class1 > .class2» — НОЛЬ элементов. В консоли браузера все выбирается. Пришлось выбирать глобальным поиском по class2, но они там и в других местах были, логика усложнилась проверками. Больше с XPath не связываюсь
    
    Возможно было бы более интересно если бы написали библиотеку на OScript типа cheerio и сделали обзор )

    Reply ↓
13. starik-2005 03.04.2019 at 11:22

    (13)

    пробовал получать вложенные теги в определенном теге, указываю типа «.class1 > .class2» — НОЛЬ элементов

    Если речь об 1С, то я даже уточнил в статье, что XPath в ней ограничен. Хотя //div[@class=’c1′]/div[class=’c2′]/text() — вполне рабочая конструкция даже для 1С.

    Reply ↓
14. fr13 04.04.2019 at 10:46

    Материал полезен для новичков в этой теме, но зачем же так называть переменные?

    Reply ↓
15. starik-2005 04.04.2019 at 13:32

    (15)

    но зачем же так называть переменные?

    Переменные названы просто отлично. Так, как в примерах для других языков программирования.
    
    ЗЫ: Я, кстати, тоже с Вологды.

    Reply ↓
16. TODD22 04.04.2019 at 13:33

    (16)Вы все переменные называете как «счётчик цикла» ?

    Reply ↓
17. starik-2005 04.04.2019 at 13:35

    (17)

    Вы все переменные называете как «счётчик цикла» ?

    Мы все переменные называем ровно так, чтобы было понятно, что они есть.

    Reply ↓
18. TODD22 04.04.2019 at 14:11

    (18)
    
    Да я заметил «О», «С», «З»… очень содержательные имена.

    Reply ↓
19. starik-2005 04.04.2019 at 14:18

    (19) для понимания достаточно?

    Reply ↓
20. premierex 05.04.2019 at 16:54

    (20) Вот имя переменной ПроцессорВыводаРезультатаКомпоновкиДанныхВКоллекциюЗначений вполне себе содержательное. Для понимания достаточно, даже если с места её объявления прокрутить несколько сотен строк, смысл всё равно будет понятен.
    
    А вот смысловую нагрузку «О», «С», «З» можно понять, если текст, где происходит объявление этой переменной и где время её жизни заканчивается, находятся на одной экранной страннице. Не экономьте время на читабельности кода! Через некоторое время самому сложно будет этот код править.

    Reply ↓
21. starik-2005 05.04.2019 at 21:20

    (21) кто не умеет — тому пропроцессор компоновки как ни назови — все бессмысленно. А кто умеет — тому хоть горшком (наролная мудрость, кстати, а вряд ли мы умнее народа по-одному)

    Reply ↓
22. premierex 06.04.2019 at 10:27

    (0) Информация по теме: в версии платформы 8.3.13 у объекта ДокументHTML появилась функция НайтиПоФильтру(Фильтр). С её помощью можно получить требуемые узлы, выполнив следующий код:
    

     ЧтениеHTML = Новый ЧтениеHTML;
    ЧтениеHTML.УстановитьСтроку(ТекстHTML);
    Построитель = Новый ПостроительDOM;
    ДокументHTML = Построитель.Прочитать(ЧтениеHTML);
    ЧтениеHTML.Закрыть();
    ДокументHTML.НормализоватьДокумент();
    Фильтр = «{
    | «»type»»: «»intersection»»,
    | «»value»»:
    | [
    |  {
    |   «»type»»: «»elementname»»,
    |   «»value»»:
    |   {
    |    «»value»»: «»div»»,
    |    «»operation»»: «»equals»»
    |   },
    |  }
    |  ,
    |  {
    |   «»type»»: «»hasattribute»»,
    |   «»value»»:
    |   {
    |    «»value»»: «»class»»,
    |    «»operation»»: «»nameequals»»
    |   }
    |  }
    |  ,
    |  {
    |   «»type»»: «»hasattribute»»,
    |   «»value»»:
    |   {
    |    «»value»»: «»item-info»»,
    |    «»operation»»: «»valueequals»»
    |   }
    |  }
    | ]
    |}»;
    МассивУзлов = ДокументHTML.НайтиПоФильтру(Фильтр);
    

    Показать

    Ну а затем уже анализировать дочерние элементы. Можно с помощью XPath, а можно и без.

    Reply ↓
23. fr13 06.04.2019 at 11:28

    (16) мы пересекались в Вологде года 4 назад. Магазин автозапчастей. Я тогда работал в своем первом франче, а Вы были как приглашенный московский спец ))

    Reply ↓
24. starik-2005 06.04.2019 at 17:19

    (24) я кстати к ним на днях заеду — чисто поглядеть. А по поводу приглашенного — это мои клиенты с 2004-го года.

    Reply ↓
25. starik-2005 25.04.2019 at 15:21

    (24) кстати, переработал и дополнил их программно-аппаратную часть — вот что получилось: https://infostart.ru/public/1051601/

    Reply ↓
26. fr13 26.04.2019 at 08:47

    (26) Да, я прочитал этот материал ) сразу понял про кого речь ))

    Reply ↓
27. ture 17.05.2019 at 15:15

    Jsoup, и не забивай голову ерундой

    Reply ↓
28. starik-2005 17.05.2019 at 15:36

    (28)

    Jsoup

    А что там у него с динамическим контентом?

    Reply ↓
29. ture 17.05.2019 at 15:42

    (29) работает

    Reply ↓
30. starik-2005 17.05.2019 at 17:30

    (30) куда нажимать?

    Reply ↓
31. amd1986 25.07.2019 at 11:38

    Брр. Кто мешает использовать 1C 8.3.14 и javascript?

    Reply ↓
32. starik-2005 25.07.2019 at 12:29

    (32)

    Кто мешает использовать 1C 8.3.14 и javascript?

    А как JS заставить работать в регламентном задании? Мне вот реально надо (бывал как-то в Кадникове ВО в детском доме — давно это было).

    Reply ↓
33. amd1986 25.07.2019 at 13:00

    (33) В фоновом наверно не получится(не проверял). Страница должна прогрузиться на форме, чтобы с ней можно было работать через ноды.

    Reply ↓