Программа помогает Web-мастерам создавать файлы sitemap.xml и robots.txt, а также отслеживать появление внешних ссылок на Вашем сайте.
Можно создавать файл вручную, но при разрастании сайта отслеживать за изменениями становится проблематично.
Программа выполняет три процедуры:
- Скачивает сайт, ищет в нем ссылки, скачивает найденные ссылки и снова ищет на нем ссылки, до тех пор пока вся структура сайта не будет скачана. Всю собранную информацию программа собирает в справочник «Скачанные ссылки с сайта». Найденные внешние ссылки записываются в справочник «Внешние ссылки». Анализ внешних ссылок позволит исключить посторонний код на Вашем сайте. Данная программа запускается отчетом «Прочитать структуру сайта и записать в справочник». Для предотвращения зацикливания в константах надо указать число максимальное возможное количество скаченных страниц с сайта.
- Перенос данных из справочника найденных скачанных ссылок в справочник ссылок SiteMap и Robots. В справочнике ссылок SiteMap и Robots хранится информация о создании файлов. А именно: дата создания страницы, приоритеты, сроки обновления и т.д. Информацию туда можно вносить вручную или на основе собранной информации предыдущей обработки. Для переноса информации запустите отчет «Перенести скачанные файлы в справочник файлы Sitemap». Обработка перенесет информацию, если аналогичная ссылка уже находилась в справочнике, будет изменена только дата. При отсутствии ссылки создастся новая с параметрами по умолчанию. Справочник «ссылок SiteMap и Robots» можно редактировать вручную,
- Создать файл sitemap.xml и robots.txt. Файлы создаются в каталоге, указанном в константах.
После создания файлы можно переписать на свой сайт или отредактировать справочник и заново пересоздать файл. Файлы создаются по описанию файлов прочитанных с страниц согласно протоколу
http://www.sitemaps.org/ru/protocol.html
Конфигурация содержит в себе справочник ссылок для файлов sitemap.xml и robots.txt, а также отчет создания файлов sitemap и robots.
При формировании файла укажите домен сайта. Возможно создание файлов для нескольких сайтов.
Программа проверена на сайте
www.mailvirtual.ru
для технической поддержки обращайтесь по электронной почте
info@mailvirtual.ru или ICQ 443039.
Программа тестировалась на сайте http://www.mailvirtual.ru 2122 страниц
При отправке вопроса укажите название сайта. Спасибо за понимание.
Related Posts
Получение логина и пароля техподдержки 1С из базы
Класс для вывода отчета в Excel
Счет-фактура для УПП
Библиотека классов для создания внешней компоненты 1С на C#- Акт об оказании услуг (со скидками) — внешняя печатная форма для Управление торговлей 11.1.10.86
Прайс-лист с артикулом в отдельной колонке
назначение этой разработки в том, чтобы отлавливать вирусы и всякие атаки на сайт?
Совершенно верно.
Если сайт взломан, то скорее всего на нем разместят ссылку на гвн-сайт. Все думают что мой сайт этого избежит, но при анализе всплывают куча ссылок которые надо удалять. Кроме этого создается файл sitemap и robots c обновленной информацией, а goole и yandex это нравиться и они чаще его посещают. Если нужна база (url зоны RU и SU) больше 8 мил. записей для поиска таких уязвимостей могу выслать – безвозмездно, то есть даром.
интересная обработка
Все больше интересных обработок для связи с внешним миром
Планируется ли развитие обработки или описание чего нибудь еще интересного из этой темы?
Автор пишет, что тестировал обработку на примере сайта какого то сайта , странно…я в принципе не нашел на этом ресурсе файла sitemap указываю в браузере и не получаю ответа… решил сгенерировать такой файл указав простенькую ссылку и опять не работает..
Прошу откликнуться автора