Форум Сообщества Практиков Конкурентной разведки (СПКР)

Можете подсказать, как организовать при анализе (скачивании) сайта фильтрацию. Тоесть, ссылки с pdf сбрасывать в под папку PDF, а ссылки с рисунками в под папку Image

Один из участников форума задал мне вопрос:

[q]

Не могу поставить на мониторинг страничку из контактов. Есть которые ставятся, а есть которые нет. В чем загвоздка?

[/q]

Поскольку ситуация довольно распространённая, а решается разными способами, я отвечу в этой ветке, чтобы мой ответ увидели другие читатели форума и знали, как поступать в таких случаях.

Причина проблемы чаще всего кроется в настройках доступности страничек ВК. Некоторые пользователи ВК открывают свои странички для всех Интернет-пользователей, другие пользователи закрывают их от незарегистрированных пользователей ВК, или открывают их только для друзей. То же самое относится и к другим ресурсам с ограниченным доступом, например, к форумам.

Когда пользователь заходит в ВК через обычный браузер, то авторизуется (возможно автоматически) и видит всё, что ему доступно - открытые странички, страницы друзей. Когда WSW заходит в ВК, то он не авторизован. Он видит только то, что доступно обычному не авторизованному посетителю, то есть только те странички, которые открыты для всех пользователей Интернета.

Чтобы решить эту проблему, нужно научить WebSite Watcher автоматически авторизовываться на ресурсах с ограниченным доступом.
Программа поддерживает сразу несколько видов авторизации.

Способ 1. Cookies. Это, пожалуй, самый быстрый способ авторизации.
Наверное, Вы замечали, что на некоторых сайтах достаточно авторизоваться один раз, а при следующих заходах сайт уже не требует ввода логина-пароля, а сразу пропускает пользователя. Причина кроется в Cookies - небольших файлах, которые сайт сохраняет на компьютере пользователя, и которые содержат некий код идентификации. При каждом следующем заходе сайт просто находит нужный ему файл Cookies, считывает из него код, и, если код правильный, то пропускает пользователя без необходимости ввода пароля.
WebSite Watcher может хранить в себе такие файлы Cookies, либо считывать их из Internet Explorer. Способ работы с Cookies выбирается в настройках закладки "Дополнительно / Опции проверки (2) / Cookies".

Способ 2. Авторизация сервера.
Иногда, когда Вы заходите на сайт, он выводит специальное окошко с 2 полями, в которые нужно ввести пару логин-пароль. Для авторизации такого типа в WebSite Watcher есть специальная настройка "Дополнительно / Login / Авторизация сервера". Просто введите логин и пароль в программе, и WSW будет сам подставлять их в поля формы авторизации.

Способ 3. Макрос. Некоторые сайты, вроде нашего форума, имеют сложный механизм Cookies-авторизации. Однажды сохранённые Cookies не сработают при следующей авторизации. Для подобных сложных случаев в программе предусмотрена авторизация через макрос.
Макрос записывает действия пользователя, которые он совершает при входе на сайт (ввод текста в поля, нажатия кнопок и т.д.), а при проверке закладки автоматически воспроизводит все эти действия. Несмотря на большое удобство этого способа, всё же у него есть недостаток - программа делает довольно большие паузы между действиями, в результате такие закладки проверяются чрезвычайно медленно.
Макрос можно записать в свойствах закладки двумя способами: "Общие / Check Macro..." или "Дополнительно / Login / Check Macro...".

Способ 4. Referrer. Есть такие странички, которые невозможно посмотреть по прямой ссылке. Они доступны только если запрос перенаправлен с другого сайта. WebSite Watcher поддерживает такие перенаправления. В свойствах закладки нужно ввести URL-адрес сайта, с которого осуществляется перенаправление в "Дополнительно / Опции проверки (2) / Referrer".

Способ 5. GET / POST. Этот способ для продвинутых пользователей. Если Вы представляете, как страничка в браузере общается с Интернет-сервером, то можете прописать, какие именно запросы можно отправить серверу в форме GET или POST.


Для авторизации в ВК подойдёт Способ 1.
Откройте ВК в Internet Explorer, авторизуйтесь и импортируйте Cookies.
Либо откройте мини-браузер WebSite Watcher, зайдите в ВК, авторизуйтесь, перейдите на вкладку "Cookies" и скопируйте её содержимое в настройки закладки.
Один и тот же Cookies используйте для всех закладок к ВК.

SkyAn написал:

[q]

А так же большое количество мусорных страниц, которые нас не интересуют, от них я избавился через "Отслеживание ссылок" и там добавил исключения (не знаю правильно ли)

[/q]

Есть такой способ. Должен работать.
А почему вы сомневаетесь в его правильности?

SkyAn написал:

[q]

Что хотелось бы получить на выходе.
1. Фильтрация по типу ссылок. Частично сделал с помощью виртуальных папок.
2. Сделать заготовку, когда добавляется новый сайт, то сразу создаются виртуальные папки с условиями фильтрации (тип, PDF, img, zip)
3. Возможность пакетно редактировать условия фильтрации для виртуальных папок.
4. Возможность совместной работы с базой. Или как-то по другому информировать об обновлениях.

[/q]

Отвечу по пунктам:

1. Почему частично? Правила виртуальных папок настраиваются довольно гибко. Например, можно использовать правило "проверяемый url содержит текст "pdf" ". Все PDF-файлы будут попадать в эту виртуальную папку. Вторым правилом можно указать название сайта, чтобы файлы с разных сайтов попадали в разные папки.

2. К сожалению это невозможно в последней версии WSW. Папки можно создавать только вручную и задавать их свойства тоже только вручную.

3. Этого в программе тоже нет. Нельзя даже просто скопипастить правила попадания в папку.

4. Для информирования об обновлениях можно сделать рассылку отчётов с обновлениями. Есть ещё запуск программ с параметрами, но этот способ для умельцев создавать собственный софт.

Вышла первая бета-версия WebSite-Watcher 2017.0

Из нового:

• Возможность запуска на одном компьютере нескольких экземпляров программы. Первой устанавливается настольная версия, потом можно установить в разные папки несколько портабельных версий с тем же самым ключом.
• Синхронизация баз закладок с облачными хранилищами или с локальной/сетевой папкой. То есть, становится возможным работать с одной и той же базой на разных компьютерах (на рабочем, домашнем, ноутбуке). Эта же функциональность поддерживается на уровне скриптов.
• Действия при обновлении - пересылка содержимого через e-mail. Теперь программа создаёт вложение в виде zip-файла, в который вкладывает HTML, картинки и scc-файлы.
• При мониторинге RSS-лент теперь есть возможность получать изображения. Если RSS-канал имеет ошибки кода, то программа сама исправляет многие из них.
• Для User Agent теперь можно просто подставить переменные {chrome} или {firefox}, а программа сама подставит правильные значения.
• Появилась возможность проверять доступность отслеживаемого сервера через пинг.
• Можно отменить отправку сообщения.
• Если возникают ошибки выполнения сценария, то они отображаются в главном окне программы, например, если не найдена целевая папка.
• Улучшена фильтрация контента через CSS.
• Для плагинов теперь появилась специальная команда, которая удаляет дубликаты из строковых списков.
• В мини-браузере появилась команда остановки выполнения макроса.
• Улучшена подсветка ключевых слов на вкладке "Анализ".
• Улучшена совместимость с Win10 / IE11.
• Улучшена производительность проверки закладок. Существенно возросла скорость проверки закладок.