WebSite Watcher

Форум Сообщества Практиков Конкурентной разведки (СПКР)

Конкурентная разведка, Бизнес-разведка, Корпоративная разведка,
Деловая разведка по открытым источникам в бизнесе.
Работаем строго в рамках закона.

Дезинформация и активные мероприятия в бизнесе
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Софт для конкурентной разведки »   WebSite Watcher
RSS

WebSite Watcher

Всё, что связано с программой WebSite Watcher

<<Назад  Вперед>>Страницы: 1 2 3 4 5 * 6
Печать
 
Irina
Молчун

Всего сообщений: 5
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
6 мар. 2017
Спасибо за ответ!
Хотела все-таки уточнить по поводу отслеживания ссылок в определенном разделе сайта, так как не совсем ясно.

Допустим, у меня есть сайт Бурятского УФАСа и мне нужно так настроить мониторинг, чтобы поиск осуществлялся лишь по ленте новостей, которая идет в центре страницы, при этом поиск осуществлялся по ключевому слову и отслеживался не только в заголовке новости, но и внутри новости, в тексте (тут, я полагаю, и нужно отслеживание ссылок).
Прошу прощения за такую дилетантскую формулировку вопроса))) :smile:
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 782
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009
Есть два способа решить вашу задачу:

1. Быстрый: Через фильтры. Отфильтровываем весь лишний контент. Затем настраиваем следование по ссылкам. Обязательно включаем опцию "Не следовать по ссылкам внутри отфильтрованных участков".

2. Надёжный: Через плагин. Пишем плагин, который удалит со страницы весь лишний контент. Затем следуем по ссылкам. Плагин гарантирует, что ни по одной другой ссылке робот точно не перейдёт (потому что они гарантированно удалены).

Оба способа хороши, но при изменении исходного контента страницы, фильтры переделывать всё же быстрее, чем плагин.
Irina
Молчун

Всего сообщений: 5
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
6 мар. 2017
Спасибо за оперативный ответ!
Уточните, у каких случаях и как часто необходимо переделывать фильтры?
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 782
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009
Владельцы сайтов без дела не сидят. То на страницах какой-то новый элемент прикрутят, то дизайн улучшат, то новую версию движка поставят, то вообще на другой движок перейдут. Все эти действия могут существенно изменять исходный HTML-код страницы. В этом случае старые фильтры могут не срабатывать и плагины тоже перестают работать. Приходится переделывать. Как часто? Среднего значения нет. Есть сайты, которые годами не меняются, а есть сайты, на которых исходный код меняется ежедневно (похоже, какие-то программы ставят, которые исходный код постоянно меняют). Это проблема не только WSW. Это головная боль любой системы мониторинга.
Irina
Молчун

Всего сообщений: 5
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
6 мар. 2017
Понятно, спасибо. Все, действительно, сложнее, чем кажется))

Я работаю в небольшом агентстве новостей узкой тематики. Сейчас мы испытываем возможности WSW с целью дальнейшей покупки этой программы для нашего отдела мониторинга и пользования ее сотрудниками отдела. Сотрудники - не специалисты программирования )) В связи с этим и с Вашим последним сообщением у меня еще вопрос: посоветовали бы Вы данную программу в нашем случае? Задачи отдела: поиск обновляющейся информации определенной тематики на определенных сайтах? Или, возможно, посоветовали бы другую, более простую (если такая вообще существует) программу?
vbl
Модератор форума

Откуда: Нижний Новгород
Всего сообщений: 179
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
10 июня 2009

Irina написал:
[q]
[/q]


[q]
Допустим, у меня есть сайт Бурятского УФАСа и мне нужно так настроить мониторинг, чтобы поиск осуществлялся лишь по ленте новостей, которая идет в центре страницы, при этом поиск осуществлялся по ключевому слову и отслеживался не только в заголовке новости, но и внутри новости, в тексте (тут, я полагаю, и нужно отслеживание ссылок).
[/q]


Посмотрите программу СайтСпутник в версии News. Для Ваших задач будет самое то. Сайт программы - www.sitesputnik.ru/

По цене они конечно не очень сопоставимы, но зато функционал у СайтСпутника очень хорош. А решать такую задачу с помощью Вочера, это, отчасти, сродни мазохизму :)



---
Non progredi est regredi

http://www.informnn.ru
Информационная рассылка "Конкурентная разведка. Сам себе разведчик" - http://subscribe.ru/catalog/tech.razvedka
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 782
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009
Для мониторинга новостей лучше подходит СайтСпутник версии News.

Сильная сторона WSW - мониторинг изменений на конкретной странице. Например, есть страница с перечнем сотрудников некоей компании, и изо дня в день на этой странице ничего не меняется, пока не появится новый сотрудник. Так вот, это задача WSW. Он может годами ходить на одну и ту же страницу, а оповещать Вас только когда на ней появятся изменения.
Также WSW удобен при мониторинге форумов. Там есть специальный встроенный плагин.
И ещё WSW пригождается при мониторинге flash-контента (картинок). Он может делать скриншот экрана и сравнивать его с предыдущей версией.
Irina
Молчун

Всего сообщений: 5
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
6 мар. 2017
Большое спасибо за разъяснения. Посмотрим еще и СайтСпутник версии News.
ara_367519
Долгожитель форума

Откуда: г. Пенза
Всего сообщений: 802
Рейтинг пользователя: 14


Ссылка


Дата регистрации на форуме:
4 дек. 2012
А никто не подскажет, wsw можно использовать для мониторинга телеграмм-каналов или что под это заточить?

---
истина где-то рядом...
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 782
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009
У WSW есть технология проверки через браузер IE, который запускается скрытно и позволяет выполнять любые скрипты. Если телеграмм-канал можно просмотреть через IE, то его увидит и WSW.
Для авторизации на сайте и задания запросов можно использовать Макросы.
К сожалению, WSW позволяет прокручивать страницу вниз только 10 раз; то есть, более давние новости через него не собрать. Собственно, это понятно - программа предназначена для мониторинга изменений, а не для выкачивания всего контента.
WSW приносит HTML-код страницы, в котором JavaScripts внедряются в текстовом виде (что даёт возможность изучать скрипты и использовать это для сложных запросов к серверу сайта). Если из телеграмм-канала нужно будет доставать только определённую информацию, то для этого нужно будет написать WSW-скрипт, который вытащит нужный текст и сохранит его в виде файла.
<<Назад  Вперед>>Страницы: 1 2 3 4 5 * 6
Печать
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Софт для конкурентной разведки »   WebSite Watcher
RSS

Последние RSS
10 альтернативных поисковиков
Ситуационный центр главы Республики Коми
Развёртывание ситуационных центров на базе технологии Avalanche
Как принимать сложные решения. Советы бывшего оперативника ЦРУ.
Открытая информация о "Новичке" из сети интернет.
Ген. директор "ОЗХО" Ахмет Узюмдж о "Новичке" и хим. атаке в Сирии
Онлайн-сервисы для Twitter
Коллекция для Twitter
Приложение Opera VPN закрывается
О работе разведки
Deep web и 11 поисковиков по нему
Об изначальной "лживости" любых документов
Обновление на блоге HRазведка
методическое пособие
Обработка информации из социальных сетей – широко распространенный метод сбора и
Вызов СайтСпутника из других программ
Обработка персональных данных из соцcетей
Одновременное внедрение опции распознавания лиц «ВКонтакте», «Одноклассниками» и
Полезный скрипт
Cистема мониторинга СМИ – «Катюша»

Самые активные 20 тем RSS