WebSite Watcher

Форум Сообщества Практиков Конкурентной разведки (СПКР)

Конкурентная разведка, Бизнес-разведка, Корпоративная разведка,
Деловая разведка по открытым источникам в бизнесе.
Работаем строго в рамках закона.

Дезинформация и активные мероприятия в бизнесе
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Софт для конкурентной разведки »   WebSite Watcher
RSS

WebSite Watcher

Всё, что связано с программой WebSite Watcher

<<Назад  Вперед>>Страницы: 1 * 2 3 4 5 6
Печать
 
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 795
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009
Для: PetroFF
Собственно, Вялый ответил на Ваш вопрос. Можно получать уведомление об обновлении странички только если на ней есть ключевые слова.
Почитайте ещё дополнительно файл справки. Он даже более подробный, чем нужно рядовому пользователю.
PetroFF
Долгожитель форума

Всего сообщений: 251
Рейтинг пользователя: 2


Ссылка


Дата регистрации на форуме:
31 янв. 2012

tungus1973 написал:
[q]
Можно получать уведомление об обновлении странички только если на ней есть ключевые слова.
[/q]

Да, именно это было нужно. :hi: Спасибо, за подвтерждение мануала. :yes:
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 795
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009
Плагин "WebSite Watcher" для мониторинга Яндекс.Новостей

Плагин написан мной как учебный образец, чтобы любой пользователь программы мог понять, как пишутся и работают плагины. Текст плагина снабжен многочисленными подробными комментариями, буквально для каждого оператора.

Плагин не будет работать в старых версиях "WebSite Watcher", не имеющих систему плагинов.

Скачайте zip-архив с плагином ТУТ, разархивируйте его.
Скопируйте плагин в папку "WebSite-Watcher\config\plugins\", затем запустите программу "WebSite Watcher" (WSW). (Если скопировать плагин в папку после запуска WSW, он не пропишется в систему плагинов).

Для постановки Яндекс.Новостей на мониторинг:
- Откройте страничку Яндекс.Новостей в браузере, введите свой запрос, нажмите кнопку "Найти".
- Для корректной работы плагина выберите сортировку "по дате" и "не группировать по сюжетам".
- Скопируйте из адресной строки браузера ссылку и создайте на её основе закладку "WebSite Watcher".
- Плагин можно использовать для мониторинга нескольких "склеенных" страниц. Зайдите в "Свойства закладки / Дополнительно / Слияние страниц (Merge Pages)", установите галочку на функции "Слияние страниц" ("Merge Pages"), нажмите кнопку "Помощник" ("Assistant"). В открывшемся браузере щёлкните на ссылку перехода на страницу 2, нажмите кнопку "Далее >". В открывшемся поле со значениями POST-запроса, выберите строку "p=1", нажмите ещё раз кнопку "Далее >", затем кнопку "Финиш".
- Зайдите в "Свойства закладки / Дополнительно / Плагин", нажмите кнопку "Выбрать публичный плагин", выберите в списке "YaNews". Если на этом этапе вы не увидели плагин, значит это произошло по одной из трёх причин: 1) файл плагина скопирован не в ту папку; 2) файл плагина скопирован в папку после того, как был запущен WSW. Завершите и вновь запустите WSW; 3) WSW посчитал этот плагин несовместимым с закладкой. Проверьте, не изменил ли Яндекс html-код страницы. Если изменил, в плагине нужно будет указать новые теги-признаки начала и конца новостей.

Плагин собирает новости со странички Яндекс.Новостей, определяет, есть ли новые новости. Если найдены новые новости, то формируется html-страничка, в которой новые новости (которых раньше не было) будут располагаться в начале странички, за ними последуют старые новости. Для новостей, не имеющих даты, плагин проставит её. Каждая новость будет содержать сведения в последовательности, отличной от Яндекса: заголовок-ссылка, источник новости, дата-время новости, сниппет (краткое содержание). Плагин выкачает странички с новыми новостями и поместит их в папку "WebSite-Watcher\config\downloads\" (при необходимости эту функцию можно отключить).

Для просмотра текста плагина, зайдите на вкладку "Свойства закладки / Дополнительно / Плагин", нажмите на кнопку со стрелкой вниз, выберите "Правка плагина", откроется среда разработки плагинов, в которой Вы увидите вкладки:
- "Конфигурация". Здесь устанавливаются название, описание плагина, способ применения плагина (спросить пользователя, вручную, автоматически), проверку совместимости (по условиям идентификации, или по идентификации + по тексту плагина).
- "Идентификация". Указываются способы идентификации плагина - когда программа будет предлагать Вам применить его.
- "Скрипт плагина". Здесь находится сам текст плагина.
- "Исходный код страницы". Здесь Вы увидите html-код последней страницы для этой закладки. Если плагин ещё не применялся, то будет показан исходный код интернет-версии страницы. Если к странице применялся плагин, то Вы увидите исходный код страницы, каким он стал после работы плагина.
- "Веб-браузер". Показывает страницу с кодом из предыдущей вкладки, как она выглядит в браузере.
- "Браузер файлов". Здесь можно просмотреть текст других плагинов, пользовательских или предустановленных в программе.
- "Сравнение". Вкладка показывается только после выбора плагина на предыдущей вкладке. Вы можете увидеть, чем отличаются плагины. Очень удобно, если у Вас есть несколько версий одного и того же плагина, можно быстро увидеть их конкретные отличия.
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 795
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009
Обнаружена проблема: WSW отказывается ходить по ссылкам с кириллическими символами (считает их некорректными?). Например, могут возникнуть проблемы с мониторингом сайта типа "президент.рф". Возможно, такая же проблема может возникнуть с другими программами мониторинга.
Для нормальной работы рекомендуется кириллические символы перевести в Punycode, например, через он-лайн конвертер. Вводите адрес кириллического сайта, жмёте на кнопку "Перевод". В поле "После кодирования:" отображается адрес в Punycode, который ставите на мониторинг.
PetroFF
Долгожитель форума

Всего сообщений: 251
Рейтинг пользователя: 2


Ссылка


Дата регистрации на форуме:
31 янв. 2012
Спасибо за интересный плуг! Буду тестить!
Ранее у меня возникали вопросы по использованию WSW, так вот отличный, максимально простой и полный со скриншотами мануал по использованию опубликованный в журнале "Чип" _ttp://interw.narod.ru/wswatch.html :yahoo:
Игорь Нежданов
Модератор форума
Прагматик
Откуда: Советский Союз
Всего сообщений: 1025
Рейтинг пользователя: 13


Ссылка


Дата регистрации на форуме:
7 июня 2009
tungus1973, спасибо! Всегда что то новое расскажешь. Тебе статус надо поменять на "исследователь" или "естествоиспытатель"...

---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 795
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009
Вышел WebSite-Watcher версии 12.3 Beta-1.

Из принципиально нового:
- Проверка бинарных файлов по контрольной сумме (если не работает проверка другими способами).
- Если пользователь открыл какое-либо окно в полный экран, то WSW не будет показывать на нём информационное окошко с обновлением.
- Расширенный поиск: во время поиска отображается индикатор выполнения в панели инструментов.
- Свойства папки: Если параметры унаследуются от родительской папки, то вместо отключенных свойств выводится соответствующее сообщение.

Исправлены ошибки:
- При создании макроса WSW иногда запускал неправильный URL.
- Действие закладки "Открыть файл": Неправильно работала вкладка Текст/Анализ.
- Менеджер загрузки при некоторых обстоятельствах не мог загрузить файлы.

Примечание: Бета-версии могут содержать ошибки, поэтому авторы программы рекомендуют устанавливать только окончательные версии.
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 795
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009
Вышла 1-бета-версия WebSite Watcher 2013 (скачать). Поскольку это бета-версия, то в ней возможны ошибки, поэтому устанавливать её можно по желанию.

Из нововведений:
- Мониторинг файлов в локальной сети.
- В свойствах папки теперь можно сразу указать, какие фильтры и плагины применять к закладкам.
- При отправке обновлений по электронной почте теперь можно задать шаблон сообщения.
- Экспорт новой версии страницы или версии с выделенными изменениями.
- Твик-опция "+". Если перед url поставить знак "+", то эта закладка будет проверяться при каждом запуске проверки.
- Новый плагин проверки Excel-файлов.
- Новый плагин: Мониторинг тегов OPTION.
- Новая функция плагинов "Wsw_MergePages" - позволяет контролировать объединение страниц (Наконец-то! Теперь можно контролировать каптчу Яндекса при слиянии страниц).
- Новая функция плагинов "Wsw_AfterCheck" - вызывается после окончания проверки закладки (Наконец-то! Теперь после окончания проверки можно, например, группировать результаты в дайджесты и оформлять их нужным образом).
- Новый параметр "main_url" в функции Bookmark_SetProperty - позволяет сменить url, например, когда мониторится форум.
- Новый параметр "ignore_filter" в функции Bookmark_SetProperty - определяет фильтры игнорирования при проверке.
- Новый параметр "watch_filter" в функции Bookmark_SetProperty - определяет фильтры проверки.
- В Плагин-IDE появилась новая вкладка "Применить фильтр", на которой можно проверить действие фильтров "ignore_filter" и "watch_filter".
- В файл справки добавлены новые примеры:
--- Уведомление, если ключевые слова НЕ найдены на странице;
--- Слияние страниц результатов поиска;
--- Слияние страниц в теме форума;
--- Расчёт времени проверки и запись его в лог-файл;
--- Уведомление, если на странице более одного изменения.
CI-KP
Администратор

Откуда: Екатеринбург
Всего сообщений: 5565
Рейтинг пользователя: 24


Ссылка


Дата регистрации на форуме:
15 мая 2009
Ув. tungus1973, спасибо! :hi:


tungus1973 написал:
[q]
Теперь можно контролировать каптчу Яндекса при слиянии страниц
[/q]

Можно подробнее - о чем речь?


tungus1973 написал:
[q]
Теперь после окончания проверки можно, например, группировать результаты в дайджесты и оформлять их нужным образом
[/q]

Это как выглядит?


---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru
Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь.
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 795
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009
Проблема с каптчей Яндекса хорошо решена в СайтСпутнике. Как только СС нарывается на каптчу, он предлагает пользователю ввести буквы-цифры и продолжает работу с точки останова.
У WSW всё далеко не так... Каптча может быть обнаружена программой только если это прописано в макросе. Но макрос работает только на первой странице. Если же речь идёт о слиянии страниц, то часто случается, что первую страницу Вы получаете без каптчи, тогда как все остальные не скачиваются, а блокируются Яндексом. Поправить это своевременно нельзя... Включение в плагины функции Wsw_MergePages может позволить контролировать каптчу в процессе скачивания страниц (ещё не пробовал в действии, т.к. только сегодня скачал обновление).

Аналогично, функционал "Wsw_AfterCheck" позволяет через плагин выполнять действия после того, как прошла проверка закладки, сделано сравнение версий страниц, найдены или не найдены ключевые слова. Например, это может быть: формирование отчётов в заданные файлы; изменение параметров следующей проверки; изменение стартового url закладки и т.д. (тоже в работе ещё не пробовал).
Как может выглядеть отчёт в WSW? Программа работает с текстами, которые получает из Интернета. Внутри плагина можно вытворять с текстом всё, что угодно - искать ключевые слова, вырезать фрагменты текста, заменять одни слова другими, проверять и сравнивать числовые значения, склеивать разные фрагменты в один текст, изменять форматирование html-текста и т.д. Таким образом по окончании проверки пользователь может формировать ЛЮБЫЕ отчёты (по содержанию и внешнему виду), какие только сможет запрограммировать в плагинах.
<<Назад  Вперед>>Страницы: 1 * 2 3 4 5 6
Печать
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Софт для конкурентной разведки »   WebSite Watcher
RSS

Последние RSS
Англоязычный интерфейс программы "Сайт Спутник"
Учебник по конкурентной разведке
Конкурентная разведка: маркетинг рисков и возможностей
Книга "История частной разведки США"
Книга "Нетворкинг для разведчиков"
Поиск и сбор информации в интернете в программе СайтСпутник
Новые видеоуроки по программе СайтСпутник для начинающих
Технологическая разведка
SiteSputnik. Мониторинг Телеграм
СайтСпутник: возврат к ранее установленной версии
SiteSputnik. Доступ к результатам работы из браузера
Анализ URL
Браузер для анонимной работы
Топливно-энергетический комплекс
Профессиональные сообщества СБ
Несколько Проектов в одном, выполнение Проектов по частям
SiteSputnik-Bot: Боты в программе СайтСпутник
К вопросу о телеграм
SiteSputnik: Автозамены до и после Рубрикации или Перевода
Демо-доступ к ИАС социальных сетей

Самые активные 20 тем RSS