Форум Сообщества Практиков Конкурентной разведки (СПКР)

В этой ветке предлагаю обсуждать нюансы работы с программой WebSite Watcher, публиковать новости по программе и т.д.

Прямые ссылки на файлы справки и мануала:
Русский help-файл для WebSite-Watcher
Manual на русском (PDF)

Русский файл справки (chm-файл) к программе можно скачать с официального сайта программы на странице загрузок (смотрите в разделе "Add-Ons and other downloads" ссылку "Russian help file for WebSite-Watcher").

После загрузки, установите файл в каталог установки WebSite Watcher, туда же, где лежат файлы справки на английском и немецком языках.

Русский файл справки будет автоматически загружаться программой, если в ней установлен русскоязычный интерфейс.
Если справка вызывается из какого-то диалога программы, то открывается тот её раздел, который посвящен этому диалогу (и его конкретной вкладке).

"tungus1973" Немного поюзал, возник вопрос... а она может приносить только обновления в которых содержаться слова ключи? А то у меня почему то получилось либо все тянет, либо ничего =)) может конечно я что то накриворучил =))

Для: PetroFF
Собственно, Вялый ответил на Ваш вопрос. Можно получать уведомление об обновлении странички только если на ней есть ключевые слова.
Почитайте ещё дополнительно файл справки. Он даже более подробный, чем нужно рядовому пользователю.

Плагин "WebSite Watcher" для мониторинга Яндекс.Новостей

Плагин написан мной как учебный образец, чтобы любой пользователь программы мог понять, как пишутся и работают плагины. Текст плагина снабжен многочисленными подробными комментариями, буквально для каждого оператора.

Плагин не будет работать в старых версиях "WebSite Watcher", не имеющих систему плагинов.

Скачайте zip-архив с плагином ТУТ, разархивируйте его.
Скопируйте плагин в папку "WebSite-Watcher\config\plugins\", затем запустите программу "WebSite Watcher" (WSW). (Если скопировать плагин в папку после запуска WSW, он не пропишется в систему плагинов).

Для постановки Яндекс.Новостей на мониторинг:
- Откройте страничку Яндекс.Новостей в браузере, введите свой запрос, нажмите кнопку "Найти".
- Для корректной работы плагина выберите сортировку "по дате" и "не группировать по сюжетам".
- Скопируйте из адресной строки браузера ссылку и создайте на её основе закладку "WebSite Watcher".
- Плагин можно использовать для мониторинга нескольких "склеенных" страниц. Зайдите в "Свойства закладки / Дополнительно / Слияние страниц (Merge Pages)", установите галочку на функции "Слияние страниц" ("Merge Pages"), нажмите кнопку "Помощник" ("Assistant"). В открывшемся браузере щёлкните на ссылку перехода на страницу 2, нажмите кнопку "Далее >". В открывшемся поле со значениями POST-запроса, выберите строку "p=1", нажмите ещё раз кнопку "Далее >", затем кнопку "Финиш".
- Зайдите в "Свойства закладки / Дополнительно / Плагин", нажмите кнопку "Выбрать публичный плагин", выберите в списке "YaNews". Если на этом этапе вы не увидели плагин, значит это произошло по одной из трёх причин: 1) файл плагина скопирован не в ту папку; 2) файл плагина скопирован в папку после того, как был запущен WSW. Завершите и вновь запустите WSW; 3) WSW посчитал этот плагин несовместимым с закладкой. Проверьте, не изменил ли Яндекс html-код страницы. Если изменил, в плагине нужно будет указать новые теги-признаки начала и конца новостей.

Плагин собирает новости со странички Яндекс.Новостей, определяет, есть ли новые новости. Если найдены новые новости, то формируется html-страничка, в которой новые новости (которых раньше не было) будут располагаться в начале странички, за ними последуют старые новости. Для новостей, не имеющих даты, плагин проставит её. Каждая новость будет содержать сведения в последовательности, отличной от Яндекса: заголовок-ссылка, источник новости, дата-время новости, сниппет (краткое содержание). Плагин выкачает странички с новыми новостями и поместит их в папку "WebSite-Watcher\config\downloads\" (при необходимости эту функцию можно отключить).

Для просмотра текста плагина, зайдите на вкладку "Свойства закладки / Дополнительно / Плагин", нажмите на кнопку со стрелкой вниз, выберите "Правка плагина", откроется среда разработки плагинов, в которой Вы увидите вкладки:
- "Конфигурация". Здесь устанавливаются название, описание плагина, способ применения плагина (спросить пользователя, вручную, автоматически), проверку совместимости (по условиям идентификации, или по идентификации + по тексту плагина).
- "Идентификация". Указываются способы идентификации плагина - когда программа будет предлагать Вам применить его.
- "Скрипт плагина". Здесь находится сам текст плагина.
- "Исходный код страницы". Здесь Вы увидите html-код последней страницы для этой закладки. Если плагин ещё не применялся, то будет показан исходный код интернет-версии страницы. Если к странице применялся плагин, то Вы увидите исходный код страницы, каким он стал после работы плагина.
- "Веб-браузер". Показывает страницу с кодом из предыдущей вкладки, как она выглядит в браузере.
- "Браузер файлов". Здесь можно просмотреть текст других плагинов, пользовательских или предустановленных в программе.
- "Сравнение". Вкладка показывается только после выбора плагина на предыдущей вкладке. Вы можете увидеть, чем отличаются плагины. Очень удобно, если у Вас есть несколько версий одного и того же плагина, можно быстро увидеть их конкретные отличия.

Спасибо за интересный плуг! Буду тестить!
Ранее у меня возникали вопросы по использованию WSW, так вот отличный, максимально простой и полный со скриншотами мануал по использованию опубликованный в журнале "Чип" _ttp://interw.narod.ru/wswatch.html

Вышел WebSite-Watcher версии 12.3 Beta-1.

Из принципиально нового:
- Проверка бинарных файлов по контрольной сумме (если не работает проверка другими способами).
- Если пользователь открыл какое-либо окно в полный экран, то WSW не будет показывать на нём информационное окошко с обновлением.
- Расширенный поиск: во время поиска отображается индикатор выполнения в панели инструментов.
- Свойства папки: Если параметры унаследуются от родительской папки, то вместо отключенных свойств выводится соответствующее сообщение.

Исправлены ошибки:
- При создании макроса WSW иногда запускал неправильный URL.
- Действие закладки "Открыть файл": Неправильно работала вкладка Текст/Анализ.
- Менеджер загрузки при некоторых обстоятельствах не мог загрузить файлы.

Примечание: Бета-версии могут содержать ошибки, поэтому авторы программы рекомендуют устанавливать только окончательные версии.

Ув. tungus1973, спасибо!


tungus1973 написал:

[q]

Теперь можно контролировать каптчу Яндекса при слиянии страниц

[/q]

Можно подробнее - о чем речь?


tungus1973 написал:

[q]

Теперь после окончания проверки можно, например, группировать результаты в дайджесты и оформлять их нужным образом

[/q]

Это как выглядит?

Спасибо!

Спасите други!

Сподобился перейти с версии 4.5 сразу на 2013 (13.1) и при проверка ссылки на поиск в Яндексе (без дополнительного ручного изменения каких-либо свойств закладки) получаю такой текст:

"WebSite-Watcher - WARNINGS:
•WebSite-Watcher is not able to detect updates with the current bookmark configuration!
The whole page content has been filtered, please verify your filter settings"


Подскажите, что нужно сделать, чтобы опять все стало красиво?

Да нет. С английским у меня все в порядке. :) Никаких фильтров там вообще нет. Дело в том, что не работают импортированные, работавшие в предыдущей версии закладки. Так фиг бы и с ними, но не работает свежесозданная закладка выдачи Яндекса. Сейчас попробовал завести в программу результаты поиска в Гугле, так почему-то в вотчере после проверки открывается просто начальная страница Гугла (с полем для ввода поисковой строки) . Хрень какая-то

Так у меня в старой версии тоже все нормально было (я правда слегка наврал, была 4.35). А сейчас вот все это в новой. Я даже уже не импортировал базу закладок. Просто снёс всё, поставил чистую программу и сделал одну новую закладку без всяких лишних движений (с фильтрами и т. п.) и такая же фигняв итоге. Ну ладно, бум искать :(

Попробовал, сначала обрадовался, но оказалось рано. Изменилось следующее: Эта табличка про фильтрование всего содержимого осталась, но если её прокрутить, под ней выводится отслеживаемая страница (результаты поиска). К сожалению, на этой странице всё желтое (как-будто новое), даже если проверить закладку сразу ещё раз. Ставил обратно старую 4.35, там всё работает. Может дело в Винде 8-й :( Но снести её нельзя. Больше не знаю на что подумать.

Есть Интересный момент: в свойствах закладки, в "Основные", жму кнопку "Тест фильтра", появляется окошко под названием "Сравнение версий". Там уже нажата сверху кнопка "Использовать фильтр" и обе панели для сравнения пустые. Но когда я убираю нажатие кнопки "Использовать фильтр" в панелях появляется html-код страницы (с желтыми подсветками изменений) и видно, что там все нормально отслеживается, то есть если пару раз проверить сразу то практически ничего не подсвечено, а если проверить через время, то появляются желтые подсветки. НО фильтра то никакого нет хрень какая-то.

Спасибо!

Уважаемые форумчане, прошу помочь со следующей проблемой: при постановке на мониторинг странички _ttp://onf.ru/mainnews/ не отображается никакая информация(см.картинку). Версия WSW14.1

з.ы. раннее была проблема с этой страничкой _ttp://onf.ru/category/activity/projects/ решил её поставив галки во вкладке Дополнительно-->IFRAME

Для: tungus1973
Благодарю, получилось

Что с их официальным сайтом? Что они с ним делают? Никто не подскажет?

Поместил в старт-топик прямые ссылки на файлы справки к программе.

Здесь продублирую для тех, кому лень переходить на первую страничку

Русский help-файл для WebSite-Watcher

Manual на русском (PDF)

Вы неясно описали задачу. Процитирую оба Ваши сообщения из двух веток форума:

SkyAn написал:

[q]

помогите выбрать программу для слежением изменений на сайтах конкурентов. Нужно всего немного от программы, получить список страниц сайта, следить за изменениями на них и по возможности фильтровать картинки и pdf с сайта по под папкам.

как организовать при анализе (скачивании) сайта фильтрацию. Тоесть, ссылки с pdf сбрасывать в под папку PDF, а ссылки с рисунками в под папку Image

[/q]

Если я правильно понял:
1. Есть некий сайт.
2. На страницах сайта есть ссылки на PDF-файлы и есть ссылки на рисунки. (Возможно, также потребуется уточнить техническую деталь: рисунки отображаются на странице, или на них есть только ссылки?)
Дальше ничего не понятно...

Уточните, пожалуйста, что Вам требуется от программы:
-- Анализировать сайт? Или скачивать? Если скачивать, то весь сайт или только отдельные файлы? Что следует понимать под "анализом" сайта?
-- Какие конкретно действия/результаты Вы имеете ввиду под словом "фильтрация"?
-- Как следует понимать фразу "сбрасывать ссылки"? В каком виде Вы хотели бы получить результат?
-- О каких "папках" идёт речь: о папках на жёстком диске или о папках WebSite Watcher?
-- Зачем именно раскладывать PDF и рисунки по подпапкам? Не достаточно будет того, что файлы имеют разное расширение?

Опишите подробно, по шагам, что должна для Вас делать программа (как если бы Вы делали то же самое, но вручную).

[q=tungus1973]Если я правильно понял:
1. Есть некий сайт.
2. На страницах сайта есть ссылки на PDF-файлы и есть ссылки на рисунки. (Возможно, также потребуется уточнить техническую деталь: рисунки отображаются на странице, или на них есть только ссылки?)
Дальше ничего не понятно...

Уточните, пожалуйста, что Вам требуется от программы:
-- Анализировать сайт? Или скачивать? Если скачивать, то весь сайт или только отдельные файлы? Что следует понимать под "анализом" сайта?
-- Какие конкретно действия/результаты Вы имеете ввиду под словом "фильтрация"?
-- Как следует понимать фразу "сбрасывать ссылки"? В каком виде Вы хотели бы получить результат?
-- О каких "папках" идёт речь: о папках на жёстком диске или о папках WebSite Watcher?
-- Зачем именно раскладывать PDF и рисунки по подпапкам? Не достаточно будет того, что файлы имеют разное расширение?

Опишите подробно, по шагам, что должна для Вас делать программа (как если бы Вы делали то же самое, но вручную). [/q]

Извините за долгий ответ. Думал, что это будет разовая работа, но ошибся. Опишу более подробно, что требуется.
Есть список сайтов конкурентов, за которыми хотелось наблюдать. Все эти сайты разделены на условные подгруппы, это для внутреннего понимания. Так вот, руководство хочет отслеживать изменения каждую неделю. Это я сделал. Получилось очень большое количество ссылок с каждого сайта (~2000стр), часть с них, это картинки, часть pdf, некоторые это архивы. А так же большое количество мусорных страниц, которые нас не интересуют, от них я избавился через "Отслеживание ссылок" и там добавил исключения (не знаю правильно ли). Для картинок, pdf и архивов я создал виртуальные папки и отсортировал имеющиеся ссылки по определенным признакам. Но при этом они все остались в основной папке. В таком виде легче воспринимать информацию.

Что хотелось бы получить на выходе.
- Фильтрация по типу ссылок. Частично сделал с помощью виртуальных папок.
- Сделать заготовку, когда добавляется новый сайт, то сразу создаются виртуальные папки с условиями фильтрации (тип, PDF, img, zip)
- Возможность пакетно редактировать условия фильтрации для виртуальных папок.
- Возможность совместной работы с базой. Или как-то по другому информировать об обновлениях.

[q]А почему вы сомневаетесь в его правильности? [/q]
Ну может это делается по другому. Мануал не осилил прочитать)))))

Сегодня выпущен WebSite-Watcher версии 2016.0.

Из нового:

• Значительно увеличена скорость проверки закладок.
• Теперь можно делать подсветку ключевых слов разными цветами.
• Можно ограничить размер письма, пересылаемого WSW.
• В отчётах об обновлениях можно указывать доменное имя закладки, а также способы сортировки закладок - по URL или по домену.
• При мониторинге RSS-потоков теперь можно игнорировать статьи, получая только заголовки, даты публикации и т.п. Также поддерживаются нестандартные форматы RSS.
• Можно регулировать максимальное количество соединений по протоколу HTTPS.
• В плагинах появилась новая функция DecodeHtmlChars, которая декодирует HTML символы, вроде   или &#250
• В свойствах закладки появилась новая секция тонких настроек "Tweaks", которая сейчас позволяет изменить язык пользователя в HTTP-заголовках, например, чтобы видеть новости Google так, как их видят немцы, а не как их подсовывает поисковик гражданам других стран.
• Во встроенном браузере теперь можно откатывать изменения.
• Поддерживаются изображения SVG.
• В Local Website Archive теперь можно добавлять лог-файлы.
• В виртуальных папках теперь можно присваивать цветные флажки и выбирать цвет подсветки изменений черный/красный.
• В Автофильтрах можно удалять отдельные строки.
• Через Макросы теперь можно обрабатывать каптчи типа "Я не робот".
• В экспорте/импорте закладок через Excel теперь можно переносить время для опции "Проверять каждые Х дней".

Вышла третья бета-версия WebSite-Watcher 2017.0
Кроме исправления багов, появилась появилась новая опция: "Не показывать изображения". Опция поможет в случаях, когда из-за дефектов страницы изображение закрывает часть текста.

Здравствуйте, Irina!

[q]

1) почему после установки фильтров отслеживания через пару проверок он слетает и весь текст страницы сайта выделяется как игнорируемый?

[/q]

Не могу точно ответить на этот вопрос, так как причин может быть очень много. Самая распространённая - если для фильтра выбраны не уникальные фразы.
Посмотрите также, какие фильтры установлены для закладок. Если увидите, что некоторые закладки имеют много фильтров, проверьте их, наверняка большинство из них уже давно устарели и только мешают работе.
Возможно также, что у Вас старая версия WSW. Некоторые пользователи жаловались, что в версии 2016 был баг с фильтрами. В версии 2017 этот баг был исправлен.

[q]

2) как правильно установить настройки ,чтобы программа отслеживала глубину ссылок лишь в одном разделе сайта?

[/q]

Чтобы ответить на этот вопрос, нужно знать устройство сайта, который Вы мониторите.
Если у целевого раздела сайта уникальный url-адрес, то чтобы робот не ходил на другие страницы, можно использовать для ограничения уникальную часть url-адреса (опция "Отслеживать только ссылки, содержащие только одну из следующих строк").
Другие варианты, которые могут сработать:
-- отфильтровать всё содержимое сайта, кроме ссылки на целевой раздел;
-- написать плагин (Wsw_PreProcessPage), который будет удалять ссылки на другие разделы, прежде, чем начнётся проверка страницы;
-- написать плагин (Wsw_PreProcessPage), который будет отслеживать ссылки, создавая закладки вручную и запуская их проверку через скрипт.

[q]

3) при большой загруженности программы (при большом количестве ссылок) возможно ли торможение других программ на компьютере, как этого избежать?

[/q]

Не исключаю, что Вашему компьютеру требуется профилактика (элементарно вычистить пыль и поменять охлаждающую пасту на процессорах), или даже модернизация, если приходится мониторить большое число закладок.
Попробуйте уменьшить количество одновременных Интернет-соединений (Опции / Конфигурация программы / Проверка / Общие / Соединение). Установите максимальное количество одновременных соединений на "1", запустите проверку и запустите параллельно другие программы, которыми Вы обычно пользуетесь. Если программы будут всё так же тормозить, значит дело не в WSW. Если снижение количества одновременных соединений даст положительный эффект, то можете попробовать экспериментальным путём повысить число соединений до приемлемого уровня, потому что 1 соединение - это замедление работы в 10 раз.
Что ещё может влиять на эффективность работы WSW:
-- Макросы. Существенно замедляют проверку. Если используете макросы авторизации, то попробуйте авторизацию через cookies.
-- Использование технологии проверки "Internet Explorer". Применяйте её только там, где это действительно необходимо.
-- Плагины. Особенно замедляют работу, если в плагинах используются неэффективные алгоритмы.
-- Большое число фильтров на одной странице. Особенно, если часто пользуетесь опцией "Автофильтр", но в дальнейшем не проверяете, актуальны ли ещё фильтры или уже устарели. Нужно вычищать неработающие фильтры.
-- Частая автопроверка. Например, когда для тысяч закладок установлено расписание "проверять каждую минуту".
-- Медленное или часто обрывающееся Интернет-соединение. Например, если компьютер работает через общий перегруженный Wi-Fi, а не через кабель локальной сети.

Есть два способа решить вашу задачу:

1. Быстрый: Через фильтры. Отфильтровываем весь лишний контент. Затем настраиваем следование по ссылкам. Обязательно включаем опцию "Не следовать по ссылкам внутри отфильтрованных участков".

2. Надёжный: Через плагин. Пишем плагин, который удалит со страницы весь лишний контент. Затем следуем по ссылкам. Плагин гарантирует, что ни по одной другой ссылке робот точно не перейдёт (потому что они гарантированно удалены).

Оба способа хороши, но при изменении исходного контента страницы, фильтры переделывать всё же быстрее, чем плагин.

Владельцы сайтов без дела не сидят. То на страницах какой-то новый элемент прикрутят, то дизайн улучшат, то новую версию движка поставят, то вообще на другой движок перейдут. Все эти действия могут существенно изменять исходный HTML-код страницы. В этом случае старые фильтры могут не срабатывать и плагины тоже перестают работать. Приходится переделывать. Как часто? Среднего значения нет. Есть сайты, которые годами не меняются, а есть сайты, на которых исходный код меняется ежедневно (похоже, какие-то программы ставят, которые исходный код постоянно меняют). Это проблема не только WSW. Это головная боль любой системы мониторинга.

Irina написал:

[q]

[/q]

[q]

Допустим, у меня есть сайт Бурятского УФАСа и мне нужно так настроить мониторинг, чтобы поиск осуществлялся лишь по ленте новостей, которая идет в центре страницы, при этом поиск осуществлялся по ключевому слову и отслеживался не только в заголовке новости, но и внутри новости, в тексте (тут, я полагаю, и нужно отслеживание ссылок).

[/q]

Посмотрите программу СайтСпутник в версии News. Для Ваших задач будет самое то. Сайт программы - www.sitesputnik.ru/

По цене они конечно не очень сопоставимы, но зато функционал у СайтСпутника очень хорош. А решать такую задачу с помощью Вочера, это, отчасти, сродни мазохизму :)

Большое спасибо за разъяснения. Посмотрим еще и СайтСпутник версии News.

У WSW есть технология проверки через браузер IE, который запускается скрытно и позволяет выполнять любые скрипты. Если телеграмм-канал можно просмотреть через IE, то его увидит и WSW.
Для авторизации на сайте и задания запросов можно использовать Макросы.
К сожалению, WSW позволяет прокручивать страницу вниз только 10 раз; то есть, более давние новости через него не собрать. Собственно, это понятно - программа предназначена для мониторинга изменений, а не для выкачивания всего контента.
WSW приносит HTML-код страницы, в котором JavaScripts внедряются в текстовом виде (что даёт возможность изучать скрипты и использовать это для сложных запросов к серверу сайта). Если из телеграмм-канала нужно будет доставать только определённую информацию, то для этого нужно будет написать WSW-скрипт, который вытащит нужный текст и сохранит его в виде файла.

Один из посетителей форума Ru-Board ставил на мониторинг в WSW ресурс, заблокированный Роскомнадзором. С мониторингом возникла проблема, и он обратился за помощью к форумчанам. Цитирую:

[q]

Есть сайт программы слайсера для 3D печати, попал под раздачу и его забанили в куче с каким то сайтом. Вопрос, сайт открывается только через VPN Можно ли как то прописать его в программе чтобы проверка стала возможной?

[/q]

[q]

Отвечаю сам себе Установил open VPN не как плагин на браузер, а на комп. Авторизировался как USA , сайт открывается, прога сайт увидела и проверяет.

[/q]