WebSite Watcher

Форум Сообщества Практиков Конкурентной разведки (СПКР)

Конкурентная разведка, Бизнес-разведка, Корпоративная разведка,
Деловая разведка по открытым источникам в бизнесе.
Работаем строго в рамках закона.

Дезинформация и активные мероприятия в бизнесе
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Софт для конкурентной разведки »   WebSite Watcher
RSS

WebSite Watcher

Всё, что связано с программой WebSite Watcher

<<Назад  Вперед>>Страницы: 1 2 3 4 5 6
Печать
 
SkyAn
Молчун

Всего сообщений: 5
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
5 мая 2015
[q]А почему вы сомневаетесь в его правильности? [/q]
Ну может это делается по другому. Мануал не осилил прочитать)))))
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 773
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009

SkyAn написал:
[q]
Что хотелось бы получить на выходе.
1. Фильтрация по типу ссылок. Частично сделал с помощью виртуальных папок.
2. Сделать заготовку, когда добавляется новый сайт, то сразу создаются виртуальные папки с условиями фильтрации (тип, PDF, img, zip)
3. Возможность пакетно редактировать условия фильтрации для виртуальных папок.
4. Возможность совместной работы с базой. Или как-то по другому информировать об обновлениях.
[/q]
Отвечу по пунктам:

1. Почему частично? Правила виртуальных папок настраиваются довольно гибко. Например, можно использовать правило "проверяемый url содержит текст "pdf" ". Все PDF-файлы будут попадать в эту виртуальную папку. Вторым правилом можно указать название сайта, чтобы файлы с разных сайтов попадали в разные папки.

2. К сожалению это невозможно в последней версии WSW. Папки можно создавать только вручную и задавать их свойства тоже только вручную.

3. Этого в программе тоже нет. Нельзя даже просто скопипастить правила попадания в папку.

4. Для информирования об обновлениях можно сделать рассылку отчётов с обновлениями. Есть ещё запуск программ с параметрами, но этот способ для умельцев создавать собственный софт.
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 773
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009
Сегодня выпущен WebSite-Watcher версии 2016.0.

Из нового:
  • Значительно увеличена скорость проверки закладок.
  • Теперь можно делать подсветку ключевых слов разными цветами.
  • Можно ограничить размер письма, пересылаемого WSW.
  • В отчётах об обновлениях можно указывать доменное имя закладки, а также способы сортировки закладок - по URL или по домену.
  • При мониторинге RSS-потоков теперь можно игнорировать статьи, получая только заголовки, даты публикации и т.п. Также поддерживаются нестандартные форматы RSS.
  • Можно регулировать максимальное количество соединений по протоколу HTTPS.
  • В плагинах появилась новая функция DecodeHtmlChars, которая декодирует HTML символы, вроде &nbsp; или &#250
  • В свойствах закладки появилась новая секция тонких настроек "Tweaks", которая сейчас позволяет изменить язык пользователя в HTTP-заголовках, например, чтобы видеть новости Google так, как их видят немцы, а не как их подсовывает поисковик гражданам других стран.
  • Во встроенном браузере теперь можно откатывать изменения.
  • Поддерживаются изображения SVG.
  • В Local Website Archive теперь можно добавлять лог-файлы.
  • В виртуальных папках теперь можно присваивать цветные флажки и выбирать цвет подсветки изменений черный/красный.
  • В Автофильтрах можно удалять отдельные строки.
  • Через Макросы теперь можно обрабатывать каптчи типа "Я не робот".
  • В экспорте/импорте закладок через Excel теперь можно переносить время для опции "Проверять каждые Х дней".
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 773
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009
Вышла первая бета-версия WebSite-Watcher 2017.0

Из нового:
  • Возможность запуска на одном компьютере нескольких экземпляров программы. Первой устанавливается настольная версия, потом можно установить в разные папки несколько портабельных версий с тем же самым ключом.
  • Синхронизация баз закладок с облачными хранилищами или с локальной/сетевой папкой. То есть, становится возможным работать с одной и той же базой на разных компьютерах (на рабочем, домашнем, ноутбуке). Эта же функциональность поддерживается на уровне скриптов.
  • Действия при обновлении - пересылка содержимого через e-mail. Теперь программа создаёт вложение в виде zip-файла, в который вкладывает HTML, картинки и scc-файлы.
  • При мониторинге RSS-лент теперь есть возможность получать изображения. Если RSS-канал имеет ошибки кода, то программа сама исправляет многие из них.
  • Для User Agent теперь можно просто подставить переменные {chrome} или {firefox}, а программа сама подставит правильные значения.
  • Появилась возможность проверять доступность отслеживаемого сервера через пинг.
  • Можно отменить отправку сообщения.
  • Если возникают ошибки выполнения сценария, то они отображаются в главном окне программы, например, если не найдена целевая папка.
  • Улучшена фильтрация контента через CSS.
  • Для плагинов теперь появилась специальная команда, которая удаляет дубликаты из строковых списков.
  • В мини-браузере появилась команда остановки выполнения макроса.
  • Улучшена подсветка ключевых слов на вкладке "Анализ".
  • Улучшена совместимость с Win10 / IE11.
  • Улучшена производительность проверки закладок. Существенно возросла скорость проверки закладок.
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 773
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009
Вышла третья бета-версия WebSite-Watcher 2017.0
Кроме исправления багов, появилась появилась новая опция: "Не показывать изображения". Опция поможет в случаях, когда из-за дефектов страницы изображение закрывает часть текста.
Irina
Молчун

Всего сообщений: 5
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
6 мар. 2017
Здравствуйте! :hi: Я дилетант в подобных программах, но в рабочем процессе мне пришлось с ней столкнуться. Возникли вопросы, на которые руководство пользователя не дало полные ответы. Помогите, пожалуйста: :angel:

1) почему после установки фильтров отслеживания через пару проверок он слетает и весь текст страницы сайта выделяется как игнорируемый?
2) как правильно установить настройки ,чтобы программа отслеживала глубину ссылок лишь в одном разделе сайта?
3) при большой загруженности программы (при большом количестве ссылок) возможно ли торможение других программ на компьютере, как этого избежать?

Спасибо!
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 773
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009
Здравствуйте, Irina!

[q]
1) почему после установки фильтров отслеживания через пару проверок он слетает и весь текст страницы сайта выделяется как игнорируемый?
[/q]
Не могу точно ответить на этот вопрос, так как причин может быть очень много. Самая распространённая - если для фильтра выбраны не уникальные фразы.
Посмотрите также, какие фильтры установлены для закладок. Если увидите, что некоторые закладки имеют много фильтров, проверьте их, наверняка большинство из них уже давно устарели и только мешают работе.
Возможно также, что у Вас старая версия WSW. Некоторые пользователи жаловались, что в версии 2016 был баг с фильтрами. В версии 2017 этот баг был исправлен.

[q]
2) как правильно установить настройки ,чтобы программа отслеживала глубину ссылок лишь в одном разделе сайта?
[/q]
Чтобы ответить на этот вопрос, нужно знать устройство сайта, который Вы мониторите.
Если у целевого раздела сайта уникальный url-адрес, то чтобы робот не ходил на другие страницы, можно использовать для ограничения уникальную часть url-адреса (опция "Отслеживать только ссылки, содержащие только одну из следующих строк").
Другие варианты, которые могут сработать:
-- отфильтровать всё содержимое сайта, кроме ссылки на целевой раздел;
-- написать плагин (Wsw_PreProcessPage), который будет удалять ссылки на другие разделы, прежде, чем начнётся проверка страницы;
-- написать плагин (Wsw_PreProcessPage), который будет отслеживать ссылки, создавая закладки вручную и запуская их проверку через скрипт.

[q]
3) при большой загруженности программы (при большом количестве ссылок) возможно ли торможение других программ на компьютере, как этого избежать?
[/q]
Не исключаю, что Вашему компьютеру требуется профилактика (элементарно вычистить пыль и поменять охлаждающую пасту на процессорах), или даже модернизация, если приходится мониторить большое число закладок.
Попробуйте уменьшить количество одновременных Интернет-соединений (Опции / Конфигурация программы / Проверка / Общие / Соединение). Установите максимальное количество одновременных соединений на "1", запустите проверку и запустите параллельно другие программы, которыми Вы обычно пользуетесь. Если программы будут всё так же тормозить, значит дело не в WSW. Если снижение количества одновременных соединений даст положительный эффект, то можете попробовать экспериментальным путём повысить число соединений до приемлемого уровня, потому что 1 соединение - это замедление работы в 10 раз.
Что ещё может влиять на эффективность работы WSW:
-- Макросы. Существенно замедляют проверку. Если используете макросы авторизации, то попробуйте авторизацию через cookies.
-- Использование технологии проверки "Internet Explorer". Применяйте её только там, где это действительно необходимо.
-- Плагины. Особенно замедляют работу, если в плагинах используются неэффективные алгоритмы.
-- Большое число фильтров на одной странице. Особенно, если часто пользуетесь опцией "Автофильтр", но в дальнейшем не проверяете, актуальны ли ещё фильтры или уже устарели. Нужно вычищать неработающие фильтры.
-- Частая автопроверка. Например, когда для тысяч закладок установлено расписание "проверять каждую минуту".
-- Медленное или часто обрывающееся Интернет-соединение. Например, если компьютер работает через общий перегруженный Wi-Fi, а не через кабель локальной сети.
Irina
Молчун

Всего сообщений: 5
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
6 мар. 2017
Спасибо за ответ!
Хотела все-таки уточнить по поводу отслеживания ссылок в определенном разделе сайта, так как не совсем ясно.

Допустим, у меня есть сайт Бурятского УФАСа и мне нужно так настроить мониторинг, чтобы поиск осуществлялся лишь по ленте новостей, которая идет в центре страницы, при этом поиск осуществлялся по ключевому слову и отслеживался не только в заголовке новости, но и внутри новости, в тексте (тут, я полагаю, и нужно отслеживание ссылок).
Прошу прощения за такую дилетантскую формулировку вопроса))) :smile:
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 773
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009
Есть два способа решить вашу задачу:

1. Быстрый: Через фильтры. Отфильтровываем весь лишний контент. Затем настраиваем следование по ссылкам. Обязательно включаем опцию "Не следовать по ссылкам внутри отфильтрованных участков".

2. Надёжный: Через плагин. Пишем плагин, который удалит со страницы весь лишний контент. Затем следуем по ссылкам. Плагин гарантирует, что ни по одной другой ссылке робот точно не перейдёт (потому что они гарантированно удалены).

Оба способа хороши, но при изменении исходного контента страницы, фильтры переделывать всё же быстрее, чем плагин.
Irina
Молчун

Всего сообщений: 5
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
6 мар. 2017
Спасибо за оперативный ответ!
Уточните, у каких случаях и как часто необходимо переделывать фильтры?
<<Назад  Вперед>>Страницы: 1 2 3 4 5 6
Печать
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Софт для конкурентной разведки »   WebSite Watcher
RSS

Последние RSS
Социнжиниринг в военной пропаганде
Тут будем жаловаться
Новое на блоге HRazvedka
История создания ИГИЛовской спецслужбы ЭМНИ (Emni)
«МИРУ-МИР» (Короткометражный фильм) 2017
Парсер для сайта Реформа ЖКХ
Darknet, Deep Web. Как посещать закрытые сайты?
Баланс банковской карты по её номеру
Сборка инструментов для OSINT
This Week SCIP Is in India
Яндекс запустил открытое бета-тестирование Яндекс.Медианы
Яндекс представит свой новый поиск
Kaspersky Who Calls
DarkNet
Книга "Наружное наблюдение"
Larina, SPKR and US 2016 Election
Засветились...
Экономический шпионаж с китайской спецификой
Обновление на блоге HRazvedka
Как найти email нужного человека: инструменты, хитрости, тактика

Самые активные 20 тем RSS
Мелочи
Тут будем жаловаться
Социнжиниринг в военной пропаганде
Новое на блоге HRazvedka
История создания ИГИЛовской спецслужбы ЭМНИ (Emni)