WebSite Watcher

Форум Сообщества Практиков Конкурентной разведки (СПКР)

Конкурентная разведка, Бизнес-разведка, Корпоративная разведка,
Деловая разведка по открытым источникам в бизнесе.
Работаем строго в рамках закона.

Дезинформация и активные мероприятия в бизнесе
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Софт для конкурентной разведки »   WebSite Watcher
RSS

WebSite Watcher

Всё, что связано с программой WebSite Watcher

<<Назад  Вперед>>Страницы: 1 2 3 4 5 6
Печать
 
asket
Долгожитель форума

Всего сообщений: 543
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
2 фев. 2010
Для: tungus1973
Благодарю, получилось :hi:
Вялый
Участник

Всего сообщений: 55
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
4 янв. 2010

tungus1973 написал:
[q]
Выходит, что Мартин что-то перемудрил с последней версией.
Попробуйте установить старую версию 13.1 или 13.0. Там вроде всё работало.
Если у Вас нет таких дистрибутивов, то напишите мне в личку свой e-mail. Я вышлю.
[/q]

Продолжение истории. Скачал триал 14.1 попробовал, там с Яндексом та же история. Написал письмо автору и в ответ получил грустное сообщение: "seems that it's currently not possible to monitor that page."
:(
бум использовать старые версии
BMY
Молчун

Всего сообщений: 1
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
18 фев. 2014
Что с их официальным сайтом? Что они с ним делают? Никто не подскажет?
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 773
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009
Да вроде работает сайт
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 773
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009
Поместил в старт-топик прямые ссылки на файлы справки к программе.

Здесь продублирую для тех, кому лень переходить на первую страничку :smile:

Русский help-файл для WebSite-Watcher

Manual на русском (PDF)
SkyAn
Молчун

Всего сообщений: 5
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
5 мая 2015
Можете подсказать, как организовать при анализе (скачивании) сайта фильтрацию. Тоесть, ссылки с pdf сбрасывать в под папку PDF, а ссылки с рисунками в под папку Image
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 773
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009
Вы неясно описали задачу. Процитирую оба Ваши сообщения из двух веток форума:

SkyAn написал:
[q]
помогите выбрать программу для слежением изменений на сайтах конкурентов. Нужно всего немного от программы, получить список страниц сайта, следить за изменениями на них и по возможности фильтровать картинки и pdf с сайта по под папкам.

как организовать при анализе (скачивании) сайта фильтрацию. Тоесть, ссылки с pdf сбрасывать в под папку PDF, а ссылки с рисунками в под папку Image
[/q]

Если я правильно понял:
1. Есть некий сайт.
2. На страницах сайта есть ссылки на PDF-файлы и есть ссылки на рисунки. (Возможно, также потребуется уточнить техническую деталь: рисунки отображаются на странице, или на них есть только ссылки?)
Дальше ничего не понятно...

Уточните, пожалуйста, что Вам требуется от программы:
-- Анализировать сайт? Или скачивать? Если скачивать, то весь сайт или только отдельные файлы? Что следует понимать под "анализом" сайта?
-- Какие конкретно действия/результаты Вы имеете ввиду под словом "фильтрация"?
-- Как следует понимать фразу "сбрасывать ссылки"? В каком виде Вы хотели бы получить результат?
-- О каких "папках" идёт речь: о папках на жёстком диске или о папках WebSite Watcher?
-- Зачем именно раскладывать PDF и рисунки по подпапкам? Не достаточно будет того, что файлы имеют разное расширение?

Опишите подробно, по шагам, что должна для Вас делать программа (как если бы Вы делали то же самое, но вручную).
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 773
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009
Один из участников форума задал мне вопрос:
[q]
Не могу поставить на мониторинг страничку из контактов. Есть которые ставятся, а есть которые нет. В чем загвоздка?
[/q]


Поскольку ситуация довольно распространённая, а решается разными способами, я отвечу в этой ветке, чтобы мой ответ увидели другие читатели форума и знали, как поступать в таких случаях.

Причина проблемы чаще всего кроется в настройках доступности страничек ВК. Некоторые пользователи ВК открывают свои странички для всех Интернет-пользователей, другие пользователи закрывают их от незарегистрированных пользователей ВК, или открывают их только для друзей. То же самое относится и к другим ресурсам с ограниченным доступом, например, к форумам.

Когда пользователь заходит в ВК через обычный браузер, то авторизуется (возможно автоматически) и видит всё, что ему доступно - открытые странички, страницы друзей. Когда WSW заходит в ВК, то он не авторизован. Он видит только то, что доступно обычному не авторизованному посетителю, то есть только те странички, которые открыты для всех пользователей Интернета.

Чтобы решить эту проблему, нужно научить WebSite Watcher автоматически авторизовываться на ресурсах с ограниченным доступом.
Программа поддерживает сразу несколько видов авторизации.

Способ 1. Cookies. Это, пожалуй, самый быстрый способ авторизации.
Наверное, Вы замечали, что на некоторых сайтах достаточно авторизоваться один раз, а при следующих заходах сайт уже не требует ввода логина-пароля, а сразу пропускает пользователя. Причина кроется в Cookies - небольших файлах, которые сайт сохраняет на компьютере пользователя, и которые содержат некий код идентификации. При каждом следующем заходе сайт просто находит нужный ему файл Cookies, считывает из него код, и, если код правильный, то пропускает пользователя без необходимости ввода пароля.
WebSite Watcher может хранить в себе такие файлы Cookies, либо считывать их из Internet Explorer. Способ работы с Cookies выбирается в настройках закладки "Дополнительно / Опции проверки (2) / Cookies".

Способ 2. Авторизация сервера.
Иногда, когда Вы заходите на сайт, он выводит специальное окошко с 2 полями, в которые нужно ввести пару логин-пароль. Для авторизации такого типа в WebSite Watcher есть специальная настройка "Дополнительно / Login / Авторизация сервера". Просто введите логин и пароль в программе, и WSW будет сам подставлять их в поля формы авторизации.

Способ 3. Макрос. Некоторые сайты, вроде нашего форума, имеют сложный механизм Cookies-авторизации. Однажды сохранённые Cookies не сработают при следующей авторизации. Для подобных сложных случаев в программе предусмотрена авторизация через макрос.
Макрос записывает действия пользователя, которые он совершает при входе на сайт (ввод текста в поля, нажатия кнопок и т.д.), а при проверке закладки автоматически воспроизводит все эти действия. Несмотря на большое удобство этого способа, всё же у него есть недостаток - программа делает довольно большие паузы между действиями, в результате такие закладки проверяются чрезвычайно медленно.
Макрос можно записать в свойствах закладки двумя способами: "Общие / Check Macro..." или "Дополнительно / Login / Check Macro...".

Способ 4. Referrer. Есть такие странички, которые невозможно посмотреть по прямой ссылке. Они доступны только если запрос перенаправлен с другого сайта. WebSite Watcher поддерживает такие перенаправления. В свойствах закладки нужно ввести URL-адрес сайта, с которого осуществляется перенаправление в "Дополнительно / Опции проверки (2) / Referrer".

Способ 5. GET / POST. Этот способ для продвинутых пользователей. Если Вы представляете, как страничка в браузере общается с Интернет-сервером, то можете прописать, какие именно запросы можно отправить серверу в форме GET или POST.


Для авторизации в ВК подойдёт Способ 1.
Откройте ВК в Internet Explorer, авторизуйтесь и импортируйте Cookies.
Либо откройте мини-браузер WebSite Watcher, зайдите в ВК, авторизуйтесь, перейдите на вкладку "Cookies" и скопируйте её содержимое в настройки закладки.
Один и тот же Cookies используйте для всех закладок к ВК.
SkyAn
Молчун

Всего сообщений: 5
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
5 мая 2015
[q=tungus1973]Если я правильно понял:
1. Есть некий сайт.
2. На страницах сайта есть ссылки на PDF-файлы и есть ссылки на рисунки. (Возможно, также потребуется уточнить техническую деталь: рисунки отображаются на странице, или на них есть только ссылки?)
Дальше ничего не понятно...

Уточните, пожалуйста, что Вам требуется от программы:
-- Анализировать сайт? Или скачивать? Если скачивать, то весь сайт или только отдельные файлы? Что следует понимать под "анализом" сайта?
-- Какие конкретно действия/результаты Вы имеете ввиду под словом "фильтрация"?
-- Как следует понимать фразу "сбрасывать ссылки"? В каком виде Вы хотели бы получить результат?
-- О каких "папках" идёт речь: о папках на жёстком диске или о папках WebSite Watcher?
-- Зачем именно раскладывать PDF и рисунки по подпапкам? Не достаточно будет того, что файлы имеют разное расширение?

Опишите подробно, по шагам, что должна для Вас делать программа (как если бы Вы делали то же самое, но вручную). [/q]

Извините за долгий ответ. Думал, что это будет разовая работа, но ошибся. Опишу более подробно, что требуется.
Есть список сайтов конкурентов, за которыми хотелось наблюдать. Все эти сайты разделены на условные подгруппы, это для внутреннего понимания. Так вот, руководство хочет отслеживать изменения каждую неделю. Это я сделал. Получилось очень большое количество ссылок с каждого сайта (~2000стр), часть с них, это картинки, часть pdf, некоторые это архивы. А так же большое количество мусорных страниц, которые нас не интересуют, от них я избавился через "Отслеживание ссылок" и там добавил исключения (не знаю правильно ли). Для картинок, pdf и архивов я создал виртуальные папки и отсортировал имеющиеся ссылки по определенным признакам. Но при этом они все остались в основной папке. В таком виде легче воспринимать информацию.

Что хотелось бы получить на выходе.
- Фильтрация по типу ссылок. Частично сделал с помощью виртуальных папок.
- Сделать заготовку, когда добавляется новый сайт, то сразу создаются виртуальные папки с условиями фильтрации (тип, PDF, img, zip)
- Возможность пакетно редактировать условия фильтрации для виртуальных папок.
- Возможность совместной работы с базой. Или как-то по другому информировать об обновлениях.
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 773
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009

SkyAn написал:
[q]
А так же большое количество мусорных страниц, которые нас не интересуют, от них я избавился через "Отслеживание ссылок" и там добавил исключения (не знаю правильно ли)
[/q]
Есть такой способ. Должен работать.
А почему вы сомневаетесь в его правильности?
<<Назад  Вперед>>Страницы: 1 2 3 4 5 6
Печать
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Софт для конкурентной разведки »   WebSite Watcher
RSS

Последние RSS
Социнжиниринг в военной пропаганде
Тут будем жаловаться
Новое на блоге HRazvedka
История создания ИГИЛовской спецслужбы ЭМНИ (Emni)
«МИРУ-МИР» (Короткометражный фильм) 2017
Парсер для сайта Реформа ЖКХ
Darknet, Deep Web. Как посещать закрытые сайты?
Баланс банковской карты по её номеру
Сборка инструментов для OSINT
This Week SCIP Is in India
Яндекс запустил открытое бета-тестирование Яндекс.Медианы
Яндекс представит свой новый поиск
Kaspersky Who Calls
DarkNet
Книга "Наружное наблюдение"
Larina, SPKR and US 2016 Election
Засветились...
Экономический шпионаж с китайской спецификой
Обновление на блоге HRazvedka
Как найти email нужного человека: инструменты, хитрости, тактика

Самые активные 20 тем RSS
Мелочи
Тут будем жаловаться
Социнжиниринг в военной пропаганде
Новое на блоге HRazvedka
История создания ИГИЛовской спецслужбы ЭМНИ (Emni)