Форум Сообщества Практиков Конкурентной разведки (СПКР) » Софт для конкурентной разведки » WebSite Watcher |
<<Назад Вперед>> | Страницы: 1 2 3 4 5 * 6 | Печать |
tungus1973
Модератор форума
Откуда: г. Санкт-Петербург Всего сообщений: 795 Рейтинг пользователя: 11 Ссылка Дата регистрации на форуме: 3 июля 2009 |
Профиль | Игнорировать
NEW! Сообщение отправлено: 6 марта 2017 21:58 Сообщение отредактировано: 6 марта 2017 21:59
Здравствуйте, Irina! Не могу точно ответить на этот вопрос, так как причин может быть очень много. Самая распространённая - если для фильтра выбраны не уникальные фразы. 1) почему после установки фильтров отслеживания через пару проверок он слетает и весь текст страницы сайта выделяется как игнорируемый? Посмотрите также, какие фильтры установлены для закладок. Если увидите, что некоторые закладки имеют много фильтров, проверьте их, наверняка большинство из них уже давно устарели и только мешают работе. Возможно также, что у Вас старая версия WSW. Некоторые пользователи жаловались, что в версии 2016 был баг с фильтрами. В версии 2017 этот баг был исправлен. Чтобы ответить на этот вопрос, нужно знать устройство сайта, который Вы мониторите. 2) как правильно установить настройки ,чтобы программа отслеживала глубину ссылок лишь в одном разделе сайта? Если у целевого раздела сайта уникальный url-адрес, то чтобы робот не ходил на другие страницы, можно использовать для ограничения уникальную часть url-адреса (опция "Отслеживать только ссылки, содержащие только одну из следующих строк"). Другие варианты, которые могут сработать: -- отфильтровать всё содержимое сайта, кроме ссылки на целевой раздел; -- написать плагин (Wsw_PreProcessPage), который будет удалять ссылки на другие разделы, прежде, чем начнётся проверка страницы; -- написать плагин (Wsw_PreProcessPage), который будет отслеживать ссылки, создавая закладки вручную и запуская их проверку через скрипт. Не исключаю, что Вашему компьютеру требуется профилактика (элементарно вычистить пыль и поменять охлаждающую пасту на процессорах), или даже модернизация, если приходится мониторить большое число закладок. 3) при большой загруженности программы (при большом количестве ссылок) возможно ли торможение других программ на компьютере, как этого избежать? Попробуйте уменьшить количество одновременных Интернет-соединений (Опции / Конфигурация программы / Проверка / Общие / Соединение). Установите максимальное количество одновременных соединений на "1", запустите проверку и запустите параллельно другие программы, которыми Вы обычно пользуетесь. Если программы будут всё так же тормозить, значит дело не в WSW. Если снижение количества одновременных соединений даст положительный эффект, то можете попробовать экспериментальным путём повысить число соединений до приемлемого уровня, потому что 1 соединение - это замедление работы в 10 раз. Что ещё может влиять на эффективность работы WSW: -- Макросы. Существенно замедляют проверку. Если используете макросы авторизации, то попробуйте авторизацию через cookies. -- Использование технологии проверки "Internet Explorer". Применяйте её только там, где это действительно необходимо. -- Плагины. Особенно замедляют работу, если в плагинах используются неэффективные алгоритмы. -- Большое число фильтров на одной странице. Особенно, если часто пользуетесь опцией "Автофильтр", но в дальнейшем не проверяете, актуальны ли ещё фильтры или уже устарели. Нужно вычищать неработающие фильтры. -- Частая автопроверка. Например, когда для тысяч закладок установлено расписание "проверять каждую минуту". -- Медленное или часто обрывающееся Интернет-соединение. Например, если компьютер работает через общий перегруженный Wi-Fi, а не через кабель локальной сети. |
Irina |
Спасибо за ответ! Хотела все-таки уточнить по поводу отслеживания ссылок в определенном разделе сайта, так как не совсем ясно. Допустим, у меня есть сайт Бурятского УФАСа и мне нужно так настроить мониторинг, чтобы поиск осуществлялся лишь по ленте новостей, которая идет в центре страницы, при этом поиск осуществлялся по ключевому слову и отслеживался не только в заголовке новости, но и внутри новости, в тексте (тут, я полагаю, и нужно отслеживание ссылок). Прошу прощения за такую дилетантскую формулировку вопроса))) |
tungus1973
Модератор форума
Откуда: г. Санкт-Петербург Всего сообщений: 795 Рейтинг пользователя: 11 Ссылка Дата регистрации на форуме: 3 июля 2009 |
Есть два способа решить вашу задачу: 1. Быстрый: Через фильтры. Отфильтровываем весь лишний контент. Затем настраиваем следование по ссылкам. Обязательно включаем опцию "Не следовать по ссылкам внутри отфильтрованных участков". 2. Надёжный: Через плагин. Пишем плагин, который удалит со страницы весь лишний контент. Затем следуем по ссылкам. Плагин гарантирует, что ни по одной другой ссылке робот точно не перейдёт (потому что они гарантированно удалены). Оба способа хороши, но при изменении исходного контента страницы, фильтры переделывать всё же быстрее, чем плагин. |
Irina |
Спасибо за оперативный ответ! Уточните, у каких случаях и как часто необходимо переделывать фильтры? |
tungus1973
Модератор форума
Откуда: г. Санкт-Петербург Всего сообщений: 795 Рейтинг пользователя: 11 Ссылка Дата регистрации на форуме: 3 июля 2009 |
Профиль | Игнорировать
NEW! Сообщение отправлено: 10 марта 2017 14:56 Сообщение отредактировано: 10 марта 2017 14:59
Владельцы сайтов без дела не сидят. То на страницах какой-то новый элемент прикрутят, то дизайн улучшат, то новую версию движка поставят, то вообще на другой движок перейдут. Все эти действия могут существенно изменять исходный HTML-код страницы. В этом случае старые фильтры могут не срабатывать и плагины тоже перестают работать. Приходится переделывать. Как часто? Среднего значения нет. Есть сайты, которые годами не меняются, а есть сайты, на которых исходный код меняется ежедневно (похоже, какие-то программы ставят, которые исходный код постоянно меняют). Это проблема не только WSW. Это головная боль любой системы мониторинга. |
Irina |
Понятно, спасибо. Все, действительно, сложнее, чем кажется)) Я работаю в небольшом агентстве новостей узкой тематики. Сейчас мы испытываем возможности WSW с целью дальнейшей покупки этой программы для нашего отдела мониторинга и пользования ее сотрудниками отдела. Сотрудники - не специалисты программирования )) В связи с этим и с Вашим последним сообщением у меня еще вопрос: посоветовали бы Вы данную программу в нашем случае? Задачи отдела: поиск обновляющейся информации определенной тематики на определенных сайтах? Или, возможно, посоветовали бы другую, более простую (если такая вообще существует) программу? |
vbl
Модератор форума
Откуда: Нижний Новгород Всего сообщений: 179 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 10 июня 2009 |
Профиль | Игнорировать
NEW! Сообщение отправлено: 10 марта 2017 16:05 Сообщение отредактировано: 10 марта 2017 16:05 Irina написал: Допустим, у меня есть сайт Бурятского УФАСа и мне нужно так настроить мониторинг, чтобы поиск осуществлялся лишь по ленте новостей, которая идет в центре страницы, при этом поиск осуществлялся по ключевому слову и отслеживался не только в заголовке новости, но и внутри новости, в тексте (тут, я полагаю, и нужно отслеживание ссылок). Посмотрите программу СайтСпутник в версии News. Для Ваших задач будет самое то. Сайт программы - www.sitesputnik.ru/ По цене они конечно не очень сопоставимы, но зато функционал у СайтСпутника очень хорош. А решать такую задачу с помощью Вочера, это, отчасти, сродни мазохизму :) ---
Non progredi est regredi http://www.informnn.ru Информационная рассылка "Конкурентная разведка. Сам себе разведчик" - http://subscribe.ru/catalog/tech.razvedka |
tungus1973
Модератор форума
Откуда: г. Санкт-Петербург Всего сообщений: 795 Рейтинг пользователя: 11 Ссылка Дата регистрации на форуме: 3 июля 2009 |
Профиль | Игнорировать
NEW! Сообщение отправлено: 10 марта 2017 16:15 Сообщение отредактировано: 10 марта 2017 16:18
Для мониторинга новостей лучше подходит СайтСпутник версии News. Сильная сторона WSW - мониторинг изменений на конкретной странице. Например, есть страница с перечнем сотрудников некоей компании, и изо дня в день на этой странице ничего не меняется, пока не появится новый сотрудник. Так вот, это задача WSW. Он может годами ходить на одну и ту же страницу, а оповещать Вас только когда на ней появятся изменения. Также WSW удобен при мониторинге форумов. Там есть специальный встроенный плагин. И ещё WSW пригождается при мониторинге flash-контента (картинок). Он может делать скриншот экрана и сравнивать его с предыдущей версией. |
Irina |
Большое спасибо за разъяснения. Посмотрим еще и СайтСпутник версии News. |
ara_367519
Долгожитель форума
Откуда: г. Пенза Всего сообщений: 727 Рейтинг пользователя: 17 Ссылка Дата регистрации на форуме: 4 дек. 2012 |
А никто не подскажет, wsw можно использовать для мониторинга телеграмм-каналов или что под это заточить? ---
истина где-то рядом... |
<<Назад Вперед>> | Страницы: 1 2 3 4 5 * 6 | Печать |
Форум Сообщества Практиков Конкурентной разведки (СПКР) » Софт для конкурентной разведки » WebSite Watcher |
Самые активные 20 тем | |