SiteSputnik WebSpider. Мониторинг изменений на сайтах

Форум Сообщества Практиков Конкурентной разведки (СПКР)

Конкурентная разведка, Бизнес-разведка, Корпоративная разведка,
Деловая разведка по открытым источникам в бизнесе.
Работаем строго в рамках закона.

Дезинформация и активные мероприятия в бизнесе
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Приемы работы с программой СайтСпутник (SiteSputnik) »   SiteSputnik WebSpider. Мониторинг изменений на сайтах
RSS

SiteSputnik WebSpider. Мониторинг изменений на сайтах

Отслеживание обновлений сайтов по запросу. Инструкция по применению.

<<Назад  Вперед>>Страницы: 1 2 * 3 4
Печать
 
PetroFF
Долгожитель форума

Всего сообщений: 251
Рейтинг пользователя: 2


Ссылка


Дата регистрации на форуме:
31 янв. 2012
Алексей Мыльников Может хотя бы 30 дневную версию сделаете с полным функционалом, по запросу от уже имеющих лицензию на программу.
Так как необходимо практическое подтверждение возможностей представленных на листе и обкатка их в боевых условиях, а так это просто выглядит заманчиво, но цена оттормаживает и заставляет использовать другие комплексы.
Алексей согласитесь, это не 100 американских рублей за WSW.. :capitulati:
CI-KP
Администратор

Откуда: Екатеринбург
Всего сообщений: 5565
Рейтинг пользователя: 24


Ссылка


Дата регистрации на форуме:
15 мая 2009

tungus1973 написал:
[q]
Каждая программа занимается своим видом мониторинга.
[/q]

А какая каким, если не секрет?

---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru
Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь.
Игорь Нежданов
Модератор форума
Прагматик
Откуда: Советский Союз
Всего сообщений: 1025
Рейтинг пользователя: 13


Ссылка


Дата регистрации на форуме:
7 июня 2009

tungus1973 написал:
[q]
написал:
[q]

Нет программы, которая умеют и то, и другое, а именно: выделить фрагменты новой информации и Рубрицировать их.
[/q]

WSW умеет это делать. Он ищет в изменившемся контенте ключевые слова и, если находит их, помещает изменённые странички в "виртуальные папки" (аналог "Рубрик" СайтСпутника).
[/q]

"Виртуальные" папки WSW всё же НЕ аналог "Рубрик" в СайтСпутнике. Они могут в какой то мере заменить Рубрики СайтСпутника, но работа с ними посложнее. Хотя бы по тому, что виртуальные папки являются накопителем ссылок на изменившуюся страничку с пометкой что изменилось. Рубрики позволяют гибче работать с информацией.



tungus1973 написал:
[q]
написал:
[q]

позволяет находить новые ссылки и ставить на мониторинг обновление их контента. Паук, делающий такую работу, мне не известен.
[/q]

В WSW это можно делать для любого сайта/странички через функционал "отслеживание ссылок". Можно задавать, по каким ссылкам ходить, по каким не ходить. WSW сообщает о появлении новых страничек (нужно установить флажок "уведомление об инициализации"), затем мониторит изменение контента на страничках. Написав простой плагин (3-5 строк кода), можно мониторить только определённый контент на сайте.
[/q]

Именно написание плагина в 3-5 строк и является ключевым отличием. Я не знаком с кодингом и мне куда удобнее в этом плане СайтСпутник. Вот тебе это действительно удобнее и результат получается интересный (сам видел). :cool: Поэтому правильнее будет говорить о возможностях одной и другой проги в зависимости от подготовки пользователя.



tungus1973 написал:
[q]
И "СайтСпутник" и "WebSite Watcher" обладают своими уникальными возможностями и своими уникальными недостатками, поэтому у меня они работают оба. Каждая программа занимается своим видом мониторинга.
И не забывайте, что WSW - чисто мониторинговая программа, тогда как "СайтСпутник" - ещё и продвинутый поисковик! :smile:
[/q]

Вот тут согласен полностью. И у меня ВСВ использовался для отдельных работ. Правда с появлением Спайдера в СайтСпутнике полностью мигрировал на него. Работать "в одно окно" всё же удобнее, хоть и "разложить яица в разные корзины" - безопаснее. :wink:

---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок
CI-KP
Администратор

Откуда: Екатеринбург
Всего сообщений: 5565
Рейтинг пользователя: 24


Ссылка


Дата регистрации на форуме:
15 мая 2009

Игорь Нежданов написал:
[q]
Хотя бы по тому, что виртуальные папки являются накопителем ссылок на изменившуюся страничку с пометкой что изменилось. Рубрики позволяют гибче работать с информацией.
[/q]

А в чем именно гибче?


Игорь Нежданов написал:
[q]
с появлением Спайдера в СайтСпутнике полностью мигрировал на него. Работать "в одно окно" всё же удобнее
[/q]

Интересно было бы услышать - в чем находит ув. tungus1973 выгоды использования WSW в данной ситуации? Т.е., почему тоже не мигрировал на СайтСпутник.

---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru
Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь.
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 795
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009

CI-KP написал:
[q]
tungus1973 написал:
[q]

Каждая программа занимается своим видом мониторинга.
[/q]

А какая каким, если не секрет?
[/q]

WSW мониторит сайты, которые не может мониторить СайтСпутник:
- сайты, защищённые паролем,
- сайты, защищённые каптчей,
- сайты, которые часто выдают ошибки. И которые СайтСпутник пропускает, а WSW сообщает мне об ошибках,
- сайты, имеющие ошибки в коде, например egrul.nalog.ru, на котором переход на следующую страничку возможен только через макрос WSW,
- сайты требующие функций, отключенных в настройках IE (например, из соображений безопасности),
- странички, в которых мне нужен только определённый контент, который я могу выделить с помощью плагина и сверстать в единый документ. Пример: Ниже приведён отчёт о мониторинге Google Hacks. WSW отслеживает появление новых хаков Google, и если находит новый текст, то вырезает из странички только то, что мне нужно (таблицу с описанием хака) и дополняет отчёт. Я получаю уведомление о появлении новой возможности в хакинге Google (сейчас в списке ~1400 хаков).

Прикрепленный файл (GoogleHacks.htm, 2017607 байт, скачан: 44 раза)
Игорь Нежданов
Модератор форума
Прагматик
Откуда: Советский Союз
Всего сообщений: 1025
Рейтинг пользователя: 13


Ссылка


Дата регистрации на форуме:
7 июня 2009

tungus1973 написал:
[q]
WSW мониторит сайты, которые не может мониторить СайтСпутник:
- сайты, защищённые паролем,
- сайты, защищённые каптчей,
- сайты, которые часто выдают ошибки. И которые СайтСпутник пропускает, а WSW сообщает мне об ошибках,
- сайты, имеющие ошибки в коде, например egrul.nalog.ru, на котором переход на следующую страничку возможен только через макрос WSW,
- сайты требующие функций, отключенных в настройках IE (например, из соображений безопасности),
- странички, в которых мне нужен только определённый контент, который я могу выделить с помощью плагина и сверстать в единый документ.
[/q]

Да - у WSW есть свои преимущества. Возможность задействовать запароленные ресурсы без предварительного их открытия в IE и обойти каптчу, пожалуй наиболее существенные из них..

---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 877
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

Игорь Нежданов написал:
[q]
Да - у WSW есть свои преимущества. Возможность задействовать запароленные ресурсы без предварительного их открытия в IE и обойти каптчу, пожалуй наиболее существенные из них..
[/q]

Да. Это делать буду. В SiteSputnik News в этом практически необходимости не было. Новостные источники открыты, капчей практически нет, ошибок тоже - сайты отлажены, а в WebSider(е) может потребоваться поставить на мониторинг самые разнообразные страницы.

Также, думаю, что рационально реализовать возможность задания пост-запроса и Рубрикации в функциях SiteSputnik Invisible. Это позволит находить не только адреса невидимых ссылок, но и рубрицировать их контент.

Из сказанного выше согласен, что рационально вывести WebSpider из News в Pro (возможно, что кому-то он потребуется без +News), т.е. можно будет работать в Pro+News, Pro+WebSpider, Pro+News+WebSpider.

По поводу поста #14 tungus1973.

Посмотрел инструкцию по ВСВ из темы о нем. "Ключевые слова" в ВСВ - это намного слабее, чем Рубрики и "Правила попадания в Рубрики" в СайтСпутнике.

Слабее они по трем причинам.

Первое.
"Ключевые слова" - это далеко не дерево Рубрик, через которое просеиваются обновления страниц, а всего один листок этого дерева. Более того, в СайтСпутнике можно просеить поток обновлений сразу через несколько Деревьев.

Второе.
Этот листок привязан только к конкретной одной закладке, а не к группе закладок (в СайтСпутнике группа ссылок-закладок размещается в пакете).

Третье.
Сами Правила попадания в Рубрику в СайтСпутнике намного эффективнее, чем набор ключевых слов, одно из которых должно присутствовать в контенте обновлений. Нет, например, расстояния между словами, нет точных фраз, нет возможности описать сущности, отсутствует логическое "Нет", нет скобочной структуры, вставки текста из файла.

Поэтому, выводы, сделанные в сообщение 10, на мой взгляд верны. Они таковы.

1. Есть программы, которые рубрицируют потоки новых ссылок. Это делает тот же SiteSputnik News. Есть программы, которые выделяют цветом обновления на странице. Это умеем упомятый WSW. Нет программы, которая умеют и то, и другое, а именно: выделить фрагменты новой информации и Рубрицировать их. SiteSputnik Webspider находит контенты обновлений страниц и Рубрицирует именно их, а не весь контент страниц.

2. Есть паук, который сам по себе не уникальное явление, но при наличие п.1 позволяет находить новые ссылки и ставить на мониторинг обновление их контента. Паук, делающий такую работу, мне не известен.

3. Существование в рамках одной программы мониторинга потока новых страниц и мониторинга обновления уже существующих страниц, мне так же не известно.

Уточню только, что под работой паука понимается и его деятельность по Рубрикации.

CI-KP
Администратор

Откуда: Екатеринбург
Всего сообщений: 5565
Рейтинг пользователя: 24


Ссылка


Дата регистрации на форуме:
15 мая 2009

Алексей Мыльников написал:
[q]
рационально вывести WebSpider из News в Pro (возможно, что кому-то он потребуется без +News), т.е. можно будет работать в Pro+News, Pro+WebSpider, Pro+News+WebSpider.
[/q]

+1

---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru
Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь.
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 877
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
Мониторинг изменений по пакету запросов: отслеживание обновлений поисковых страниц.

Оператор ^^WebSpider доступен в версии 8.1.4 от 31.10.12 программы SiteSputnik News.

На картинке на него указывает красная стрелка.



Это позволяет найти обновления результатов поиска для любых пакетов запросов, включая поиск в основных поисковиках и встроенных в сайты поисков, и Рубрицировать их (см. зеленую стрелочку).

Игорь Нежданов
Модератор форума
Прагматик
Откуда: Советский Союз
Всего сообщений: 1025
Рейтинг пользователя: 13


Ссылка


Дата регистрации на форуме:
7 июня 2009
Благодаря функции WebSpider можно не напрягаясь отслеживать те потоки новостей, которые не удалось зацепить никаким из имеющихся в СайтСпутнике вариантов.

---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок
<<Назад  Вперед>>Страницы: 1 2 * 3 4
Печать
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Приемы работы с программой СайтСпутник (SiteSputnik) »   SiteSputnik WebSpider. Мониторинг изменений на сайтах
RSS

Последние RSS
Англоязычный интерфейс программы "Сайт Спутник"
Учебник по конкурентной разведке
Конкурентная разведка: маркетинг рисков и возможностей
Книга "История частной разведки США"
Книга "Нетворкинг для разведчиков"
Поиск и сбор информации в интернете в программе СайтСпутник
Новые видеоуроки по программе СайтСпутник для начинающих
Технологическая разведка
SiteSputnik. Мониторинг Телеграм
СайтСпутник: возврат к ранее установленной версии
SiteSputnik. Доступ к результатам работы из браузера
Анализ URL
Браузер для анонимной работы
Топливно-энергетический комплекс
Профессиональные сообщества СБ
Несколько Проектов в одном, выполнение Проектов по частям
SiteSputnik-Bot: Боты в программе СайтСпутник
К вопросу о телеграм
SiteSputnik: Автозамены до и после Рубрикации или Перевода
Демо-доступ к ИАС социальных сетей

Самые активные 20 тем RSS