SiteSputnik WebSpider. Мониторинг изменений на сайтах

Форум Сообщества Практиков Конкурентной разведки (СПКР)

Конкурентная разведка, Бизнес-разведка, Корпоративная разведка,
Деловая разведка по открытым источникам в бизнесе.
Работаем строго в рамках закона.

Дезинформация и активные мероприятия в бизнесе
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Приемы работы с программой СайтСпутник (SiteSputnik) »   SiteSputnik WebSpider. Мониторинг изменений на сайтах
RSS

SiteSputnik WebSpider. Мониторинг изменений на сайтах

Отслеживание обновлений сайтов по запросу. Инструкция по применению.

<<Назад  Вперед>>Страницы: 1 * 2 3 4
Печать
 
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 877
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

CI-KP написал:
[q]
Алексей Мыльников написал:
[q]

Это уникальный функционал, по крайней мере, аналоги мне не известны.
[/q]

Ну не знаю. "Проверка изменений на страницах" - это само по себе точно не уникальный функционал.
[/q]

Уникальность в следующем.

1. Есть программы, которые рубрицируют потоки новых ссылок. Это делает тот же SiteSputnik News. Есть программы, которые выделяют цветом обновления на странице. Это умеем упомятый WSW. Нет программы, которая умеют и то, и другое, а именно: выделить фрагменты новой информации и Рубрицировать их. SiteSputnik Webspider находит контенты обновлений страниц и Рубрицирует именно их, а не весь контент страниц.

2. Есть паук, который сам по себе не уникальное явление, но при наличие п.1 позволяет находить новые ссылки и ставить на мониторинг обновление их контента. Паук, делающий такую работу, мне не известен.

3. Существование в рамках одной программы мониторинга потока новых страниц и мониторинга обновления уже существующих страниц, мне так же не известно.


CI-KP написал:
[q]
Игорь Нежданов написал:
[q]

- когда нужно извлекать информацию из новостного потока, но подключить его к СайтСпутнику не получается;
[/q]

Это что значит? Кроме, конечно, того, что "далеко не всегда, потратив на полноценный СайтСпутник деньги, вы сможете реально мониторить новостные потоки".
[/q]

Думаю, что здесь имелось ввиду другое. Абсолютно всё подключить не возможно. Редко, но могут ещё попасться страницы, которые в SiteSputnik News не удается подключить. В этом случае можно "отдать" такие страницы на "WebSpider=1". Для новостных потоков это приведет к тому, что фрагментом изменений будет вся страница, она и попадет под рубрикацию. Минус такого подхода - "грязнее" выдача, взамен - проще организовать мониторинг. Я так понял Игоря.

CI-KP написал:
[q]
Игорь Нежданов написал:

[q]

- когда некогда подключать новый источник, а результат нужен уже сейчас.
[/q]

А это что значит? Первое что приходит в голову - "подключение источников - такой большой геморрой, что даже не думайте о них, если вам прямо сейчас надо результат". А на самом деле о чем речь?
[/q]

Вы абсолютно правы - подключить источники не очень просто. Такова техническая обстановка. Именно по этой причине SiteSputnik - пожалуй едиственная программа, которая в январе 2009 года уже имела Мастер для подключения встроенных в сайты поисков. Какая программа это умеет делать в 2012 году? Если кому-то известно, то приведите пример. Кстати, прописывание в WSW: от такого-то тега до такого-то тега мне нужно обнаруживать изменения на странице примерно равна трудоемкости подключения нового источника.


CI-KP
Администратор

Откуда: Екатеринбург
Всего сообщений: 5565
Рейтинг пользователя: 24


Ссылка


Дата регистрации на форуме:
15 мая 2009
Спасибо, Алексей! Теперь понятно.
Мне кажется, есть смысл поставить ссылку непосредственно на Ваш комментарий с разъяснениями, отредактировав первый пост топика. Чтобы читатель сразу это видел. Если считаете это правильным - я могу это сделать.

---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru
Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь.
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 877
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
Думаю, что не надо - всё стоит на своих местах.

CI-KP
Администратор

Откуда: Екатеринбург
Всего сообщений: 5565
Рейтинг пользователя: 24


Ссылка


Дата регистрации на форуме:
15 мая 2009
ОК

---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru
Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь.
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 795
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009

Алексей Мыльников написал:
[q]
Нет программы, которая умеют и то, и другое, а именно: выделить фрагменты новой информации и Рубрицировать их.
[/q]
WSW умеет это делать. Он ищет в изменившемся контенте ключевые слова и, если находит их, помещает изменённые странички в "виртуальные папки" (аналог "Рубрик" СайтСпутника).


Алексей Мыльников написал:
[q]
позволяет находить новые ссылки и ставить на мониторинг обновление их контента. Паук, делающий такую работу, мне не известен.
[/q]
В WSW это можно делать для любого сайта/странички через функционал "отслеживание ссылок". Можно задавать, по каким ссылкам ходить, по каким не ходить. WSW сообщает о появлении новых страничек (нужно установить флажок "уведомление об инициализации"), затем мониторит изменение контента на страничках. Написав простой плагин (3-5 строк кода), можно мониторить только определённый контент на сайте.


Алексей Мыльников написал:
[q]
Существование в рамках одной программы мониторинга потока новых страниц и мониторинга обновления уже существующих страниц, мне так же не известно.
[/q]
WebSite Watcher.


Алексей Мыльников написал:
[q]
Кстати, прописывание в WSW: от такого-то тега до такого-то тега мне нужно обнаруживать изменения на странице примерно равна трудоемкости подключения нового источника.
[/q]
В СайтСпутнике подключение поисковиков намного легче, это факт! В остальном принцип работы такой же. В WSW нужно писать плагин для определённого вида сайтов. Если сайт меняет html-код, достаточно один раз внести изменения в плагин, чтобы изменения коснулись всех страничек.


И "СайтСпутник" и "WebSite Watcher" обладают своими уникальными возможностями и своими уникальными недостатками, поэтому у меня они работают оба. Каждая программа занимается своим видом мониторинга.
И не забывайте, что WSW - чисто мониторинговая программа, тогда как "СайтСпутник" - ещё и продвинутый поисковик! :smile:
PetroFF
Долгожитель форума

Всего сообщений: 251
Рейтинг пользователя: 2


Ссылка


Дата регистрации на форуме:
31 янв. 2012
Алексей Мыльников Может хотя бы 30 дневную версию сделаете с полным функционалом, по запросу от уже имеющих лицензию на программу.
Так как необходимо практическое подтверждение возможностей представленных на листе и обкатка их в боевых условиях, а так это просто выглядит заманчиво, но цена оттормаживает и заставляет использовать другие комплексы.
Алексей согласитесь, это не 100 американских рублей за WSW.. :capitulati:
CI-KP
Администратор

Откуда: Екатеринбург
Всего сообщений: 5565
Рейтинг пользователя: 24


Ссылка


Дата регистрации на форуме:
15 мая 2009

tungus1973 написал:
[q]
Каждая программа занимается своим видом мониторинга.
[/q]

А какая каким, если не секрет?

---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru
Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь.
Игорь Нежданов
Модератор форума
Прагматик
Откуда: Советский Союз
Всего сообщений: 1025
Рейтинг пользователя: 13


Ссылка


Дата регистрации на форуме:
7 июня 2009

tungus1973 написал:
[q]
написал:
[q]

Нет программы, которая умеют и то, и другое, а именно: выделить фрагменты новой информации и Рубрицировать их.
[/q]

WSW умеет это делать. Он ищет в изменившемся контенте ключевые слова и, если находит их, помещает изменённые странички в "виртуальные папки" (аналог "Рубрик" СайтСпутника).
[/q]

"Виртуальные" папки WSW всё же НЕ аналог "Рубрик" в СайтСпутнике. Они могут в какой то мере заменить Рубрики СайтСпутника, но работа с ними посложнее. Хотя бы по тому, что виртуальные папки являются накопителем ссылок на изменившуюся страничку с пометкой что изменилось. Рубрики позволяют гибче работать с информацией.



tungus1973 написал:
[q]
написал:
[q]

позволяет находить новые ссылки и ставить на мониторинг обновление их контента. Паук, делающий такую работу, мне не известен.
[/q]

В WSW это можно делать для любого сайта/странички через функционал "отслеживание ссылок". Можно задавать, по каким ссылкам ходить, по каким не ходить. WSW сообщает о появлении новых страничек (нужно установить флажок "уведомление об инициализации"), затем мониторит изменение контента на страничках. Написав простой плагин (3-5 строк кода), можно мониторить только определённый контент на сайте.
[/q]

Именно написание плагина в 3-5 строк и является ключевым отличием. Я не знаком с кодингом и мне куда удобнее в этом плане СайтСпутник. Вот тебе это действительно удобнее и результат получается интересный (сам видел). :cool: Поэтому правильнее будет говорить о возможностях одной и другой проги в зависимости от подготовки пользователя.



tungus1973 написал:
[q]
И "СайтСпутник" и "WebSite Watcher" обладают своими уникальными возможностями и своими уникальными недостатками, поэтому у меня они работают оба. Каждая программа занимается своим видом мониторинга.
И не забывайте, что WSW - чисто мониторинговая программа, тогда как "СайтСпутник" - ещё и продвинутый поисковик! :smile:
[/q]

Вот тут согласен полностью. И у меня ВСВ использовался для отдельных работ. Правда с появлением Спайдера в СайтСпутнике полностью мигрировал на него. Работать "в одно окно" всё же удобнее, хоть и "разложить яица в разные корзины" - безопаснее. :wink:

---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок
CI-KP
Администратор

Откуда: Екатеринбург
Всего сообщений: 5565
Рейтинг пользователя: 24


Ссылка


Дата регистрации на форуме:
15 мая 2009

Игорь Нежданов написал:
[q]
Хотя бы по тому, что виртуальные папки являются накопителем ссылок на изменившуюся страничку с пометкой что изменилось. Рубрики позволяют гибче работать с информацией.
[/q]

А в чем именно гибче?


Игорь Нежданов написал:
[q]
с появлением Спайдера в СайтСпутнике полностью мигрировал на него. Работать "в одно окно" всё же удобнее
[/q]

Интересно было бы услышать - в чем находит ув. tungus1973 выгоды использования WSW в данной ситуации? Т.е., почему тоже не мигрировал на СайтСпутник.

---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru
Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь.
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 795
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009

CI-KP написал:
[q]
tungus1973 написал:
[q]

Каждая программа занимается своим видом мониторинга.
[/q]

А какая каким, если не секрет?
[/q]

WSW мониторит сайты, которые не может мониторить СайтСпутник:
- сайты, защищённые паролем,
- сайты, защищённые каптчей,
- сайты, которые часто выдают ошибки. И которые СайтСпутник пропускает, а WSW сообщает мне об ошибках,
- сайты, имеющие ошибки в коде, например egrul.nalog.ru, на котором переход на следующую страничку возможен только через макрос WSW,
- сайты требующие функций, отключенных в настройках IE (например, из соображений безопасности),
- странички, в которых мне нужен только определённый контент, который я могу выделить с помощью плагина и сверстать в единый документ. Пример: Ниже приведён отчёт о мониторинге Google Hacks. WSW отслеживает появление новых хаков Google, и если находит новый текст, то вырезает из странички только то, что мне нужно (таблицу с описанием хака) и дополняет отчёт. Я получаю уведомление о появлении новой возможности в хакинге Google (сейчас в списке ~1400 хаков).

Прикрепленный файл (GoogleHacks.htm, 2017607 байт, скачан: 44 раза)
<<Назад  Вперед>>Страницы: 1 * 2 3 4
Печать
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Приемы работы с программой СайтСпутник (SiteSputnik) »   SiteSputnik WebSpider. Мониторинг изменений на сайтах
RSS

Последние RSS
Англоязычный интерфейс программы "Сайт Спутник"
Учебник по конкурентной разведке
Конкурентная разведка: маркетинг рисков и возможностей
Книга "История частной разведки США"
Книга "Нетворкинг для разведчиков"
Поиск и сбор информации в интернете в программе СайтСпутник
Новые видеоуроки по программе СайтСпутник для начинающих
Технологическая разведка
SiteSputnik. Мониторинг Телеграм
СайтСпутник: возврат к ранее установленной версии
SiteSputnik. Доступ к результатам работы из браузера
Анализ URL
Браузер для анонимной работы
Топливно-энергетический комплекс
Профессиональные сообщества СБ
Несколько Проектов в одном, выполнение Проектов по частям
SiteSputnik-Bot: Боты в программе СайтСпутник
К вопросу о телеграм
SiteSputnik: Автозамены до и после Рубрикации или Перевода
Демо-доступ к ИАС социальных сетей

Самые активные 20 тем RSS