Форум Сообщества Практиков Конкурентной разведки (СПКР) » Приемы работы с программой СайтСпутник (SiteSputnik) » SiteSputnik WebSpider. Мониторинг изменений на сайтах |
<<Назад Вперед>> | Страницы: 1 2 * 3 4 | Печать |
CI-KP
Администратор
Откуда: Екатеринбург Всего сообщений: 5565 Рейтинг пользователя: 24 Ссылка Дата регистрации на форуме: 15 мая 2009 |
ОК ---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь. |
tungus1973
Модератор форума
Откуда: г. Санкт-Петербург Всего сообщений: 795 Рейтинг пользователя: 11 Ссылка Дата регистрации на форуме: 3 июля 2009 |
Алексей Мыльников написал: WSW умеет это делать. Он ищет в изменившемся контенте ключевые слова и, если находит их, помещает изменённые странички в "виртуальные папки" (аналог "Рубрик" СайтСпутника). Нет программы, которая умеют и то, и другое, а именно: выделить фрагменты новой информации и Рубрицировать их. Алексей Мыльников написал: В WSW это можно делать для любого сайта/странички через функционал "отслеживание ссылок". Можно задавать, по каким ссылкам ходить, по каким не ходить. WSW сообщает о появлении новых страничек (нужно установить флажок "уведомление об инициализации"), затем мониторит изменение контента на страничках. Написав простой плагин (3-5 строк кода), можно мониторить только определённый контент на сайте. позволяет находить новые ссылки и ставить на мониторинг обновление их контента. Паук, делающий такую работу, мне не известен. Алексей Мыльников написал: WebSite Watcher. Существование в рамках одной программы мониторинга потока новых страниц и мониторинга обновления уже существующих страниц, мне так же не известно. Алексей Мыльников написал: В СайтСпутнике подключение поисковиков намного легче, это факт! В остальном принцип работы такой же. В WSW нужно писать плагин для определённого вида сайтов. Если сайт меняет html-код, достаточно один раз внести изменения в плагин, чтобы изменения коснулись всех страничек. Кстати, прописывание в WSW: от такого-то тега до такого-то тега мне нужно обнаруживать изменения на странице примерно равна трудоемкости подключения нового источника. И "СайтСпутник" и "WebSite Watcher" обладают своими уникальными возможностями и своими уникальными недостатками, поэтому у меня они работают оба. Каждая программа занимается своим видом мониторинга. И не забывайте, что WSW - чисто мониторинговая программа, тогда как "СайтСпутник" - ещё и продвинутый поисковик! |
PetroFF
Долгожитель форума
Всего сообщений: 251 Рейтинг пользователя: 2 Ссылка Дата регистрации на форуме: 31 янв. 2012 |
Алексей Мыльников Может хотя бы 30 дневную версию сделаете с полным функционалом, по запросу от уже имеющих лицензию на программу. Так как необходимо практическое подтверждение возможностей представленных на листе и обкатка их в боевых условиях, а так это просто выглядит заманчиво, но цена оттормаживает и заставляет использовать другие комплексы. Алексей согласитесь, это не 100 американских рублей за WSW.. |
CI-KP
Администратор
Откуда: Екатеринбург Всего сообщений: 5565 Рейтинг пользователя: 24 Ссылка Дата регистрации на форуме: 15 мая 2009 |
tungus1973 написал: Каждая программа занимается своим видом мониторинга. А какая каким, если не секрет? ---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь. |
Игорь Нежданов
Модератор форума
Прагматик Откуда: Советский Союз Всего сообщений: 1025 Рейтинг пользователя: 13 Ссылка Дата регистрации на форуме: 7 июня 2009 |
Профиль | Игнорировать
NEW! Сообщение отправлено: 27 июля 2012 12:48 Сообщение отредактировано: 27 июля 2012 12:51 tungus1973 написал: написал: "Виртуальные" папки WSW всё же НЕ аналог "Рубрик" в СайтСпутнике. Они могут в какой то мере заменить Рубрики СайтСпутника, но работа с ними посложнее. Хотя бы по тому, что виртуальные папки являются накопителем ссылок на изменившуюся страничку с пометкой что изменилось. Рубрики позволяют гибче работать с информацией. tungus1973 написал: написал: Именно написание плагина в 3-5 строк и является ключевым отличием. Я не знаком с кодингом и мне куда удобнее в этом плане СайтСпутник. Вот тебе это действительно удобнее и результат получается интересный (сам видел). Поэтому правильнее будет говорить о возможностях одной и другой проги в зависимости от подготовки пользователя. tungus1973 написал: И "СайтСпутник" и "WebSite Watcher" обладают своими уникальными возможностями и своими уникальными недостатками, поэтому у меня они работают оба. Каждая программа занимается своим видом мониторинга. Вот тут согласен полностью. И у меня ВСВ использовался для отдельных работ. Правда с появлением Спайдера в СайтСпутнике полностью мигрировал на него. Работать "в одно окно" всё же удобнее, хоть и "разложить яица в разные корзины" - безопаснее. ---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ... Лаборатория Перспективных Разработок |
CI-KP
Администратор
Откуда: Екатеринбург Всего сообщений: 5565 Рейтинг пользователя: 24 Ссылка Дата регистрации на форуме: 15 мая 2009 |
Игорь Нежданов написал: Хотя бы по тому, что виртуальные папки являются накопителем ссылок на изменившуюся страничку с пометкой что изменилось. Рубрики позволяют гибче работать с информацией. А в чем именно гибче? Игорь Нежданов написал: с появлением Спайдера в СайтСпутнике полностью мигрировал на него. Работать "в одно окно" всё же удобнее Интересно было бы услышать - в чем находит ув. tungus1973 выгоды использования WSW в данной ситуации? Т.е., почему тоже не мигрировал на СайтСпутник. ---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь. |
tungus1973
Модератор форума
Откуда: г. Санкт-Петербург Всего сообщений: 795 Рейтинг пользователя: 11 Ссылка Дата регистрации на форуме: 3 июля 2009 |
CI-KP написал: tungus1973 написал: WSW мониторит сайты, которые не может мониторить СайтСпутник: - сайты, защищённые паролем, - сайты, защищённые каптчей, - сайты, которые часто выдают ошибки. И которые СайтСпутник пропускает, а WSW сообщает мне об ошибках, - сайты, имеющие ошибки в коде, например egrul.nalog.ru, на котором переход на следующую страничку возможен только через макрос WSW, - сайты требующие функций, отключенных в настройках IE (например, из соображений безопасности), - странички, в которых мне нужен только определённый контент, который я могу выделить с помощью плагина и сверстать в единый документ. Пример: Ниже приведён отчёт о мониторинге Google Hacks. WSW отслеживает появление новых хаков Google, и если находит новый текст, то вырезает из странички только то, что мне нужно (таблицу с описанием хака) и дополняет отчёт. Я получаю уведомление о появлении новой возможности в хакинге Google (сейчас в списке ~1400 хаков). Прикрепленный файл (GoogleHacks.htm, 2017607 байт, скачан: 44 раза) |
Игорь Нежданов
Модератор форума
Прагматик Откуда: Советский Союз Всего сообщений: 1025 Рейтинг пользователя: 13 Ссылка Дата регистрации на форуме: 7 июня 2009 |
tungus1973 написал: WSW мониторит сайты, которые не может мониторить СайтСпутник: Да - у WSW есть свои преимущества. Возможность задействовать запароленные ресурсы без предварительного их открытия в IE и обойти каптчу, пожалуй наиболее существенные из них.. ---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ... Лаборатория Перспективных Разработок |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 877 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
Игорь Нежданов написал: Да - у WSW есть свои преимущества. Возможность задействовать запароленные ресурсы без предварительного их открытия в IE и обойти каптчу, пожалуй наиболее существенные из них.. Да. Это делать буду. В SiteSputnik News в этом практически необходимости не было. Новостные источники открыты, капчей практически нет, ошибок тоже - сайты отлажены, а в WebSider(е) может потребоваться поставить на мониторинг самые разнообразные страницы. Также, думаю, что рационально реализовать возможность задания пост-запроса и Рубрикации в функциях SiteSputnik Invisible. Это позволит находить не только адреса невидимых ссылок, но и рубрицировать их контент. Из сказанного выше согласен, что рационально вывести WebSpider из News в Pro (возможно, что кому-то он потребуется без +News), т.е. можно будет работать в Pro+News, Pro+WebSpider, Pro+News+WebSpider. По поводу поста #14 tungus1973. Посмотрел инструкцию по ВСВ из темы о нем. "Ключевые слова" в ВСВ - это намного слабее, чем Рубрики и "Правила попадания в Рубрики" в СайтСпутнике. Слабее они по трем причинам. Первое. "Ключевые слова" - это далеко не дерево Рубрик, через которое просеиваются обновления страниц, а всего один листок этого дерева. Более того, в СайтСпутнике можно просеить поток обновлений сразу через несколько Деревьев. Второе. Этот листок привязан только к конкретной одной закладке, а не к группе закладок (в СайтСпутнике группа ссылок-закладок размещается в пакете). Третье. Сами Правила попадания в Рубрику в СайтСпутнике намного эффективнее, чем набор ключевых слов, одно из которых должно присутствовать в контенте обновлений. Нет, например, расстояния между словами, нет точных фраз, нет возможности описать сущности, отсутствует логическое "Нет", нет скобочной структуры, вставки текста из файла. Поэтому, выводы, сделанные в сообщение 10, на мой взгляд верны. Они таковы. 1. Есть программы, которые рубрицируют потоки новых ссылок. Это делает тот же SiteSputnik News. Есть программы, которые выделяют цветом обновления на странице. Это умеем упомятый WSW. Нет программы, которая умеют и то, и другое, а именно: выделить фрагменты новой информации и Рубрицировать их. SiteSputnik Webspider находит контенты обновлений страниц и Рубрицирует именно их, а не весь контент страниц. 2. Есть паук, который сам по себе не уникальное явление, но при наличие п.1 позволяет находить новые ссылки и ставить на мониторинг обновление их контента. Паук, делающий такую работу, мне не известен. 3. Существование в рамках одной программы мониторинга потока новых страниц и мониторинга обновления уже существующих страниц, мне так же не известно. Уточню только, что под работой паука понимается и его деятельность по Рубрикации. |
CI-KP
Администратор
Откуда: Екатеринбург Всего сообщений: 5565 Рейтинг пользователя: 24 Ссылка Дата регистрации на форуме: 15 мая 2009 |
Алексей Мыльников написал: рационально вывести WebSpider из News в Pro (возможно, что кому-то он потребуется без +News), т.е. можно будет работать в Pro+News, Pro+WebSpider, Pro+News+WebSpider. +1 ---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь. |
<<Назад Вперед>> | Страницы: 1 2 * 3 4 | Печать |
Форум Сообщества Практиков Конкурентной разведки (СПКР) » Приемы работы с программой СайтСпутник (SiteSputnik) » SiteSputnik WebSpider. Мониторинг изменений на сайтах |
Самые активные 20 тем | |