Форум Сообщества Практиков Конкурентной разведки (СПКР) » Приемы работы с программой СайтСпутник (SiteSputnik) » SiteSputnik WebSpider. Мониторинг изменений на сайтах |
![]() |
<<Назад Вперед>> | Страницы: 1 2 3 * 4 | Печать |
Игорь Нежданов
Модератор форума
Прагматик Откуда: Советский Союз Всего сообщений: 1025 Рейтинг пользователя: 13 Ссылка Дата регистрации на форуме: 7 июня 2009 |
Благодаря функции WebSpider можно не напрягаясь отслеживать те потоки новостей, которые не удалось зацепить никаким из имеющихся в СайтСпутнике вариантов. ---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ... Лаборатория Перспективных Разработок |
tungus1973
Модератор форума
Откуда: г. Санкт-Петербург Всего сообщений: 795 Рейтинг пользователя: 11 Ссылка Дата регистрации на форуме: 3 июля 2009 |
Игорь Нежданов написал: Очень интересно! Расскажите пожалуйста поподробнее? Благодаря функции WebSpider можно не напрягаясь отслеживать те потоки новостей, которые не удалось зацепить никаким из имеющихся в СайтСпутнике вариантов. |
Игорь Нежданов
Модератор форума
Прагматик Откуда: Советский Союз Всего сообщений: 1025 Рейтинг пользователя: 13 Ссылка Дата регистрации на форуме: 7 июня 2009 |
tungus1973 написал: Игорь Нежданов написал: И тебе привет! - а что это ты на "Вы" перешел? ---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ... Лаборатория Перспективных Разработок |
Игорь Нежданов
Модератор форума
Прагматик Откуда: Советский Союз Всего сообщений: 1025 Рейтинг пользователя: 13 Ссылка Дата регистрации на форуме: 7 июня 2009 |
Разобрались после сепаратных переговоров... Значит так - если по какой то причине не получилось подключить страницу как источник информации (ни поисковик, ни РСС). Не нашел начало пункта, не знаю как пользоваться поиском в txt файлах, еще что или просто лень, то можно задействовать функцию WebSpider. В этом случае СайтСпутник действует следующим образом: - "фотографирует" страницу, проходит по всем ссылкам и выкачивает оттуда контент (на этом этапе много лишнего); - при повторном проходе выявляет новое по сравнению с предыдущей версией и забирает контент только с новых ссылок; - ну и рубрицирует найденное. ---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ... Лаборатория Перспективных Разработок |
tungus1973
Модератор форума
Откуда: г. Санкт-Петербург Всего сообщений: 795 Рейтинг пользователя: 11 Ссылка Дата регистрации на форуме: 3 июля 2009 |
Спасибо! |
Игорь Нежданов
Модератор форума
Прагматик Откуда: Советский Союз Всего сообщений: 1025 Рейтинг пользователя: 13 Ссылка Дата регистрации на форуме: 7 июня 2009 |
К стати - можно задать глубину прохождения по ссылкам..... и при необходимости выкачать весь сайт. ---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ... Лаборатория Перспективных Разработок |
petryashov
Администратор
Откуда: Москва Всего сообщений: 480 Рейтинг пользователя: 9 Ссылка Дата регистрации на форуме: 7 июня 2009 |
Пытался протестировать систему мониторинга по инструкции, изложенной на первой странице ветки. Возможно, что-то не так делаю, но вместо полных текстов страниц отображаются только заголовки и теги. |
petryashov
Администратор
Откуда: Москва Всего сообщений: 480 Рейтинг пользователя: 9 Ссылка Дата регистрации на форуме: 7 июня 2009 |
Вот пакет |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 877 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
petryashov написал: Вот пакет 1. После Новости поставьте знак "точка с запятой", 2. Не Рубрики/Сайтпутник, a Рубрики\СайтСпутник. Чтобы не делать синтаксических ошибок, выбирайте эти операторы из меню (см. красную и зеленую галочки): ![]() |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 877 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
Игорь Нежданов написал: Разобрались после сепаратных переговоров... Да, это так (это про источник "|| WebSpider=N"), но в топике #23, всё-таки, речь не об этом. в СайтСпутнике есть оператор: ^^WebSpider; Если он стоит в пакете вместо оператора ^^Новости;, то СайтСпутник переключается на алгоритм нахождения и Рубрикации обновлений по пакету запросов. То есть, выполняется поиск, если находятся новые относительно всех выполненных ранее пакетов ссылки, то они целиком попадают на Рубрикацию. Если ссылка хотя бы один раз уже "попадалась", то СайтСпутник возьмет последнее состояние ссылки, определит что в нем появилось новое (новые фрагменты, обновления) и Рубрицирует эти обновления по тем же Рубрикам, что и новые ссылки. Если Вы мониторите обновление по пакету запросов в поисковиках, то рекомендуется в "Настройках" убрать выделение значимого контента ссылки (см. на вкладке News внизу набранный мелким шрифтом параметр: "Не выделять контент новосити из ссылки (оставлять контент ссылки "как есть")). Если это пакет запросов к "хорошим" источникам , то этого делать не надо. Да, при отказе от выделения контента ссылки всё будет не так "красиво", но не приведет к потере значимой информации. |
<<Назад Вперед>> | Страницы: 1 2 3 * 4 | Печать |
Форум Сообщества Практиков Конкурентной разведки (СПКР) » Приемы работы с программой СайтСпутник (SiteSputnik) » SiteSputnik WebSpider. Мониторинг изменений на сайтах |
![]() |
Самые активные 20 тем |
![]() |