Мастер подключения поисковиков, сайтов и RSS-потоков

Форум Сообщества Практиков Конкурентной разведки (СПКР)

Конкурентная разведка, Бизнес-разведка, Корпоративная разведка,
Деловая разведка по открытым источникам в бизнесе.
Работаем строго в рамках закона.

Дезинформация и активные мероприятия в бизнесе
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Библиотека источников и иструменты её создания и ведения »   Мастер подключения поисковиков, сайтов и RSS-потоков
RSS

Мастер подключения поисковиков, сайтов и RSS-потоков

<<Назад  Вперед>>Страницы: 1 2 3 4 5 6 7 8 9
Печать
 
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 773
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009
Спасибо, Алексей Борисович!!! :good: :hi:
CI-KP
Администратор

Откуда: Екатеринбург
Всего сообщений: 5730
Рейтинг пользователя: 24


Ссылка


Дата регистрации на форуме:
15 мая 2009

Алексей Мыльников написал:
[q]
Подключение произвольных страниц сайтов
[/q]

А что Сайтспутник делает с произвольной страницей сайта? Изменения на ней, подобно Вебсайт вочеру отслеживает или что-то другое?

---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru
Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь.
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 798
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

CI-KP написал:
[q]
А что Сайтспутник делает с произвольной страницей сайта? Изменения на ней, подобно Вебсайт вочеру отслеживает или что-то другое?
[/q]

Хороший вопрос.

СайтСпутник делает оба варианта.

1. Можно как в Вотчере отслеживать и выделять цветом изменение контента страниц плюс сохранять историю этих изменений (реализована пока бета-версия такого мониторинга), но это не главное, важнее второй пункт.

2. Можно подключить произвольную страницу и использовать ее в SiteSputnik News для мониторинга новостей, причем можно страницу подключить несколько раз, если на ней несколько видов новостных "потоков". Например, если взять gazeta.ru, то только с её главной страницы можно снимать несколько потоков информации, а именно:

- слева постоянно меняется колонка "Новость часа",
- справа также периодически изменяется колонка, в ней другие новости,
- в середине основной новостной поток газеты,
- еще есть несколько блоков новостной информации другого вида.

Практически все эти потоки в программе СайтСпутник уже можно подключить и мониторить по полной программе с разнесением информации по Рубрикам.
Это не исключает подключение RSS-потока (он есть и приносит по 15 новостей) и встроенного поиска по сайту, а дополняет эти возможности.

CI-KP
Администратор

Откуда: Екатеринбург
Всего сообщений: 5730
Рейтинг пользователя: 24


Ссылка


Дата регистрации на форуме:
15 мая 2009
Я не очень продвинутый пользователь СайтСпутника (пока, во всяком случае). На сегодня мне для практических целей нравится такая реализация:

1. СайтСпутник сделал первичный поиск информации и затем может отслеживать появление новых страниц.

2. Вочер смотрит изменения на конкретной странице. Что важно - без привязки к наличию или отсутствию RSS. Фильтрами постепенно отсекаются всякие ложные срабатывания типа баннеров, времени или счетчиков.

3. RSS-агрегаторы смотрят на RSS-потоки, и папки там делаются легко. Доступ к ним из любой точки Земного шара в любое время, нет привязки к софту вообще.

4. Интегрум смотрит СМИ и сторожок тащит в Личный кабинет все, что надо. Бесспорный плюс этого решения в том, что там есть СМИ, которых вообще нет в Интернете. Бесспорный минус - в платности.

Все эти решения вместе дают хороший результат и, что немаловажно, очень просты в настройках. Т.е., необходимости прогрызаться через массу настроек, как в СайтСпутнике, просто нет.

Вочер дешев и его можно считать бесплатным на этих величинах. RSS-агрегаторы бесплатны в принципе.

Получается, что если нет Интегрума, то Сайтспутник берет на себя часть его функций и помогает сэкономить. Но взамен требует недюжинного желания (да и способностей) ковыряться в его настройках и не приносит того, что отсутствует в Интернете.

Напомню, что основа популярности советских танков, к примеру, была не только в том, что они имели неплохие (хотя и не лучшие в мире) характеристики, и не в том, что при этом стоили не очень дорого, но и в том, что из трех крестьян любой страны за три месяца можно было подготовить боеспособный экипаж.

Таким образом, если моя логика верна, то единственное, в чем Сайтспутник незаменим - это "первичный допрос Интернета". Для чего он, собственно, изначально и создавался. В некоторой степени - в возможностях наковырять спайдером невидимые поисковиками ссылки (на практике это очень нечасто приносит значимые результаты - что, впрочем, совершенно не вина Сайтспутника, а отражает реальное положение дел на сайтах).
В остальном - при нынешнем интерфейсе - он все больше превращается в подобие операционной системы Windows - когда даже простое расставление галочек в нужных местах приобретает такие масштабы, что родило новую специальность системного администратора.

Произошел переход количества (возможностей и связанных с ними настроек) в качество (пригодность к быстрому использованию неподготовленным человеком). Если это действительно так, и мне не показалось, то интерфейс стал тормозом к использованию программы. Так, кстати, в свое время появился графический интерфейс, созданный Apple и подтянутый затем Майкрософтом.

Допускаю, что в моих рассуждениях есть изъян, т.к. я не очень хорошо ориентируюсь в глубинах СайтСпутника. Расскажите, в чем он, если это так.

---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru
Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь.
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 798
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
Высказываю свое мнение по пунктам.

CI-KP написал:
[q]
1. СайтСпутник сделал первичный поиск информации и затем может отслеживать появление новых страниц.
[/q]

Да, это так.

CI-KP написал:
[q]
2. Вочер смотрит изменения на конкретной странице. Что важно - без привязки к наличию или отсутствию RSS. Фильтрами постепенно отсекаются всякие ложные срабатывания типа баннеров, времени или счетчиков.
[/q]

Да, этот инструмент давно себя зарекомендовал с хорошей стороны. RSS здесь совсем не причём.

CI-KP написал:
[q]
3. RSS-агрегаторы смотрят на RSS-потоки, и папки там делаются легко. Доступ к ним из любой точки Земного шара в любое время, нет привязки к софту вообще.
[/q]

В СайтСпутнике RSS-подключаются без проблем (автоматом) по адресу RSS: указываешь адрес и запоминаешь его.
Но в отличие от RSS-аргегаторов, СайтСпутник позволяет делать две принципиально важные вещи.
1) Из единого потока, полученного из нескольких агрерируемых RSS, получить потоки на заданные темы (через Рубрики), отсеив большой объем ненужной информации.
2) Можно в этот поток направить еше следующие потоки: встроенные в сайты поиски и информацию с произвольных страниц (об этом чуть выше я высказался). Не редкость, что нужный Вам источник не содержит RSS или нужен поиск, а не новости.

CI-KP написал:
[q]
4. Интегрум смотрит СМИ и сторожок тащит в Личный кабинет все, что надо. Бесспорный плюс этого решения в том, что там есть СМИ, которых вообще нет в Интернете. Бесспорный минус - в платности.
[/q]

Не знаком с этой программой в реале. Иду на сайт. Читаю (выделено мною), что можно "... получать оперативные мониторинги всего за несколько кликов в любое удобное для Вас время на вашем личном компьютере. Обучение, первичная настройка системы, а также последующая коррекция поисковых запросов обеспечивается Вашим персональным менеджером поддержки".
Если я правильно понял, то какое может быть сравнение: там требуется разработчик (персональный менеджер со стороны Интегриума), а в СайтСпутнике продвинутый пользователь на Вашей фирме? Я не откажусь от круглой суммы за настройку системы, что займет у меня пару-тройку часов, ну может в некоторых случаях дней. И Вы получите за пару кликов в любое удобное время информацию на своем компьютере. А если ещё получать абонентскую плату и оплату за последующую коррекцию (вот крючок: сядите - не слезете, так как Вы зависите от разработчика), то вообще лафа.
Может я не правильно понял то, что написано на сайте, тогда поправьте меня.

В этой связи о сложности.
Да, с одной стороны, если используются не только RSS, но и потоки со встроенных поисков и произвольных страниц, то их надо подключить. Это принципиально нельзя сделать просто: по нажатию двух-трех кнопок, так как это не RSS, - достаточной стандартизации нет. Но, с другой стороны, при применении СайтСпутника не надо "идти" к разработчику и даже прибегать к помощи своего программиста - достаточно быть продвинутым пользователем или иметь такого на фирме. Если использовать примененную Евгением аналогию про советские танки, то эти танки ещё нужно сделать. Вот в СайтСпутнике они и делаются, именно это и требует усилий. Сделал - садисть и жми на одну педаль (на кнопку "Поиск"). Дальше программа всё сделает сама.

CI-KP
Администратор

Откуда: Екатеринбург
Всего сообщений: 5730
Рейтинг пользователя: 24


Ссылка


Дата регистрации на форуме:
15 мая 2009

Алексей Мыльников написал:
[q]
В СайтСпутнике RSS-подключаются без проблем (автоматом) по адресу RSS: указываешь адрес и запоминаешь его.
Но в отличие от RSS-аргегаторов, СайтСпутник позволяет делать две принципиально важные вещи.
1) Из единого потока, полученного из нескольких агрерируемых RSS, получить потоки на заданные темы (через Рубрики), отсеив большой объем ненужной информации.
2) Можно в этот поток направить еше следующие потоки: встроенные в сайты поиски и информацию с произвольных страниц (об этом чуть выше я высказался). Не редкость, что нужный Вам источник не содержит RSS или нужен поиск, а не новости.
[/q]


Да, это интересно. Я попробую посмотреть поближе на этот момент. Папки в той же Ленте Янлекса, если я правильно понял, выполняют функцию рубрик сайтСпутника. а вот результаты встроенного поиска никто не собирает. Кроме Вочера, правда. Но Вочер - тоже программа, устанавливаемая на компьютер, и поэтому не имеет явных преимуществ перед Сайтспутником, по сравнению с онлайновыми агрегаторами.



Алексей Мыльников написал:
[q]
Не знаком с этой программой в реале. Иду на сайт. Читаю (выделено мною), что можно "... получать оперативные мониторинги всего за несколько кликов в любое удобное для Вас время на вашем личном компьютере. Обучение, первичная настройка системы, а также последующая коррекция поисковых запросов обеспечивается Вашим персональным менеджером поддержки".
Если я правильно понял, то какое может быть сравнение: там требуется разработчик (персональный менеджер со стороны Интегриума), а в СайтСпутнике продвинутый пользователь на Вашей фирме? Я не откажусь от круглой суммы за настройку системы, что займет у меня пару-тройку часов, ну может в некоторых случаях дней. И Вы получите за пару кликов в любое удобное время информацию на своем компьютере. А если ещё получать абонентскую плату и оплату за последующую коррекцию (вот крючок: сядите - не слезете, так как Вы зависите от разработчика), то вообще лафа.
Может я не правильно понял то, что написано на сайте, тогда поправьте меня.
[/q]


Там есть язык запросов и есть менеджер. Видимо, менеджер потому и появился, что язык запросов вызывал у мнгих обморок одним своим видом.
В принципе, можно Вам, как мне кажется, говорить о настройке за отдельную плату. Только лучше не круглую сумму, а нормальную. Хотя там проблема всегда - в формулировке задачи заказчиком. Не умеет он ее формулировать, как правило.


Алексей Мыльников написал:
[q]
В этой связи о сложности.
Да, с одной стороны, если используются не только RSS, но и потоки со встроенных поисков и произвольных страниц, то их надо подключить. Это принципиально нельзя сделать просто: по нажатию двух-трех кнопок, так как это не RSS, - достаточной стандартизации нет. Но, с другой стороны, при применении СайтСпутника не надо "идти" к разработчику и даже прибегать к помощи своего программиста - достаточно быть продвинутым пользователем или иметь такого на фирме. Если использовать примененную Евгением аналогию про советские танки, то эти танки ещё нужно сделать. Вот в СайтСпутнике они и делаются, именно это и требует усилий. Сделал - садисть и жми на одну педаль (на кнопку "Поиск"). Дальше программа всё сделает сама.
[/q]

Тогда получается. что к СайтСпутнику нужен инструктор. или - очень подробное (в смысле - на разные случаи жизни) видео.

---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru
Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь.
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 798
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

CI-KP написал:
[q]
Папки в той же Ленте Янлекса, если я правильно понял, выполняют функцию рубрик сайтСпутника.
[/q]

Нет, не выполняют функцию Рубрик! В этом и преимущество перед Яндекс.Подпиской, в которой в папки с RSS-потоков в общем случае может попадать до 100% мусора, потому что идут все новости подряд. А в Рубрики можно из этого потока с большой точностью направить нужный контент. Точность, в частности, обеспечивается выделением контента новости из полного текста ссылки, а не только правилами попадания контента в Рубрику.

Кстати, Яндекс подписка - это тоже RSS-поток и, если Вы ее создадите в IE, то можете ее подключить как отдельное RSS.


CI-KP написал:
[q]
а вот результаты встроенного поиска никто не собирает. Кроме Вочера, правда. Но Вочер - тоже программа, устанавливаемая на компьютер, и поэтому не имеет явных преимуществ перед Сайтспутником, по сравнению с онлайновыми агрегаторами.
[/q]

Вотчер здесь существенно уступает СайтСпутнику, так как умеет мониторить только отдельные страницы, причем удобно работать только с первыми страницами. Если им мониторить на глубину нескольких страниц, то уже начнется "путаница", ссылки перешедшие на другую страницу будут восприниматься как новые. В добавок, если Вы мониторите страницы с нескольких источников, то Вотчер тоже не увидит одинаковые ссылки на них и будет много повторов ссылок и, главное, старых ссылок, принимаемых за новые, потому что он не увидит ссылку на другом источнике ни на первой, ни на любой другой странице и выделит ее как новую.

СайтСпутник же при мониторинге на любую глубину, на любом количестве источников четко справится с повторами и новизной ссылок, причем проанализирует ссылки за последние 90 попыток мониторинга (90 установлено по умолчанию), а не относительно ОДНОГО последнего состояния как в Вотчере.

CI-KP
Администратор

Откуда: Екатеринбург
Всего сообщений: 5730
Рейтинг пользователя: 24


Ссылка


Дата регистрации на форуме:
15 мая 2009
Спасибо, Алексей. Да, это серьезные аргументы. Есть понятная инструкция, как делать то, что описано вами в комментарии от 23 мая 2011 2:38 на который я отвечаю?

---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru
Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь.
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 798
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

CI-KP написал:
[q]
Спасибо, Алексей. Да, это серьезные аргументы. Есть понятная инструкция, как делать то, что описано вами в комментарии от 23 мая 2011 2:38 на который я отвечаю?
[/q]

По работе с SiteSputnik News - "SiteSputnik News. Как организовать мониторинг потоков информации, плюс я всегда консультитрую по электронной почте.

По мониторингу появления новый ссылок на заданную тему можно посмотреть здесь на форуме - forum.razved.info/index.php?t=770

Vinni
Администратор

Всего сообщений: 2695
Рейтинг пользователя: 22


Ссылка


Дата регистрации на форуме:
5 июня 2009

Алексей Мыльников написал:
[q]
Но в отличие от RSS-аргегаторов, СайтСпутник позволяет делать две принципиально важные вещи.
1) Из единого потока, полученного из нескольких агрерируемых RSS, получить потоки на заданные темы (через Рубрики), отсеив большой объем ненужной информации.
[/q]


Хм. Я, например, пользуюсь RSS-агрегатором в Outlook2007, который позволяет с помощью простого мастера создания правил, отбирать сообщения по заданным ключевым словам и помещать их в специальные папки. думаю, что и другие RSS-агрегаторы это могут :wink:
<<Назад  Вперед>>Страницы: 1 2 3 4 5 6 7 8 9
Печать
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Библиотека источников и иструменты её создания и ведения »   Мастер подключения поисковиков, сайтов и RSS-потоков
RSS

Последние RSS
Социнжиниринг в военной пропаганде
Тут будем жаловаться
Новое на блоге HRazvedka
История создания ИГИЛовской спецслужбы ЭМНИ (Emni)
«МИРУ-МИР» (Короткометражный фильм) 2017
Парсер для сайта Реформа ЖКХ
Darknet, Deep Web. Как посещать закрытые сайты?
Баланс банковской карты по её номеру
Сборка инструментов для OSINT
This Week SCIP Is in India
Яндекс запустил открытое бета-тестирование Яндекс.Медианы
Яндекс представит свой новый поиск
Kaspersky Who Calls
DarkNet
Книга "Наружное наблюдение"
Larina, SPKR and US 2016 Election
Засветились...
Экономический шпионаж с китайской спецификой
Обновление на блоге HRazvedka
Как найти email нужного человека: инструменты, хитрости, тактика

Самые активные 20 тем RSS
Мелочи
Тут будем жаловаться
Социнжиниринг в военной пропаганде