Мастер подключения поисковиков, сайтов и RSS-потоков

Форум Сообщества Практиков Конкурентной разведки (СПКР)

Конкурентная разведка, Бизнес-разведка, Корпоративная разведка,
Деловая разведка по открытым источникам в бизнесе.
Работаем строго в рамках закона.

Дезинформация и активные мероприятия в бизнесе
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Библиотека источников и иструменты её создания и ведения »   Мастер подключения поисковиков, сайтов и RSS-потоков
RSS

Мастер подключения поисковиков, сайтов и RSS-потоков

<<Назад  Вперед>>Страницы: 1 2 3 4 5 6 7 8 9
Печать
 
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 773
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009

Vinni написал:
[q]
Я, например, пользуюсь RSS-агрегатором в Outlook2007
[/q]
У Outlook'а простой язык правил попадания в рубрику, поэтому мусор неизбежен.
В "СайтСпутнике Ньюс" же можно задавать не только слова, но и расстояние между словами, можно указать огромное множество правил попадания в рубрику. В этом его несомненная сила.
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 798
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
Дополнительно к сказанному tungus1973:

1) Вряд ли где-то автоматически выделяются контенты новости из всего содержания ссылки, что само по себе удобно, а также влияет на точность.

2) Кроме RSS ещё можно подключить встроенные поиски и произвольные страницы. Подключение произвольных страниц можно рассматривать как моделирование RSS-потоков. Оно может быть применено на тех страницах, где RSS-потоков нет или когда не вся интересная информация с источника попадает в RSS-поток.

Vinni
Администратор

Всего сообщений: 2695
Рейтинг пользователя: 22


Ссылка


Дата регистрации на форуме:
5 июня 2009

tungus1973 написал:
[q]
У Outlook'а простой язык правил попадания в рубрику, поэтому мусор неизбежен.
В "СайтСпутнике Ньюс" же можно задавать не только слова, но и расстояние между словами, можно указать огромное множество правил попадания в рубрику. В этом его несомненная сила.
[/q]


Правильно - функциональность есть, но ее возможности ограниченные (изначально было заявлено, что такая функциональность только в СайтСпутнике :wink: ). Тем не менее, в большом числе случаев достаточно и простого списка ключевых слов. :wink:

И в RSS-агрегаторах на число правил что-то я не видел ограничений :wonder1:

Vinni
Администратор

Всего сообщений: 2695
Рейтинг пользователя: 22


Ссылка


Дата регистрации на форуме:
5 июня 2009

Алексей Мыльников написал:
[q]
1) Вряд ли где-то автоматически выделяются контенты новости из всего содержания ссылки, что само по себе удобно, а также влияет на точность.
2) Кроме RSS ещё можно подключить встроенные поиски и произвольные страницы. Подключение произвольных страниц можно рассматривать как моделирование RSS-потоков. Оно может быть применено на тех страницах, где RSS-потоков нет или когда не вся интересная информация с источника попадает в RSS-поток.
[/q]


Ну как же. Есть небезызвестный проект Скиур, который позволяет эмулировать RSS для новостных лент произвольных сайтов.
С его помощью можно создать RSS-поток для большого числа сайтов (но не для всех :wink: )

ЗЫ
Покажите, например, пошагово как подключить новостную ленту compromat.ru к СайтСпутнику как произвольную страницу :preved:
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 798
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

Vinni написал:
[q]
ЗЫ
Покажите, например, пошагово как подключить новостную ленту compromat.ru к СайтСпутнику как произвольную страницу
[/q]

Шаги следующие.
1. Беру ссылку compromat.ru/ и помещаю её в окно на первой вкладке Мастера.
2. Убираю галочку, так как это подключение не поиска, а произвольной страницы (никакие ключи поиска не нужны).
3. Нажимаю правую кнопку мышки на "Открыть". Жду.
4. На второй вкладке в ручном режиме ввожу признаки:
<BR><B>
и
>01</A>
5. На третьей вкладке ввожу имя источника: "ГлавнаяСтр", по нему будет обращение к этому подключению. Можно проверить его правильность на этой вкладке.
6. Регистрирую на 4-ой вкладке в новом сценарии с именем "Compromat" это подключение.

В прикрепленном файле полученное подключение. Его можно импортировать и опробовать.

Прикрепленный файл (Сценарий~Compr, 455 байт, скачан: 215 раз)
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 798
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
В продолжение предыдущего сообщения: в прикрепленном файле автоматически полученная полнотекстовая новостная лента с главной страницы Компромата.Ру. Её можно разнести по Рубрикам.

Прикрепленный файл (Новости_13.rar, 645249 байт, скачан: 189 раз)
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 798
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
Таким образом RSS-поток с главной страницы Компромата.Ру смоделирован.
Изначально RSS-потока на этой страницы нет.

Vinni
Администратор

Всего сообщений: 2695
Рейтинг пользователя: 22


Ссылка


Дата регистрации на форуме:
5 июня 2009

Алексей Мыльников написал:
[q]
<BR><B>
[/q]

Спасибо! :good:


Но в вашем варианте пропускается первая новость на странице (вы берете строчку, которая принадлежит концу предыдущей новости вместе с началом строки дляследующей новости). :wink:
Там чуть посложнее выражение - <b>(<BR>|)

В полноценном RSS-потоке нужно автоматически указывать дату-время публикации (на этом сайте указывается только дата - как определить время автоматически?)
У Вас я не вижу такого - нужно смотреть дату публикации вручную по тексту...

Плюс что делать с новостями, для которых вместо даты указан крестик, если будете автоматически выделять дату? :wonder1:



Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 798
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
Если на странице несколько признаков начала новости или сниппета, то её можно подключить несколько раз в одном сценарии. В целом, то что Вы отметили в предыдущем сообщении, со временем "подрихтую".

tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 773
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009

Vinni написал:
[q]
Тем не менее, в большом числе случаев достаточно и простого списка ключевых слов.
[/q]
Если тем мониторинга и запросов единицы, то - да, достаточно простого RSS-агрегатора. Когда тем несколько десятков, работать с простым агрегатором становится тягостно. Когда количество потоков переваливает за сотню, просматривать весь мусор не представляется возможным.


Конечно, следует признать, что на процесс сильно влияет специализированность источника и употребимость ключевых слов.

Если источник информации специализированный - мусора не будет, все сообщения полезны. Если источник, кроме нужной Вам темы, публикует сообщения других сфер (например, РИА "Новости"), мусора может быть много.

Если ключевые слова специализированные, например, мономолекулярная реакция распада азометана, значит ссылок будет немного. Если же слова общеупотребимые - мусора будет ОГО-ГО!


Для работы с малым количеством специализированных источников и при отслеживании специализированных ключевых слов достаточно простого RSS-агрегатора новостей. Иначе - рекомендую "СайтСпутник Ньюс" - сэкономите немало времени.
<<Назад  Вперед>>Страницы: 1 2 3 4 5 6 7 8 9
Печать
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Библиотека источников и иструменты её создания и ведения »   Мастер подключения поисковиков, сайтов и RSS-потоков
RSS

Последние RSS
Социнжиниринг в военной пропаганде
Тут будем жаловаться
Новое на блоге HRazvedka
История создания ИГИЛовской спецслужбы ЭМНИ (Emni)
«МИРУ-МИР» (Короткометражный фильм) 2017
Парсер для сайта Реформа ЖКХ
Darknet, Deep Web. Как посещать закрытые сайты?
Баланс банковской карты по её номеру
Сборка инструментов для OSINT
This Week SCIP Is in India
Яндекс запустил открытое бета-тестирование Яндекс.Медианы
Яндекс представит свой новый поиск
Kaspersky Who Calls
DarkNet
Книга "Наружное наблюдение"
Larina, SPKR and US 2016 Election
Засветились...
Экономический шпионаж с китайской спецификой
Обновление на блоге HRazvedka
Как найти email нужного человека: инструменты, хитрости, тактика

Самые активные 20 тем RSS
Мелочи
Тут будем жаловаться
Социнжиниринг в военной пропаганде