Версия для печати
- Форум Сообщества Практиков Конкурентной разведки (СПКР) http://forum.razved.info/
-- Библиотека источников и иструменты её создания и ведения http://forum.razved.info//index.php?f=79
--- Подключение списка Источников http://forum.razved.info//index.php?t=5460
-- Алексей Мыльников написал 11 февраля 2015 8:41
Примеры страниц, на которых размещены списки Источников.
1. "Экспорт новостей Яндекса" - здесь (http://news.yandex.ru/export.html).
2. "Сделано у нас" - здесь (http://sdelanounas.ru/blogs/public/?page=0) и здесь (http://sdelanounas.ru/blogs/public/?page=1).
3. "Список блогов по информационной безопасности" - здесь (http://forum.razved.info/index.php?t=5208&p=52386#pp52386)
4. Несколько Источников информации для RSSH - здесь (http://forum.razved.info/index.php?t=3083&p=32596#pp32596)
Последние две страницы - с этого форума.
На всех этих четырех страницах несколько десятков ссылок, которые представляют интерес для мониторинга в качестве Источников. Подключать их поодиночке и следить за изменениями на этих страницах - отдельные хлопоты.
В программе SiteSputnik (версия должна быть не старше 8.8.6 от 11.02.2015) можно размещенные на одной странице однородные источники подключить к мониторингу "оптом" все сразу, причем всё подключение займет всего одну строку в Проекте.
В общем виде строка выглядит так:
ссылка-первоисточник +лексемы1 -лексемы2 +Лексемы3 -Лексемы4
В следующих топиках на примерах достаточно подробно описана технология подключения списка источников.
Продолжение следует...
-- Алексей Мыльников написал 11 февраля 2015 8:48
Подключение источников, размещенных на странице "Экспорт новостей Яндекса" (http://news.yandex.ru/export.html)
Ссылка-первоисточник, содержащая нужные источники, такова - news.yandex.ru/export.html.
Нажимаем в СайтСпутнике на "Золотой ключик" и выполняем запрос:
http://news.yandex.ru/export.html
Результат смотрим в списке "Экспорт-txt":
news.yandex.ru/
yandex.ru:80/
mail.yandex.ru/
maps.yandex.ru:80/
market.yandex.ru:80/?cvredirect=1&clid=527
slovari.yandex.ru:80/
video.yandex.ru:80/
images.yandex.ru:80/
auto.yandex.ru:80/
afisha.yandex.ru/
blogs.yandex.ru:80/
https://money.yandex.ru/
disk.yandex.ru/
ege.yandex.ru/
yaca.yandex.ru:80/
moikrug.ru/
music.yandex.ru:80/
realty.yandex.ru/
translate.yandex.ru/
pogoda.yandex.ru/
people.yandex.ru/
probki.yandex.ru/
rabota.yandex.ru/
rasp.yandex.ru/
sprav.yandex.ru/
https://taxi.yandex.ru/
tv.yandex.ru/
uslugi.yandex.ru/
fotki.yandex.ru:80/
appsearch.yandex.ru/
soft.yandex.ru/
yandex.ru/all
my.ya.ru/
mobile.yandex.ru/
news.yandex.ru:80/advanced.html?text=
social.yandex.ru/
webmaster.yandex.ru/
zakladki.yandex.ru/
metrika.yandex.ru/
moikrug.ru/?from=i_yandex
mail.yandex.ru/lenta
partner.yandex.ru/
fotki.yandex.ru/users/abm1956
news.yandex.ru/export.html
help.yandex.ru/news/
news.yandex.ru/index.html
news.yandex.ru/rubl.html
news.yandex.ru/mynews
news.yandex.ru/politics.html
news.yandex.ru/society.html
news.yandex.ru/business.html
news.yandex.ru/world.html
news.yandex.ru/sport.html
news.yandex.ru/incident.html
news.yandex.ru/culture.html
news.yandex.ru/science.html
news.yandex.ru/computers.html
news.yandex.ru/internet.html
news.yandex.ru/auto.html
blogs.law.harvard.edu/tech/rss
yaca.yandex.ru/yca/cat/Computers/Internet/Web_Development/rss/
news.yandex.ru/hardware.rss
news.yandex.ua/hardware.rss
news.yandex.ru/computers.rss
news.yandex.ua/computers.rss
news.yandex.ru/auto.rss
news.yandex.ua/auto.rss
news.yandex.ru/auto_racing.rss
news.yandex.ua/auto_racing.rss
news.yandex.ru/basketball.rss
news.yandex.ua/basketball.rss
news.yandex.ru/security.rss
news.yandex.ua/security.rss
news.yandex.ru/world.rss
news.yandex.ua/world.rss
news.yandex.ru/galleries.rss
news.yandex.ua/galleries.rss
news.yandex.ru/index.rss
news.yandex.ua/index.rss
news.yandex.ru/martial_arts.rss
news.yandex.ua/martial_arts.rss
news.yandex.ru/communal.rss
news.yandex.ua/communal.rss
news.yandex.ru/games.rss
news.yandex.ua/games.rss
news.yandex.ru/internet.rss
news.yandex.ua/internet.rss
news.yandex.ru/movies.rss
news.yandex.ua/movies.rss
news.yandex.ru/crime.rss
news.yandex.ua/crime.rss
news.yandex.ru/culture.rss
news.yandex.ua/culture.rss
news.yandex.ru/metallurgy.rss
news.yandex.ua/metallurgy.rss
news.yandex.ru/fashion.rss
news.yandex.ua/fashion.rss
news.yandex.ru/music.rss
news.yandex.ua/music.rss
news.yandex.ru/science.rss
news.yandex.ua/science.rss
news.yandex.ru/realty.rss
news.yandex.ua/realty.rss
news.yandex.ru/society.rss
news.yandex.ua/society.rss
news.yandex.ru/fire.rss
news.yandex.ua/fire.rss
news.yandex.ru/politics.rss
news.yandex.ua/politics.rss
news.yandex.ru/law.rss
news.yandex.ua/law.rss
news.yandex.ru/incident.rss
news.yandex.ua/incident.rss
news.yandex.ru/religion.rss
news.yandex.ua/religion.rss
news.yandex.ua/east.rss
news.yandex.ru/rubl.rss
news.yandex.ru/software.rss
news.yandex.ua/software.rss
news.yandex.ru/sport.rss
news.yandex.ua/sport.rss
news.yandex.ru/insurance.rss
news.yandex.ua/insurance.rss
news.yandex.ru/theaters.rss
news.yandex.ua/theaters.rss
news.yandex.ru/tennis.rss
news.yandex.ua/tennis.rss
news.yandex.ru/transport.rss
news.yandex.ua/transport.rss
news.yandex.ru/finances.rss
news.yandex.ua/finances.rss
news.yandex.ru/football.rss
news.yandex.ua/football.rss
news.yandex.ru/hockey.rss
news.yandex.ua/hockey.rss
news.yandex.ru/showbusiness.rss
news.yandex.ua/showbusiness.rss
news.yandex.ru/ecology.rss
news.yandex.ua/ecology.rss
news.yandex.ru/business.rss
news.yandex.ua/business.rss
news.yandex.ru/energy.rss
news.yandex.ua/energy.rss
news.yandex.ru/Abkhasia/index.rss
news.yandex.ru/Austria/index.rss
news.yandex.ru/Azerbaijan/index.rss
news.yandex.ru/Albania/index.rss
news.yandex.ru/Andorra/index.rss
news.yandex.ru/Armenia/index.rss
news.yandex.ru/Belarus/index.rss
news.yandex.ru/Belgium/index.rss
news.yandex.ru/Bolgaria/index.rss
news.yandex.ru/BosniaHercegovina/index.rss
news.yandex.ru/Vatican/index.rss
news.yandex.ru/GreatBritain/index.rss
news.yandex.ru/Hungary/index.rss
news.yandex.ru/Germany/index.rss
news.yandex.ru/Gibraltar/index.rss
news.yandex.ru/Greece/index.rss
news.yandex.ru/Georgia/index.rss
news.yandex.ru/Denmark/index.rss
news.yandex.ru/Israel/index.rss
news.yandex.ru/Ireland/index.rss
news.yandex.ru/Iceland/index.rss
news.yandex.ru/Spain/index.rss
news.yandex.ru/Italy/index.rss
news.yandex.ru/Kazakhstan/index.rss
news.yandex.ru/Canada/index.rss
news.yandex.ru/Cyprus/index.rss
news.yandex.ru/Kirghizia/index.rss
news.yandex.ru/China/index.rss
news.yandex.ru/Latvia/index.rss
news.yandex.ru/Lithuania/index.rss
news.yandex.ru/Liechtenstein/index.rss
news.yandex.ru/Luxembourg/index.rss
news.yandex.ru/Macedonia/index.rss
news.yandex.ru/Malta/index.rss
news.yandex.ru/Moldova/index.rss
news.yandex.ru/Monaco/index.rss
news.yandex.ru/Netherlands/index.rss
news.yandex.ru/Norway/index.rss
news.yandex.ru/Poland/index.rss
news.yandex.ru/Portugal/index.rss
news.yandex.ru/Romania/index.rss
news.yandex.ru/USA/index.rss
news.yandex.ru/SanMarino/index.rss
news.yandex.ru/Serbia/index.rss
news.yandex.ru/Slovakia/index.rss
news.yandex.ru/Slovenia/index.rss
news.yandex.ru/Tadjikistan/index.rss
news.yandex.ru/Turkmenistan/index.rss
news.yandex.ru/Turkey/index.rss
news.yandex.ru/Uzbekistan/index.rss
news.yandex.ru/Finland/index.rss
news.yandex.ru/France/index.rss
news.yandex.ru/Croatia/index.rss
news.yandex.ru/Montenegro/index.rss
news.yandex.ru/Czech/index.rss
news.yandex.ru/Switzerland/index.rss
news.yandex.ru/Sweden/index.rss
news.yandex.ru/Estonia/index.rss
news.yandex.ru/Japan/index.rss
livejournal.com/users/syn_yandex/
news.yandex.ru/mailto:support@news.yandex.ru
news.yandex.ru/podpiska/login.pl
news.yandex.ru/smi/
help.yandex.ru/news/?id=1111165
legal.yandex.ru/news_termsofuse/
stat.yandex.ru/stats.xml?ReportID=-225&ProjectID=14
feedback.yandex.ru/?from=news
advertising.yandex.ru/media/banner/news.xml?from=news-ru
yandex.ru/
Видим следующее: нужные нам ссылки имеют в своем адресе лексему1: .rss.
Продолжение следует...
-- Алексей Мыльников написал 11 февраля 2015 8:49
Нажимаем на "Золотой ключик" и выполняем такой запрос:
http://news.yandex.ru/export.html +.rss
Результаты его работы:
news.yandex.ru/hardware.rss
news.yandex.ua/hardware.rss
news.yandex.ru/computers.rss
news.yandex.ua/computers.rss
news.yandex.ru/auto.rss
news.yandex.ua/auto.rss
news.yandex.ru/auto_racing.rss
news.yandex.ua/auto_racing.rss
news.yandex.ru/basketball.rss
news.yandex.ua/basketball.rss
news.yandex.ru/security.rss
news.yandex.ua/security.rss
news.yandex.ru/world.rss
news.yandex.ua/world.rss
news.yandex.ru/galleries.rss
news.yandex.ua/galleries.rss
news.yandex.ru/index.rss
news.yandex.ua/index.rss
news.yandex.ru/martial_arts.rss
news.yandex.ua/martial_arts.rss
news.yandex.ru/communal.rss
news.yandex.ua/communal.rss
news.yandex.ru/games.rss
news.yandex.ua/games.rss
news.yandex.ru/internet.rss
news.yandex.ua/internet.rss
news.yandex.ru/movies.rss
news.yandex.ua/movies.rss
news.yandex.ru/crime.rss
news.yandex.ua/crime.rss
news.yandex.ru/culture.rss
news.yandex.ua/culture.rss
news.yandex.ru/metallurgy.rss
news.yandex.ua/metallurgy.rss
news.yandex.ru/fashion.rss
news.yandex.ua/fashion.rss
news.yandex.ru/music.rss
news.yandex.ua/music.rss
news.yandex.ru/science.rss
news.yandex.ua/science.rss
news.yandex.ru/realty.rss
news.yandex.ua/realty.rss
news.yandex.ru/society.rss
news.yandex.ua/society.rss
news.yandex.ru/fire.rss
news.yandex.ua/fire.rss
news.yandex.ru/politics.rss
news.yandex.ua/politics.rss
news.yandex.ru/law.rss
news.yandex.ua/law.rss
news.yandex.ru/incident.rss
news.yandex.ua/incident.rss
news.yandex.ru/religion.rss
news.yandex.ua/religion.rss
news.yandex.ua/east.rss
news.yandex.ru/rubl.rss
news.yandex.ru/software.rss
news.yandex.ua/software.rss
news.yandex.ru/sport.rss
news.yandex.ua/sport.rss
news.yandex.ru/insurance.rss
news.yandex.ua/insurance.rss
news.yandex.ru/theaters.rss
news.yandex.ua/theaters.rss
news.yandex.ru/tennis.rss
news.yandex.ua/tennis.rss
news.yandex.ru/transport.rss
news.yandex.ua/transport.rss
news.yandex.ru/finances.rss
news.yandex.ua/finances.rss
news.yandex.ru/football.rss
news.yandex.ua/football.rss
news.yandex.ru/hockey.rss
news.yandex.ua/hockey.rss
news.yandex.ru/showbusiness.rss
news.yandex.ua/showbusiness.rss
news.yandex.ru/ecology.rss
news.yandex.ua/ecology.rss
news.yandex.ru/business.rss
news.yandex.ua/business.rss
news.yandex.ru/energy.rss
news.yandex.ua/energy.rss
news.yandex.ru/Abkhasia/index.rss
news.yandex.ru/Austria/index.rss
news.yandex.ru/Azerbaijan/index.rss
news.yandex.ru/Albania/index.rss
news.yandex.ru/Andorra/index.rss
news.yandex.ru/Armenia/index.rss
news.yandex.ru/Belarus/index.rss
news.yandex.ru/Belgium/index.rss
news.yandex.ru/Bolgaria/index.rss
news.yandex.ru/BosniaHercegovina/index.rss
news.yandex.ru/Vatican/index.rss
news.yandex.ru/GreatBritain/index.rss
news.yandex.ru/Hungary/index.rss
news.yandex.ru/Germany/index.rss
news.yandex.ru/Gibraltar/index.rss
news.yandex.ru/Greece/index.rss
news.yandex.ru/Georgia/index.rss
news.yandex.ru/Denmark/index.rss
news.yandex.ru/Israel/index.rss
news.yandex.ru/Ireland/index.rss
news.yandex.ru/Iceland/index.rss
news.yandex.ru/Spain/index.rss
news.yandex.ru/Italy/index.rss
news.yandex.ru/Kazakhstan/index.rss
news.yandex.ru/Canada/index.rss
news.yandex.ru/Cyprus/index.rss
news.yandex.ru/Kirghizia/index.rss
news.yandex.ru/China/index.rss
news.yandex.ru/Latvia/index.rss
news.yandex.ru/Lithuania/index.rss
news.yandex.ru/Liechtenstein/index.rss
news.yandex.ru/Luxembourg/index.rss
news.yandex.ru/Macedonia/index.rss
news.yandex.ru/Malta/index.rss
news.yandex.ru/Moldova/index.rss
news.yandex.ru/Monaco/index.rss
news.yandex.ru/Netherlands/index.rss
news.yandex.ru/Norway/index.rss
news.yandex.ru/Poland/index.rss
news.yandex.ru/Portugal/index.rss
news.yandex.ru/Romania/index.rss
news.yandex.ru/USA/index.rss
news.yandex.ru/SanMarino/index.rss
news.yandex.ru/Serbia/index.rss
news.yandex.ru/Slovakia/index.rss
news.yandex.ru/Slovenia/index.rss
news.yandex.ru/Tadjikistan/index.rss
news.yandex.ru/Turkmenistan/index.rss
news.yandex.ru/Turkey/index.rss
news.yandex.ru/Uzbekistan/index.rss
news.yandex.ru/Finland/index.rss
news.yandex.ru/France/index.rss
news.yandex.ru/Croatia/index.rss
news.yandex.ru/Montenegro/index.rss
news.yandex.ru/Czech/index.rss
news.yandex.ru/Switzerland/index.rss
news.yandex.ru/Sweden/index.rss
news.yandex.ru/Estonia/index.rss
news.yandex.ru/Japan/index.rss
Это все RSS-адреса, размещенные на странице Первоисточника. Кто знаком с языками запросов Яндекса или Гугль, без труда увидит, что выполнен элементарный inurl:.rss над всеми ссылками первоисточника.
Продолжение следует...
-- Алексей Мыльников написал 11 февраля 2015 8:51
Среди найденных в предыдущем топике ссылок есть RSS-ки и по Украине, и по другим странам. Чтобы оставить только Россию (допустим нам это нужно) выполним запрос:
http://news.yandex.ru/export.html +.rss -.ua;index.
Получим 40 ссылок:
news.yandex.ru/hardware.rss
news.yandex.ru/computers.rss
news.yandex.ru/auto.rss
news.yandex.ru/auto_racing.rss
news.yandex.ru/basketball.rss
news.yandex.ru/security.rss
news.yandex.ru/world.rss
news.yandex.ru/galleries.rss
news.yandex.ru/martial_arts.rss
news.yandex.ru/communal.rss
news.yandex.ru/games.rss
news.yandex.ru/internet.rss
news.yandex.ru/movies.rss
news.yandex.ru/crime.rss
news.yandex.ru/culture.rss
news.yandex.ru/metallurgy.rss
news.yandex.ru/fashion.rss
news.yandex.ru/music.rss
news.yandex.ru/science.rss
news.yandex.ru/realty.rss
news.yandex.ru/society.rss
news.yandex.ru/fire.rss
news.yandex.ru/politics.rss
news.yandex.ru/law.rss
news.yandex.ru/incident.rss
news.yandex.ru/religion.rss
news.yandex.ru/rubl.rss
news.yandex.ru/software.rss
news.yandex.ru/sport.rss
news.yandex.ru/insurance.rss
news.yandex.ru/theaters.rss
news.yandex.ru/tennis.rss
news.yandex.ru/transport.rss
news.yandex.ru/finances.rss
news.yandex.ru/football.rss
news.yandex.ru/hockey.rss
news.yandex.ru/showbusiness.rss
news.yandex.ru/ecology.rss
news.yandex.ru/business.rss
news.yandex.ru/energy.rss
Лексема2: -.ua;index. - указывает, что ссылки содержащие .ua или index. следует отбросить.
Продолжение следует...
-- Алексей Мыльников написал 11 февраля 2015 8:53
Если мы в новостном проекте СайтСпутника пропишем последний "синий" запрос (см. предыдущий топик), то 40 ссылок "уйдут" на мониторинг, то есть, будут не ссылками-источниками, а ссылками для мониторинга. Они скачаются, очистятся от мусора и отправятся на Рубрикацию (такой прием применяется при подключении "одиночных" ссылок).
Нам это ни к чему. Чтобы эти 40 ссылок сделать Источниками, можно, например, выполнить следующий запрос:
http://news.yandex.ru/export.html +.rss -.ua;index. +/
Лексема3: +/, точнее плюсик из неё, сообщает СайтСпутнику, что все найденные ссылки для мониторинга переводятся в статус Источников.
Следующий за знаком + знак / говорит, что из новоиспеченных источников на мониторинг попадут только ссылки, содержащие знак /, то есть, все ссылки на новости из всех 40 RSS-потоков.
Если бы мы применили такую лексему3: +blog, то на мониторинг бы попали только ссылки, содержащие в своем адресе blog, если бы добавили лексему4: -/2014/, то исключили бы ссылки, содержащие /2014/.
На момент испытания по запросу: http://news.yandex.ru/export.html +.rss -.ua;index. +/ в 40 источниках было найдено 450 уникальных ссылок (дубли СайтСпутник отбросил). Они и будут отправлены на мониторинг.
Продолжение следует...
-- Алексей Мыльников написал 11 февраля 2015 8:57
Подключение готово. Осталось в новостной Проект добавить запрос такой:
http://news.yandex.ru/export.html +.rss -.ua;index. +/
или такой:
http://news.yandex.ru/export.html +.rss -.ua;index. +blog -/2014/
Тем самым, мы обеспечим мониторинг по 40 ссылкам-источникам, точнее сбор информации из них. Осталось добавить Рубрики, и Проект готов.
Если вдруг ссылка-первоисточник станет недоступной, то ничего страшного, у нас в выдаче остались нужные 40 ссылок источников, которые мы "перекопипастим" в Проект.
Продолжение следует...
-- Алексей Мыльников написал 11 февраля 2015 9:05
Для упомянутых в первом топике этой темы первоисточников, запросы будут таковы:
http://sdelanounas.ru/blogs/public/?page={0-1} +rss +sdelanounas.ru/blogs
http://forum.razved.info/index.php?t=5208 -razved.info;razvedka-internet.ru +.html
http://forum.razved.info/index.php?t=3083 -razved.info;razvedka-internet.ru;intboard.ru;openproj.ru +/
Получить их можно по описанной выше технологии. В качестве первоисточников для последних двух ссылок взяты живьём ссылки с данного форума.
P.S.
Можно добавить в хвост: +лексема5 -Лексема6, ..., чтобы превратить "очередные" ссылки для мониторинга в ссылки-источники.
Этот форум работает на скрипте Intellect Board
© 2004-2007, 4X_Pro, Объединенный Открытый Проект