Форум Сообщества Практиков Конкурентной разведки (СПКР) » Библиотека источников и иструменты её создания и ведения » Подключение списка Источников |
<<Назад Вперед>> | Печать |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 877 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
1. "Экспорт новостей Яндекса" - здесь. 2. "Сделано у нас" - здесь и здесь. 3. "Список блогов по информационной безопасности" - здесь 4. Несколько Источников информации для RSSH - здесь Последние две страницы - с этого форума. На всех этих четырех страницах несколько десятков ссылок, которые представляют интерес для мониторинга в качестве Источников. Подключать их поодиночке и следить за изменениями на этих страницах - отдельные хлопоты. В программе SiteSputnik (версия должна быть не старше 8.8.6 от 11.02.2015) можно размещенные на одной странице однородные источники подключить к мониторингу "оптом" все сразу, причем всё подключение займет всего одну строку в Проекте. В общем виде строка выглядит так: ссылка-первоисточник +лексемы1 -лексемы2 +Лексемы3 -Лексемы4 В следующих топиках на примерах достаточно подробно описана технология подключения списка источников. Продолжение следует... |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 877 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
Подключение источников, размещенных на странице "Экспорт новостей Яндекса" Ссылка-первоисточник, содержащая нужные источники, такова - news.yandex.ru/export.html. Нажимаем в СайтСпутнике на "Золотой ключик" и выполняем запрос: http://news.yandex.ru/export.html Результат смотрим в списке "Экспорт-txt": news.yandex.ru/ yandex.ru:80/ mail.yandex.ru/ maps.yandex.ru:80/ market.yandex.ru:80/?cvredirect=1&clid=527 slovari.yandex.ru:80/ video.yandex.ru:80/ images.yandex.ru:80/ auto.yandex.ru:80/ afisha.yandex.ru/ blogs.yandex.ru:80/ https://money.yandex.ru/ disk.yandex.ru/ ege.yandex.ru/ yaca.yandex.ru:80/ moikrug.ru/ music.yandex.ru:80/ realty.yandex.ru/ translate.yandex.ru/ pogoda.yandex.ru/ people.yandex.ru/ probki.yandex.ru/ rabota.yandex.ru/ rasp.yandex.ru/ sprav.yandex.ru/ https://taxi.yandex.ru/ tv.yandex.ru/ uslugi.yandex.ru/ fotki.yandex.ru:80/ appsearch.yandex.ru/ soft.yandex.ru/ yandex.ru/all my.ya.ru/ mobile.yandex.ru/ news.yandex.ru:80/advanced.html?text= social.yandex.ru/ webmaster.yandex.ru/ zakladki.yandex.ru/ metrika.yandex.ru/ moikrug.ru/?from=i_yandex mail.yandex.ru/lenta partner.yandex.ru/ fotki.yandex.ru/users/abm1956 news.yandex.ru/export.html help.yandex.ru/news/ news.yandex.ru/index.html news.yandex.ru/rubl.html news.yandex.ru/mynews news.yandex.ru/politics.html news.yandex.ru/society.html news.yandex.ru/business.html news.yandex.ru/world.html news.yandex.ru/sport.html news.yandex.ru/incident.html news.yandex.ru/culture.html news.yandex.ru/science.html news.yandex.ru/computers.html news.yandex.ru/internet.html news.yandex.ru/auto.html blogs.law.harvard.edu/tech/rss yaca.yandex.ru/yca/cat/Computers/Internet/Web_Development/rss/ news.yandex.ru/hardware.rss news.yandex.ua/hardware.rss news.yandex.ru/computers.rss news.yandex.ua/computers.rss news.yandex.ru/auto.rss news.yandex.ua/auto.rss news.yandex.ru/auto_racing.rss news.yandex.ua/auto_racing.rss news.yandex.ru/basketball.rss news.yandex.ua/basketball.rss news.yandex.ru/security.rss news.yandex.ua/security.rss news.yandex.ru/world.rss news.yandex.ua/world.rss news.yandex.ru/galleries.rss news.yandex.ua/galleries.rss news.yandex.ru/index.rss news.yandex.ua/index.rss news.yandex.ru/martial_arts.rss news.yandex.ua/martial_arts.rss news.yandex.ru/communal.rss news.yandex.ua/communal.rss news.yandex.ru/games.rss news.yandex.ua/games.rss news.yandex.ru/internet.rss news.yandex.ua/internet.rss news.yandex.ru/movies.rss news.yandex.ua/movies.rss news.yandex.ru/crime.rss news.yandex.ua/crime.rss news.yandex.ru/culture.rss news.yandex.ua/culture.rss news.yandex.ru/metallurgy.rss news.yandex.ua/metallurgy.rss news.yandex.ru/fashion.rss news.yandex.ua/fashion.rss news.yandex.ru/music.rss news.yandex.ua/music.rss news.yandex.ru/science.rss news.yandex.ua/science.rss news.yandex.ru/realty.rss news.yandex.ua/realty.rss news.yandex.ru/society.rss news.yandex.ua/society.rss news.yandex.ru/fire.rss news.yandex.ua/fire.rss news.yandex.ru/politics.rss news.yandex.ua/politics.rss news.yandex.ru/law.rss news.yandex.ua/law.rss news.yandex.ru/incident.rss news.yandex.ua/incident.rss news.yandex.ru/religion.rss news.yandex.ua/religion.rss news.yandex.ua/east.rss news.yandex.ru/rubl.rss news.yandex.ru/software.rss news.yandex.ua/software.rss news.yandex.ru/sport.rss news.yandex.ua/sport.rss news.yandex.ru/insurance.rss news.yandex.ua/insurance.rss news.yandex.ru/theaters.rss news.yandex.ua/theaters.rss news.yandex.ru/tennis.rss news.yandex.ua/tennis.rss news.yandex.ru/transport.rss news.yandex.ua/transport.rss news.yandex.ru/finances.rss news.yandex.ua/finances.rss news.yandex.ru/football.rss news.yandex.ua/football.rss news.yandex.ru/hockey.rss news.yandex.ua/hockey.rss news.yandex.ru/showbusiness.rss news.yandex.ua/showbusiness.rss news.yandex.ru/ecology.rss news.yandex.ua/ecology.rss news.yandex.ru/business.rss news.yandex.ua/business.rss news.yandex.ru/energy.rss news.yandex.ua/energy.rss news.yandex.ru/Abkhasia/index.rss news.yandex.ru/Austria/index.rss news.yandex.ru/Azerbaijan/index.rss news.yandex.ru/Albania/index.rss news.yandex.ru/Andorra/index.rss news.yandex.ru/Armenia/index.rss news.yandex.ru/Belarus/index.rss news.yandex.ru/Belgium/index.rss news.yandex.ru/Bolgaria/index.rss news.yandex.ru/BosniaHercegovina/index.rss news.yandex.ru/Vatican/index.rss news.yandex.ru/GreatBritain/index.rss news.yandex.ru/Hungary/index.rss news.yandex.ru/Germany/index.rss news.yandex.ru/Gibraltar/index.rss news.yandex.ru/Greece/index.rss news.yandex.ru/Georgia/index.rss news.yandex.ru/Denmark/index.rss news.yandex.ru/Israel/index.rss news.yandex.ru/Ireland/index.rss news.yandex.ru/Iceland/index.rss news.yandex.ru/Spain/index.rss news.yandex.ru/Italy/index.rss news.yandex.ru/Kazakhstan/index.rss news.yandex.ru/Canada/index.rss news.yandex.ru/Cyprus/index.rss news.yandex.ru/Kirghizia/index.rss news.yandex.ru/China/index.rss news.yandex.ru/Latvia/index.rss news.yandex.ru/Lithuania/index.rss news.yandex.ru/Liechtenstein/index.rss news.yandex.ru/Luxembourg/index.rss news.yandex.ru/Macedonia/index.rss news.yandex.ru/Malta/index.rss news.yandex.ru/Moldova/index.rss news.yandex.ru/Monaco/index.rss news.yandex.ru/Netherlands/index.rss news.yandex.ru/Norway/index.rss news.yandex.ru/Poland/index.rss news.yandex.ru/Portugal/index.rss news.yandex.ru/Romania/index.rss news.yandex.ru/USA/index.rss news.yandex.ru/SanMarino/index.rss news.yandex.ru/Serbia/index.rss news.yandex.ru/Slovakia/index.rss news.yandex.ru/Slovenia/index.rss news.yandex.ru/Tadjikistan/index.rss news.yandex.ru/Turkmenistan/index.rss news.yandex.ru/Turkey/index.rss news.yandex.ru/Uzbekistan/index.rss news.yandex.ru/Finland/index.rss news.yandex.ru/France/index.rss news.yandex.ru/Croatia/index.rss news.yandex.ru/Montenegro/index.rss news.yandex.ru/Czech/index.rss news.yandex.ru/Switzerland/index.rss news.yandex.ru/Sweden/index.rss news.yandex.ru/Estonia/index.rss news.yandex.ru/Japan/index.rss livejournal.com/users/syn_yandex/ news.yandex.ru/mailto:support@news.yandex.ru news.yandex.ru/podpiska/login.pl news.yandex.ru/smi/ help.yandex.ru/news/?id=1111165 legal.yandex.ru/news_termsofuse/ stat.yandex.ru/stats.xml?ReportID=-225&ProjectID=14 feedback.yandex.ru/?from=news advertising.yandex.ru/media/banner/news.xml?from=news-ru yandex.ru/ Видим следующее: нужные нам ссылки имеют в своем адресе лексему1: .rss. Продолжение следует... |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 877 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
Нажимаем на "Золотой ключик" и выполняем такой запрос: http://news.yandex.ru/export.html +.rss Результаты его работы: news.yandex.ru/hardware.rss news.yandex.ua/hardware.rss news.yandex.ru/computers.rss news.yandex.ua/computers.rss news.yandex.ru/auto.rss news.yandex.ua/auto.rss news.yandex.ru/auto_racing.rss news.yandex.ua/auto_racing.rss news.yandex.ru/basketball.rss news.yandex.ua/basketball.rss news.yandex.ru/security.rss news.yandex.ua/security.rss news.yandex.ru/world.rss news.yandex.ua/world.rss news.yandex.ru/galleries.rss news.yandex.ua/galleries.rss news.yandex.ru/index.rss news.yandex.ua/index.rss news.yandex.ru/martial_arts.rss news.yandex.ua/martial_arts.rss news.yandex.ru/communal.rss news.yandex.ua/communal.rss news.yandex.ru/games.rss news.yandex.ua/games.rss news.yandex.ru/internet.rss news.yandex.ua/internet.rss news.yandex.ru/movies.rss news.yandex.ua/movies.rss news.yandex.ru/crime.rss news.yandex.ua/crime.rss news.yandex.ru/culture.rss news.yandex.ua/culture.rss news.yandex.ru/metallurgy.rss news.yandex.ua/metallurgy.rss news.yandex.ru/fashion.rss news.yandex.ua/fashion.rss news.yandex.ru/music.rss news.yandex.ua/music.rss news.yandex.ru/science.rss news.yandex.ua/science.rss news.yandex.ru/realty.rss news.yandex.ua/realty.rss news.yandex.ru/society.rss news.yandex.ua/society.rss news.yandex.ru/fire.rss news.yandex.ua/fire.rss news.yandex.ru/politics.rss news.yandex.ua/politics.rss news.yandex.ru/law.rss news.yandex.ua/law.rss news.yandex.ru/incident.rss news.yandex.ua/incident.rss news.yandex.ru/religion.rss news.yandex.ua/religion.rss news.yandex.ua/east.rss news.yandex.ru/rubl.rss news.yandex.ru/software.rss news.yandex.ua/software.rss news.yandex.ru/sport.rss news.yandex.ua/sport.rss news.yandex.ru/insurance.rss news.yandex.ua/insurance.rss news.yandex.ru/theaters.rss news.yandex.ua/theaters.rss news.yandex.ru/tennis.rss news.yandex.ua/tennis.rss news.yandex.ru/transport.rss news.yandex.ua/transport.rss news.yandex.ru/finances.rss news.yandex.ua/finances.rss news.yandex.ru/football.rss news.yandex.ua/football.rss news.yandex.ru/hockey.rss news.yandex.ua/hockey.rss news.yandex.ru/showbusiness.rss news.yandex.ua/showbusiness.rss news.yandex.ru/ecology.rss news.yandex.ua/ecology.rss news.yandex.ru/business.rss news.yandex.ua/business.rss news.yandex.ru/energy.rss news.yandex.ua/energy.rss news.yandex.ru/Abkhasia/index.rss news.yandex.ru/Austria/index.rss news.yandex.ru/Azerbaijan/index.rss news.yandex.ru/Albania/index.rss news.yandex.ru/Andorra/index.rss news.yandex.ru/Armenia/index.rss news.yandex.ru/Belarus/index.rss news.yandex.ru/Belgium/index.rss news.yandex.ru/Bolgaria/index.rss news.yandex.ru/BosniaHercegovina/index.rss news.yandex.ru/Vatican/index.rss news.yandex.ru/GreatBritain/index.rss news.yandex.ru/Hungary/index.rss news.yandex.ru/Germany/index.rss news.yandex.ru/Gibraltar/index.rss news.yandex.ru/Greece/index.rss news.yandex.ru/Georgia/index.rss news.yandex.ru/Denmark/index.rss news.yandex.ru/Israel/index.rss news.yandex.ru/Ireland/index.rss news.yandex.ru/Iceland/index.rss news.yandex.ru/Spain/index.rss news.yandex.ru/Italy/index.rss news.yandex.ru/Kazakhstan/index.rss news.yandex.ru/Canada/index.rss news.yandex.ru/Cyprus/index.rss news.yandex.ru/Kirghizia/index.rss news.yandex.ru/China/index.rss news.yandex.ru/Latvia/index.rss news.yandex.ru/Lithuania/index.rss news.yandex.ru/Liechtenstein/index.rss news.yandex.ru/Luxembourg/index.rss news.yandex.ru/Macedonia/index.rss news.yandex.ru/Malta/index.rss news.yandex.ru/Moldova/index.rss news.yandex.ru/Monaco/index.rss news.yandex.ru/Netherlands/index.rss news.yandex.ru/Norway/index.rss news.yandex.ru/Poland/index.rss news.yandex.ru/Portugal/index.rss news.yandex.ru/Romania/index.rss news.yandex.ru/USA/index.rss news.yandex.ru/SanMarino/index.rss news.yandex.ru/Serbia/index.rss news.yandex.ru/Slovakia/index.rss news.yandex.ru/Slovenia/index.rss news.yandex.ru/Tadjikistan/index.rss news.yandex.ru/Turkmenistan/index.rss news.yandex.ru/Turkey/index.rss news.yandex.ru/Uzbekistan/index.rss news.yandex.ru/Finland/index.rss news.yandex.ru/France/index.rss news.yandex.ru/Croatia/index.rss news.yandex.ru/Montenegro/index.rss news.yandex.ru/Czech/index.rss news.yandex.ru/Switzerland/index.rss news.yandex.ru/Sweden/index.rss news.yandex.ru/Estonia/index.rss news.yandex.ru/Japan/index.rss Это все RSS-адреса, размещенные на странице Первоисточника. Кто знаком с языками запросов Яндекса или Гугль, без труда увидит, что выполнен элементарный inurl:.rss над всеми ссылками первоисточника. Продолжение следует... |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 877 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
Среди найденных в предыдущем топике ссылок есть RSS-ки и по Украине, и по другим странам. Чтобы оставить только Россию (допустим нам это нужно) выполним запрос: http://news.yandex.ru/export.html +.rss -.ua;index. Получим 40 ссылок: news.yandex.ru/hardware.rss news.yandex.ru/computers.rss news.yandex.ru/auto.rss news.yandex.ru/auto_racing.rss news.yandex.ru/basketball.rss news.yandex.ru/security.rss news.yandex.ru/world.rss news.yandex.ru/galleries.rss news.yandex.ru/martial_arts.rss news.yandex.ru/communal.rss news.yandex.ru/games.rss news.yandex.ru/internet.rss news.yandex.ru/movies.rss news.yandex.ru/crime.rss news.yandex.ru/culture.rss news.yandex.ru/metallurgy.rss news.yandex.ru/fashion.rss news.yandex.ru/music.rss news.yandex.ru/science.rss news.yandex.ru/realty.rss news.yandex.ru/society.rss news.yandex.ru/fire.rss news.yandex.ru/politics.rss news.yandex.ru/law.rss news.yandex.ru/incident.rss news.yandex.ru/religion.rss news.yandex.ru/rubl.rss news.yandex.ru/software.rss news.yandex.ru/sport.rss news.yandex.ru/insurance.rss news.yandex.ru/theaters.rss news.yandex.ru/tennis.rss news.yandex.ru/transport.rss news.yandex.ru/finances.rss news.yandex.ru/football.rss news.yandex.ru/hockey.rss news.yandex.ru/showbusiness.rss news.yandex.ru/ecology.rss news.yandex.ru/business.rss news.yandex.ru/energy.rss Лексема2: -.ua;index. - указывает, что ссылки содержащие .ua или index. следует отбросить. Продолжение следует... |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 877 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
Профиль | Игнорировать
NEW! Сообщение отправлено: 11 февраля 2015 8:53 Сообщение отредактировано: 11 февраля 2015 8:54 Если мы в новостном проекте СайтСпутника пропишем последний "синий" запрос (см. предыдущий топик), то 40 ссылок "уйдут" на мониторинг, то есть, будут не ссылками-источниками, а ссылками для мониторинга. Они скачаются, очистятся от мусора и отправятся на Рубрикацию (такой прием применяется при подключении "одиночных" ссылок). Нам это ни к чему. Чтобы эти 40 ссылок сделать Источниками, можно, например, выполнить следующий запрос: http://news.yandex.ru/export.html +.rss -.ua;index. +/ Лексема3: +/, точнее плюсик из неё, сообщает СайтСпутнику, что все найденные ссылки для мониторинга переводятся в статус Источников. Следующий за знаком + знак / говорит, что из новоиспеченных источников на мониторинг попадут только ссылки, содержащие знак /, то есть, все ссылки на новости из всех 40 RSS-потоков. Если бы мы применили такую лексему3: +blog, то на мониторинг бы попали только ссылки, содержащие в своем адресе blog, если бы добавили лексему4: -/2014/, то исключили бы ссылки, содержащие /2014/. На момент испытания по запросу: http://news.yandex.ru/export.html +.rss -.ua;index. +/ в 40 источниках было найдено 450 уникальных ссылок (дубли СайтСпутник отбросил). Они и будут отправлены на мониторинг. Продолжение следует... |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 877 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
Подключение готово. Осталось в новостной Проект добавить запрос такой: http://news.yandex.ru/export.html +.rss -.ua;index. +/ или такой: http://news.yandex.ru/export.html +.rss -.ua;index. +blog -/2014/ Тем самым, мы обеспечим мониторинг по 40 ссылкам-источникам, точнее сбор информации из них. Осталось добавить Рубрики, и Проект готов. Если вдруг ссылка-первоисточник станет недоступной, то ничего страшного, у нас в выдаче остались нужные 40 ссылок источников, которые мы "перекопипастим" в Проект. Продолжение следует... |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 877 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
Для упомянутых в первом топике этой темы первоисточников, запросы будут таковы: http://sdelanounas.ru/blogs/public/?page={0-1} +rss +sdelanounas.ru/blogs http://forum.razved.info/index.php?t=5208 -razved.info;razvedka-internet.ru +.html http://forum.razved.info/index.php?t=3083 -razved.info;razvedka-internet.ru;intboard.ru;openproj.ru +/ Получить их можно по описанной выше технологии. В качестве первоисточников для последних двух ссылок взяты живьём ссылки с данного форума. P.S. Можно добавить в хвост: +лексема5 -Лексема6, ..., чтобы превратить "очередные" ссылки для мониторинга в ссылки-источники. |
<<Назад Вперед>> | Печать |
Форум Сообщества Практиков Конкурентной разведки (СПКР) » Библиотека источников и иструменты её создания и ведения » Подключение списка Источников |
Самые активные 20 тем | |