Подключение списка Источников

Форум Сообщества Практиков Конкурентной разведки (СПКР)

Конкурентная разведка, Бизнес-разведка, Корпоративная разведка,
Деловая разведка по открытым источникам в бизнесе.
Работаем строго в рамках закона.

Дезинформация и активные мероприятия в бизнесе
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Библиотека источников и иструменты её создания и ведения »   Подключение списка Источников
RSS

Подключение списка Источников

Подключение в СайтСпутнике сразу нескольких однородных Источников, размещенных на странице в интернете, - буквально одной строкой

<<Назад  Вперед>>Печать
 
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 798
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
    Примеры страниц, на которых размещены списки Источников.

    1. "Экспорт новостей Яндекса" - здесь.

    2. "Сделано у нас" - здесь и здесь.

    3. "Список блогов по информационной безопасности" - здесь

    4. Несколько Источников информации для RSSH - здесь

    Последние две страницы - с этого форума.

    На всех этих четырех страницах несколько десятков ссылок, которые представляют интерес для мониторинга в качестве Источников. Подключать их поодиночке и следить за изменениями на этих страницах - отдельные хлопоты.


    В программе SiteSputnik (версия должна быть не старше 8.8.6 от 11.02.2015) можно размещенные на одной странице однородные источники подключить к мониторингу "оптом" все сразу, причем всё подключение займет всего одну строку в Проекте.

    В общем виде строка выглядит так:

      ссылка-первоисточник +лексемы1 -лексемы2 +Лексемы3 -Лексемы4


    В следующих топиках на примерах достаточно подробно описана технология подключения списка источников.

Продолжение следует...

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 798
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

    Подключение источников, размещенных на странице "Экспорт новостей Яндекса"


    Ссылка-первоисточник, содержащая нужные источники, такова - news.yandex.ru/export.html.

    Нажимаем в СайтСпутнике на "Золотой ключик" и выполняем запрос:

    http://news.yandex.ru/export.html

    Результат смотрим в списке "Экспорт-txt":

    news.yandex.ru/
    yandex.ru:80/
    mail.yandex.ru/
    maps.yandex.ru:80/
    market.yandex.ru:80/?cvredirect=1&clid=527
    slovari.yandex.ru:80/
    video.yandex.ru:80/
    images.yandex.ru:80/
    auto.yandex.ru:80/
    afisha.yandex.ru/
    blogs.yandex.ru:80/
    https://money.yandex.ru/
    disk.yandex.ru/
    ege.yandex.ru/
    yaca.yandex.ru:80/
    moikrug.ru/
    music.yandex.ru:80/
    realty.yandex.ru/
    translate.yandex.ru/
    pogoda.yandex.ru/
    people.yandex.ru/
    probki.yandex.ru/
    rabota.yandex.ru/
    rasp.yandex.ru/
    sprav.yandex.ru/
    https://taxi.yandex.ru/
    tv.yandex.ru/
    uslugi.yandex.ru/
    fotki.yandex.ru:80/
    appsearch.yandex.ru/
    soft.yandex.ru/
    yandex.ru/all
    my.ya.ru/
    mobile.yandex.ru/
    news.yandex.ru:80/advanced.html?text=
    social.yandex.ru/
    webmaster.yandex.ru/
    zakladki.yandex.ru/
    metrika.yandex.ru/
    moikrug.ru/?from=i_yandex
    mail.yandex.ru/lenta
    partner.yandex.ru/
    fotki.yandex.ru/users/abm1956
    news.yandex.ru/export.html
    help.yandex.ru/news/
    news.yandex.ru/index.html
    news.yandex.ru/rubl.html
    news.yandex.ru/mynews
    news.yandex.ru/politics.html
    news.yandex.ru/society.html
    news.yandex.ru/business.html
    news.yandex.ru/world.html
    news.yandex.ru/sport.html
    news.yandex.ru/incident.html
    news.yandex.ru/culture.html
    news.yandex.ru/science.html
    news.yandex.ru/computers.html
    news.yandex.ru/internet.html
    news.yandex.ru/auto.html
    blogs.law.harvard.edu/tech/rss
    yaca.yandex.ru/yca/cat/Computers/Internet/Web_Development/rss/
    news.yandex.ru/hardware.rss
    news.yandex.ua/hardware.rss
    news.yandex.ru/computers.rss
    news.yandex.ua/computers.rss
    news.yandex.ru/auto.rss
    news.yandex.ua/auto.rss
    news.yandex.ru/auto_racing.rss
    news.yandex.ua/auto_racing.rss
    news.yandex.ru/basketball.rss
    news.yandex.ua/basketball.rss
    news.yandex.ru/security.rss
    news.yandex.ua/security.rss
    news.yandex.ru/world.rss
    news.yandex.ua/world.rss
    news.yandex.ru/galleries.rss
    news.yandex.ua/galleries.rss
    news.yandex.ru/index.rss
    news.yandex.ua/index.rss
    news.yandex.ru/martial_arts.rss
    news.yandex.ua/martial_arts.rss
    news.yandex.ru/communal.rss
    news.yandex.ua/communal.rss
    news.yandex.ru/games.rss
    news.yandex.ua/games.rss
    news.yandex.ru/internet.rss
    news.yandex.ua/internet.rss
    news.yandex.ru/movies.rss
    news.yandex.ua/movies.rss
    news.yandex.ru/crime.rss
    news.yandex.ua/crime.rss
    news.yandex.ru/culture.rss
    news.yandex.ua/culture.rss
    news.yandex.ru/metallurgy.rss
    news.yandex.ua/metallurgy.rss
    news.yandex.ru/fashion.rss
    news.yandex.ua/fashion.rss
    news.yandex.ru/music.rss
    news.yandex.ua/music.rss
    news.yandex.ru/science.rss
    news.yandex.ua/science.rss
    news.yandex.ru/realty.rss
    news.yandex.ua/realty.rss
    news.yandex.ru/society.rss
    news.yandex.ua/society.rss
    news.yandex.ru/fire.rss
    news.yandex.ua/fire.rss
    news.yandex.ru/politics.rss
    news.yandex.ua/politics.rss
    news.yandex.ru/law.rss
    news.yandex.ua/law.rss
    news.yandex.ru/incident.rss
    news.yandex.ua/incident.rss
    news.yandex.ru/religion.rss
    news.yandex.ua/religion.rss
    news.yandex.ua/east.rss
    news.yandex.ru/rubl.rss
    news.yandex.ru/software.rss
    news.yandex.ua/software.rss
    news.yandex.ru/sport.rss
    news.yandex.ua/sport.rss
    news.yandex.ru/insurance.rss
    news.yandex.ua/insurance.rss
    news.yandex.ru/theaters.rss
    news.yandex.ua/theaters.rss
    news.yandex.ru/tennis.rss
    news.yandex.ua/tennis.rss
    news.yandex.ru/transport.rss
    news.yandex.ua/transport.rss
    news.yandex.ru/finances.rss
    news.yandex.ua/finances.rss
    news.yandex.ru/football.rss
    news.yandex.ua/football.rss
    news.yandex.ru/hockey.rss
    news.yandex.ua/hockey.rss
    news.yandex.ru/showbusiness.rss
    news.yandex.ua/showbusiness.rss
    news.yandex.ru/ecology.rss
    news.yandex.ua/ecology.rss
    news.yandex.ru/business.rss
    news.yandex.ua/business.rss
    news.yandex.ru/energy.rss
    news.yandex.ua/energy.rss
    news.yandex.ru/Abkhasia/index.rss
    news.yandex.ru/Austria/index.rss
    news.yandex.ru/Azerbaijan/index.rss
    news.yandex.ru/Albania/index.rss
    news.yandex.ru/Andorra/index.rss
    news.yandex.ru/Armenia/index.rss
    news.yandex.ru/Belarus/index.rss
    news.yandex.ru/Belgium/index.rss
    news.yandex.ru/Bolgaria/index.rss
    news.yandex.ru/BosniaHercegovina/index.rss
    news.yandex.ru/Vatican/index.rss
    news.yandex.ru/GreatBritain/index.rss
    news.yandex.ru/Hungary/index.rss
    news.yandex.ru/Germany/index.rss
    news.yandex.ru/Gibraltar/index.rss
    news.yandex.ru/Greece/index.rss
    news.yandex.ru/Georgia/index.rss
    news.yandex.ru/Denmark/index.rss
    news.yandex.ru/Israel/index.rss
    news.yandex.ru/Ireland/index.rss
    news.yandex.ru/Iceland/index.rss
    news.yandex.ru/Spain/index.rss
    news.yandex.ru/Italy/index.rss
    news.yandex.ru/Kazakhstan/index.rss
    news.yandex.ru/Canada/index.rss
    news.yandex.ru/Cyprus/index.rss
    news.yandex.ru/Kirghizia/index.rss
    news.yandex.ru/China/index.rss
    news.yandex.ru/Latvia/index.rss
    news.yandex.ru/Lithuania/index.rss
    news.yandex.ru/Liechtenstein/index.rss
    news.yandex.ru/Luxembourg/index.rss
    news.yandex.ru/Macedonia/index.rss
    news.yandex.ru/Malta/index.rss
    news.yandex.ru/Moldova/index.rss
    news.yandex.ru/Monaco/index.rss
    news.yandex.ru/Netherlands/index.rss
    news.yandex.ru/Norway/index.rss
    news.yandex.ru/Poland/index.rss
    news.yandex.ru/Portugal/index.rss
    news.yandex.ru/Romania/index.rss
    news.yandex.ru/USA/index.rss
    news.yandex.ru/SanMarino/index.rss
    news.yandex.ru/Serbia/index.rss
    news.yandex.ru/Slovakia/index.rss
    news.yandex.ru/Slovenia/index.rss
    news.yandex.ru/Tadjikistan/index.rss
    news.yandex.ru/Turkmenistan/index.rss
    news.yandex.ru/Turkey/index.rss
    news.yandex.ru/Uzbekistan/index.rss
    news.yandex.ru/Finland/index.rss
    news.yandex.ru/France/index.rss
    news.yandex.ru/Croatia/index.rss
    news.yandex.ru/Montenegro/index.rss
    news.yandex.ru/Czech/index.rss
    news.yandex.ru/Switzerland/index.rss
    news.yandex.ru/Sweden/index.rss
    news.yandex.ru/Estonia/index.rss
    news.yandex.ru/Japan/index.rss
    livejournal.com/users/syn_yandex/
    news.yandex.ru/mailto:support@news.yandex.ru
    news.yandex.ru/podpiska/login.pl
    news.yandex.ru/smi/
    help.yandex.ru/news/?id=1111165
    legal.yandex.ru/news_termsofuse/
    stat.yandex.ru/stats.xml?ReportID=-225&ProjectID=14
    feedback.yandex.ru/?from=news
    advertising.yandex.ru/media/banner/news.xml?from=news-ru
    yandex.ru/

    Видим следующее: нужные нам ссылки имеют в своем адресе лексему1: .rss.


Продолжение следует...

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 798
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

    Нажимаем на "Золотой ключик" и выполняем такой запрос:

    http://news.yandex.ru/export.html +.rss

    Результаты его работы:

    news.yandex.ru/hardware.rss
    news.yandex.ua/hardware.rss
    news.yandex.ru/computers.rss
    news.yandex.ua/computers.rss
    news.yandex.ru/auto.rss
    news.yandex.ua/auto.rss
    news.yandex.ru/auto_racing.rss
    news.yandex.ua/auto_racing.rss
    news.yandex.ru/basketball.rss
    news.yandex.ua/basketball.rss
    news.yandex.ru/security.rss
    news.yandex.ua/security.rss
    news.yandex.ru/world.rss
    news.yandex.ua/world.rss
    news.yandex.ru/galleries.rss
    news.yandex.ua/galleries.rss
    news.yandex.ru/index.rss
    news.yandex.ua/index.rss
    news.yandex.ru/martial_arts.rss
    news.yandex.ua/martial_arts.rss
    news.yandex.ru/communal.rss
    news.yandex.ua/communal.rss
    news.yandex.ru/games.rss
    news.yandex.ua/games.rss
    news.yandex.ru/internet.rss
    news.yandex.ua/internet.rss
    news.yandex.ru/movies.rss
    news.yandex.ua/movies.rss
    news.yandex.ru/crime.rss
    news.yandex.ua/crime.rss
    news.yandex.ru/culture.rss
    news.yandex.ua/culture.rss
    news.yandex.ru/metallurgy.rss
    news.yandex.ua/metallurgy.rss
    news.yandex.ru/fashion.rss
    news.yandex.ua/fashion.rss
    news.yandex.ru/music.rss
    news.yandex.ua/music.rss
    news.yandex.ru/science.rss
    news.yandex.ua/science.rss
    news.yandex.ru/realty.rss
    news.yandex.ua/realty.rss
    news.yandex.ru/society.rss
    news.yandex.ua/society.rss
    news.yandex.ru/fire.rss
    news.yandex.ua/fire.rss
    news.yandex.ru/politics.rss
    news.yandex.ua/politics.rss
    news.yandex.ru/law.rss
    news.yandex.ua/law.rss
    news.yandex.ru/incident.rss
    news.yandex.ua/incident.rss
    news.yandex.ru/religion.rss
    news.yandex.ua/religion.rss
    news.yandex.ua/east.rss
    news.yandex.ru/rubl.rss
    news.yandex.ru/software.rss
    news.yandex.ua/software.rss
    news.yandex.ru/sport.rss
    news.yandex.ua/sport.rss
    news.yandex.ru/insurance.rss
    news.yandex.ua/insurance.rss
    news.yandex.ru/theaters.rss
    news.yandex.ua/theaters.rss
    news.yandex.ru/tennis.rss
    news.yandex.ua/tennis.rss
    news.yandex.ru/transport.rss
    news.yandex.ua/transport.rss
    news.yandex.ru/finances.rss
    news.yandex.ua/finances.rss
    news.yandex.ru/football.rss
    news.yandex.ua/football.rss
    news.yandex.ru/hockey.rss
    news.yandex.ua/hockey.rss
    news.yandex.ru/showbusiness.rss
    news.yandex.ua/showbusiness.rss
    news.yandex.ru/ecology.rss
    news.yandex.ua/ecology.rss
    news.yandex.ru/business.rss
    news.yandex.ua/business.rss
    news.yandex.ru/energy.rss
    news.yandex.ua/energy.rss
    news.yandex.ru/Abkhasia/index.rss
    news.yandex.ru/Austria/index.rss
    news.yandex.ru/Azerbaijan/index.rss
    news.yandex.ru/Albania/index.rss
    news.yandex.ru/Andorra/index.rss
    news.yandex.ru/Armenia/index.rss
    news.yandex.ru/Belarus/index.rss
    news.yandex.ru/Belgium/index.rss
    news.yandex.ru/Bolgaria/index.rss
    news.yandex.ru/BosniaHercegovina/index.rss
    news.yandex.ru/Vatican/index.rss
    news.yandex.ru/GreatBritain/index.rss
    news.yandex.ru/Hungary/index.rss
    news.yandex.ru/Germany/index.rss
    news.yandex.ru/Gibraltar/index.rss
    news.yandex.ru/Greece/index.rss
    news.yandex.ru/Georgia/index.rss
    news.yandex.ru/Denmark/index.rss
    news.yandex.ru/Israel/index.rss
    news.yandex.ru/Ireland/index.rss
    news.yandex.ru/Iceland/index.rss
    news.yandex.ru/Spain/index.rss
    news.yandex.ru/Italy/index.rss
    news.yandex.ru/Kazakhstan/index.rss
    news.yandex.ru/Canada/index.rss
    news.yandex.ru/Cyprus/index.rss
    news.yandex.ru/Kirghizia/index.rss
    news.yandex.ru/China/index.rss
    news.yandex.ru/Latvia/index.rss
    news.yandex.ru/Lithuania/index.rss
    news.yandex.ru/Liechtenstein/index.rss
    news.yandex.ru/Luxembourg/index.rss
    news.yandex.ru/Macedonia/index.rss
    news.yandex.ru/Malta/index.rss
    news.yandex.ru/Moldova/index.rss
    news.yandex.ru/Monaco/index.rss
    news.yandex.ru/Netherlands/index.rss
    news.yandex.ru/Norway/index.rss
    news.yandex.ru/Poland/index.rss
    news.yandex.ru/Portugal/index.rss
    news.yandex.ru/Romania/index.rss
    news.yandex.ru/USA/index.rss
    news.yandex.ru/SanMarino/index.rss
    news.yandex.ru/Serbia/index.rss
    news.yandex.ru/Slovakia/index.rss
    news.yandex.ru/Slovenia/index.rss
    news.yandex.ru/Tadjikistan/index.rss
    news.yandex.ru/Turkmenistan/index.rss
    news.yandex.ru/Turkey/index.rss
    news.yandex.ru/Uzbekistan/index.rss
    news.yandex.ru/Finland/index.rss
    news.yandex.ru/France/index.rss
    news.yandex.ru/Croatia/index.rss
    news.yandex.ru/Montenegro/index.rss
    news.yandex.ru/Czech/index.rss
    news.yandex.ru/Switzerland/index.rss
    news.yandex.ru/Sweden/index.rss
    news.yandex.ru/Estonia/index.rss
    news.yandex.ru/Japan/index.rss

    Это все RSS-адреса, размещенные на странице Первоисточника. Кто знаком с языками запросов Яндекса или Гугль, без труда увидит, что выполнен элементарный inurl:.rss над всеми ссылками первоисточника.

Продолжение следует...

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 798
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

    Среди найденных в предыдущем топике ссылок есть RSS-ки и по Украине, и по другим странам. Чтобы оставить только Россию (допустим нам это нужно) выполним запрос:

    http://news.yandex.ru/export.html +.rss -.ua;index.

    Получим 40 ссылок:

    news.yandex.ru/hardware.rss
    news.yandex.ru/computers.rss
    news.yandex.ru/auto.rss
    news.yandex.ru/auto_racing.rss
    news.yandex.ru/basketball.rss
    news.yandex.ru/security.rss
    news.yandex.ru/world.rss
    news.yandex.ru/galleries.rss
    news.yandex.ru/martial_arts.rss
    news.yandex.ru/communal.rss
    news.yandex.ru/games.rss
    news.yandex.ru/internet.rss
    news.yandex.ru/movies.rss
    news.yandex.ru/crime.rss
    news.yandex.ru/culture.rss
    news.yandex.ru/metallurgy.rss
    news.yandex.ru/fashion.rss
    news.yandex.ru/music.rss
    news.yandex.ru/science.rss
    news.yandex.ru/realty.rss
    news.yandex.ru/society.rss
    news.yandex.ru/fire.rss
    news.yandex.ru/politics.rss
    news.yandex.ru/law.rss
    news.yandex.ru/incident.rss
    news.yandex.ru/religion.rss
    news.yandex.ru/rubl.rss
    news.yandex.ru/software.rss
    news.yandex.ru/sport.rss
    news.yandex.ru/insurance.rss
    news.yandex.ru/theaters.rss
    news.yandex.ru/tennis.rss
    news.yandex.ru/transport.rss
    news.yandex.ru/finances.rss
    news.yandex.ru/football.rss
    news.yandex.ru/hockey.rss
    news.yandex.ru/showbusiness.rss
    news.yandex.ru/ecology.rss
    news.yandex.ru/business.rss
    news.yandex.ru/energy.rss

    Лексема2: -.ua;index. - указывает, что ссылки содержащие .ua или index. следует отбросить.

Продолжение следует...

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 798
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

    Если мы в новостном проекте СайтСпутника пропишем последний "синий" запрос (см. предыдущий топик), то 40 ссылок "уйдут" на мониторинг, то есть, будут не ссылками-источниками, а ссылками для мониторинга. Они скачаются, очистятся от мусора и отправятся на Рубрикацию (такой прием применяется при подключении "одиночных" ссылок).

    Нам это ни к чему. Чтобы эти 40 ссылок сделать Источниками, можно, например, выполнить следующий запрос:

    http://news.yandex.ru/export.html +.rss -.ua;index. +/

    Лексема3: +/, точнее плюсик из неё, сообщает СайтСпутнику, что все найденные ссылки для мониторинга переводятся в статус Источников.

    Следующий за знаком + знак / говорит, что из новоиспеченных источников на мониторинг попадут только ссылки, содержащие знак /, то есть, все ссылки на новости из всех 40 RSS-потоков.

    Если бы мы применили такую лексему3: +blog, то на мониторинг бы попали только ссылки, содержащие в своем адресе blog, если бы добавили лексему4: -/2014/, то исключили бы ссылки, содержащие /2014/.

    На момент испытания по запросу: http://news.yandex.ru/export.html +.rss -.ua;index. +/ в 40 источниках было найдено 450 уникальных ссылок (дубли СайтСпутник отбросил). Они и будут отправлены на мониторинг.

Продолжение следует...

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 798
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

    Подключение готово. Осталось в новостной Проект добавить запрос такой:

    http://news.yandex.ru/export.html +.rss -.ua;index. +/

    или такой:

    http://news.yandex.ru/export.html +.rss -.ua;index. +blog -/2014/

    Тем самым, мы обеспечим мониторинг по 40 ссылкам-источникам, точнее сбор информации из них. Осталось добавить Рубрики, и Проект готов.

    Если вдруг ссылка-первоисточник станет недоступной, то ничего страшного, у нас в выдаче остались нужные 40 ссылок источников, которые мы "перекопипастим" в Проект.

Продолжение следует...

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 798
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

    Для упомянутых в первом топике этой темы первоисточников, запросы будут таковы:


    http://sdelanounas.ru/blogs/public/?page={0-1} +rss +sdelanounas.ru/blogs

    http://forum.razved.info/index.php?t=5208 -razved.info;razvedka-internet.ru +.html

    http://forum.razved.info/index.php?t=3083 -razved.info;razvedka-internet.ru;intboard.ru;openproj.ru +/


    Получить их можно по описанной выше технологии. В качестве первоисточников для последних двух ссылок взяты живьём ссылки с данного форума.


    P.S.
    Можно добавить в хвост: +лексема5 -Лексема6, ..., чтобы превратить "очередные" ссылки для мониторинга в ссылки-источники.

<<Назад  Вперед>>Печать
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Библиотека источников и иструменты её создания и ведения »   Подключение списка Источников
RSS

Последние RSS
Социнжиниринг в военной пропаганде
Тут будем жаловаться
Новое на блоге HRazvedka
История создания ИГИЛовской спецслужбы ЭМНИ (Emni)
«МИРУ-МИР» (Короткометражный фильм) 2017
Парсер для сайта Реформа ЖКХ
Darknet, Deep Web. Как посещать закрытые сайты?
Баланс банковской карты по её номеру
Сборка инструментов для OSINT
This Week SCIP Is in India
Яндекс запустил открытое бета-тестирование Яндекс.Медианы
Яндекс представит свой новый поиск
Kaspersky Who Calls
DarkNet
Книга "Наружное наблюдение"
Larina, SPKR and US 2016 Election
Засветились...
Экономический шпионаж с китайской спецификой
Обновление на блоге HRazvedka
Как найти email нужного человека: инструменты, хитрости, тактика

Самые активные 20 тем RSS
Мелочи
Тут будем жаловаться
Социнжиниринг в военной пропаганде