Подключение списка Источников

Форум Сообщества Практиков Конкурентной разведки (СПКР)

Конкурентная разведка, Бизнес-разведка, Корпоративная разведка,
Деловая разведка по открытым источникам в бизнесе.
Работаем строго в рамках закона.

Дезинформация и активные мероприятия в бизнесе
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Библиотека источников и иструменты её создания и ведения »   Подключение списка Источников
RSS

Подключение списка Источников

Подключение в СайтСпутнике сразу нескольких однородных Источников, размещенных на странице в интернете, - буквально одной строкой

<<Назад  Вперед>>Печать
 
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 835
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
    Примеры страниц, на которых размещены списки Источников.

    1. "Экспорт новостей Яндекса" - здесь.

    2. "Сделано у нас" - здесь и здесь.

    3. "Список блогов по информационной безопасности" - здесь

    4. Несколько Источников информации для RSSH - здесь

    Последние две страницы - с этого форума.

    На всех этих четырех страницах несколько десятков ссылок, которые представляют интерес для мониторинга в качестве Источников. Подключать их поодиночке и следить за изменениями на этих страницах - отдельные хлопоты.


    В программе SiteSputnik (версия должна быть не старше 8.8.6 от 11.02.2015) можно размещенные на одной странице однородные источники подключить к мониторингу "оптом" все сразу, причем всё подключение займет всего одну строку в Проекте.

    В общем виде строка выглядит так:

      ссылка-первоисточник +лексемы1 -лексемы2 +Лексемы3 -Лексемы4


    В следующих топиках на примерах достаточно подробно описана технология подключения списка источников.

Продолжение следует...

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 835
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

    Подключение источников, размещенных на странице "Экспорт новостей Яндекса"


    Ссылка-первоисточник, содержащая нужные источники, такова - news.yandex.ru/export.html.

    Нажимаем в СайтСпутнике на "Золотой ключик" и выполняем запрос:

    http://news.yandex.ru/export.html

    Результат смотрим в списке "Экспорт-txt":

    news.yandex.ru/
    yandex.ru:80/
    mail.yandex.ru/
    maps.yandex.ru:80/
    market.yandex.ru:80/?cvredirect=1&clid=527
    slovari.yandex.ru:80/
    video.yandex.ru:80/
    images.yandex.ru:80/
    auto.yandex.ru:80/
    afisha.yandex.ru/
    blogs.yandex.ru:80/
    https://money.yandex.ru/
    disk.yandex.ru/
    ege.yandex.ru/
    yaca.yandex.ru:80/
    moikrug.ru/
    music.yandex.ru:80/
    realty.yandex.ru/
    translate.yandex.ru/
    pogoda.yandex.ru/
    people.yandex.ru/
    probki.yandex.ru/
    rabota.yandex.ru/
    rasp.yandex.ru/
    sprav.yandex.ru/
    https://taxi.yandex.ru/
    tv.yandex.ru/
    uslugi.yandex.ru/
    fotki.yandex.ru:80/
    appsearch.yandex.ru/
    soft.yandex.ru/
    yandex.ru/all
    my.ya.ru/
    mobile.yandex.ru/
    news.yandex.ru:80/advanced.html?text=
    social.yandex.ru/
    webmaster.yandex.ru/
    zakladki.yandex.ru/
    metrika.yandex.ru/
    moikrug.ru/?from=i_yandex
    mail.yandex.ru/lenta
    partner.yandex.ru/
    fotki.yandex.ru/users/abm1956
    news.yandex.ru/export.html
    help.yandex.ru/news/
    news.yandex.ru/index.html
    news.yandex.ru/rubl.html
    news.yandex.ru/mynews
    news.yandex.ru/politics.html
    news.yandex.ru/society.html
    news.yandex.ru/business.html
    news.yandex.ru/world.html
    news.yandex.ru/sport.html
    news.yandex.ru/incident.html
    news.yandex.ru/culture.html
    news.yandex.ru/science.html
    news.yandex.ru/computers.html
    news.yandex.ru/internet.html
    news.yandex.ru/auto.html
    blogs.law.harvard.edu/tech/rss
    yaca.yandex.ru/yca/cat/Computers/Internet/Web_Development/rss/
    news.yandex.ru/hardware.rss
    news.yandex.ua/hardware.rss
    news.yandex.ru/computers.rss
    news.yandex.ua/computers.rss
    news.yandex.ru/auto.rss
    news.yandex.ua/auto.rss
    news.yandex.ru/auto_racing.rss
    news.yandex.ua/auto_racing.rss
    news.yandex.ru/basketball.rss
    news.yandex.ua/basketball.rss
    news.yandex.ru/security.rss
    news.yandex.ua/security.rss
    news.yandex.ru/world.rss
    news.yandex.ua/world.rss
    news.yandex.ru/galleries.rss
    news.yandex.ua/galleries.rss
    news.yandex.ru/index.rss
    news.yandex.ua/index.rss
    news.yandex.ru/martial_arts.rss
    news.yandex.ua/martial_arts.rss
    news.yandex.ru/communal.rss
    news.yandex.ua/communal.rss
    news.yandex.ru/games.rss
    news.yandex.ua/games.rss
    news.yandex.ru/internet.rss
    news.yandex.ua/internet.rss
    news.yandex.ru/movies.rss
    news.yandex.ua/movies.rss
    news.yandex.ru/crime.rss
    news.yandex.ua/crime.rss
    news.yandex.ru/culture.rss
    news.yandex.ua/culture.rss
    news.yandex.ru/metallurgy.rss
    news.yandex.ua/metallurgy.rss
    news.yandex.ru/fashion.rss
    news.yandex.ua/fashion.rss
    news.yandex.ru/music.rss
    news.yandex.ua/music.rss
    news.yandex.ru/science.rss
    news.yandex.ua/science.rss
    news.yandex.ru/realty.rss
    news.yandex.ua/realty.rss
    news.yandex.ru/society.rss
    news.yandex.ua/society.rss
    news.yandex.ru/fire.rss
    news.yandex.ua/fire.rss
    news.yandex.ru/politics.rss
    news.yandex.ua/politics.rss
    news.yandex.ru/law.rss
    news.yandex.ua/law.rss
    news.yandex.ru/incident.rss
    news.yandex.ua/incident.rss
    news.yandex.ru/religion.rss
    news.yandex.ua/religion.rss
    news.yandex.ua/east.rss
    news.yandex.ru/rubl.rss
    news.yandex.ru/software.rss
    news.yandex.ua/software.rss
    news.yandex.ru/sport.rss
    news.yandex.ua/sport.rss
    news.yandex.ru/insurance.rss
    news.yandex.ua/insurance.rss
    news.yandex.ru/theaters.rss
    news.yandex.ua/theaters.rss
    news.yandex.ru/tennis.rss
    news.yandex.ua/tennis.rss
    news.yandex.ru/transport.rss
    news.yandex.ua/transport.rss
    news.yandex.ru/finances.rss
    news.yandex.ua/finances.rss
    news.yandex.ru/football.rss
    news.yandex.ua/football.rss
    news.yandex.ru/hockey.rss
    news.yandex.ua/hockey.rss
    news.yandex.ru/showbusiness.rss
    news.yandex.ua/showbusiness.rss
    news.yandex.ru/ecology.rss
    news.yandex.ua/ecology.rss
    news.yandex.ru/business.rss
    news.yandex.ua/business.rss
    news.yandex.ru/energy.rss
    news.yandex.ua/energy.rss
    news.yandex.ru/Abkhasia/index.rss
    news.yandex.ru/Austria/index.rss
    news.yandex.ru/Azerbaijan/index.rss
    news.yandex.ru/Albania/index.rss
    news.yandex.ru/Andorra/index.rss
    news.yandex.ru/Armenia/index.rss
    news.yandex.ru/Belarus/index.rss
    news.yandex.ru/Belgium/index.rss
    news.yandex.ru/Bolgaria/index.rss
    news.yandex.ru/BosniaHercegovina/index.rss
    news.yandex.ru/Vatican/index.rss
    news.yandex.ru/GreatBritain/index.rss
    news.yandex.ru/Hungary/index.rss
    news.yandex.ru/Germany/index.rss
    news.yandex.ru/Gibraltar/index.rss
    news.yandex.ru/Greece/index.rss
    news.yandex.ru/Georgia/index.rss
    news.yandex.ru/Denmark/index.rss
    news.yandex.ru/Israel/index.rss
    news.yandex.ru/Ireland/index.rss
    news.yandex.ru/Iceland/index.rss
    news.yandex.ru/Spain/index.rss
    news.yandex.ru/Italy/index.rss
    news.yandex.ru/Kazakhstan/index.rss
    news.yandex.ru/Canada/index.rss
    news.yandex.ru/Cyprus/index.rss
    news.yandex.ru/Kirghizia/index.rss
    news.yandex.ru/China/index.rss
    news.yandex.ru/Latvia/index.rss
    news.yandex.ru/Lithuania/index.rss
    news.yandex.ru/Liechtenstein/index.rss
    news.yandex.ru/Luxembourg/index.rss
    news.yandex.ru/Macedonia/index.rss
    news.yandex.ru/Malta/index.rss
    news.yandex.ru/Moldova/index.rss
    news.yandex.ru/Monaco/index.rss
    news.yandex.ru/Netherlands/index.rss
    news.yandex.ru/Norway/index.rss
    news.yandex.ru/Poland/index.rss
    news.yandex.ru/Portugal/index.rss
    news.yandex.ru/Romania/index.rss
    news.yandex.ru/USA/index.rss
    news.yandex.ru/SanMarino/index.rss
    news.yandex.ru/Serbia/index.rss
    news.yandex.ru/Slovakia/index.rss
    news.yandex.ru/Slovenia/index.rss
    news.yandex.ru/Tadjikistan/index.rss
    news.yandex.ru/Turkmenistan/index.rss
    news.yandex.ru/Turkey/index.rss
    news.yandex.ru/Uzbekistan/index.rss
    news.yandex.ru/Finland/index.rss
    news.yandex.ru/France/index.rss
    news.yandex.ru/Croatia/index.rss
    news.yandex.ru/Montenegro/index.rss
    news.yandex.ru/Czech/index.rss
    news.yandex.ru/Switzerland/index.rss
    news.yandex.ru/Sweden/index.rss
    news.yandex.ru/Estonia/index.rss
    news.yandex.ru/Japan/index.rss
    livejournal.com/users/syn_yandex/
    news.yandex.ru/mailto:support@news.yandex.ru
    news.yandex.ru/podpiska/login.pl
    news.yandex.ru/smi/
    help.yandex.ru/news/?id=1111165
    legal.yandex.ru/news_termsofuse/
    stat.yandex.ru/stats.xml?ReportID=-225&ProjectID=14
    feedback.yandex.ru/?from=news
    advertising.yandex.ru/media/banner/news.xml?from=news-ru
    yandex.ru/

    Видим следующее: нужные нам ссылки имеют в своем адресе лексему1: .rss.


Продолжение следует...

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 835
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

    Нажимаем на "Золотой ключик" и выполняем такой запрос:

    http://news.yandex.ru/export.html +.rss

    Результаты его работы:

    news.yandex.ru/hardware.rss
    news.yandex.ua/hardware.rss
    news.yandex.ru/computers.rss
    news.yandex.ua/computers.rss
    news.yandex.ru/auto.rss
    news.yandex.ua/auto.rss
    news.yandex.ru/auto_racing.rss
    news.yandex.ua/auto_racing.rss
    news.yandex.ru/basketball.rss
    news.yandex.ua/basketball.rss
    news.yandex.ru/security.rss
    news.yandex.ua/security.rss
    news.yandex.ru/world.rss
    news.yandex.ua/world.rss
    news.yandex.ru/galleries.rss
    news.yandex.ua/galleries.rss
    news.yandex.ru/index.rss
    news.yandex.ua/index.rss
    news.yandex.ru/martial_arts.rss
    news.yandex.ua/martial_arts.rss
    news.yandex.ru/communal.rss
    news.yandex.ua/communal.rss
    news.yandex.ru/games.rss
    news.yandex.ua/games.rss
    news.yandex.ru/internet.rss
    news.yandex.ua/internet.rss
    news.yandex.ru/movies.rss
    news.yandex.ua/movies.rss
    news.yandex.ru/crime.rss
    news.yandex.ua/crime.rss
    news.yandex.ru/culture.rss
    news.yandex.ua/culture.rss
    news.yandex.ru/metallurgy.rss
    news.yandex.ua/metallurgy.rss
    news.yandex.ru/fashion.rss
    news.yandex.ua/fashion.rss
    news.yandex.ru/music.rss
    news.yandex.ua/music.rss
    news.yandex.ru/science.rss
    news.yandex.ua/science.rss
    news.yandex.ru/realty.rss
    news.yandex.ua/realty.rss
    news.yandex.ru/society.rss
    news.yandex.ua/society.rss
    news.yandex.ru/fire.rss
    news.yandex.ua/fire.rss
    news.yandex.ru/politics.rss
    news.yandex.ua/politics.rss
    news.yandex.ru/law.rss
    news.yandex.ua/law.rss
    news.yandex.ru/incident.rss
    news.yandex.ua/incident.rss
    news.yandex.ru/religion.rss
    news.yandex.ua/religion.rss
    news.yandex.ua/east.rss
    news.yandex.ru/rubl.rss
    news.yandex.ru/software.rss
    news.yandex.ua/software.rss
    news.yandex.ru/sport.rss
    news.yandex.ua/sport.rss
    news.yandex.ru/insurance.rss
    news.yandex.ua/insurance.rss
    news.yandex.ru/theaters.rss
    news.yandex.ua/theaters.rss
    news.yandex.ru/tennis.rss
    news.yandex.ua/tennis.rss
    news.yandex.ru/transport.rss
    news.yandex.ua/transport.rss
    news.yandex.ru/finances.rss
    news.yandex.ua/finances.rss
    news.yandex.ru/football.rss
    news.yandex.ua/football.rss
    news.yandex.ru/hockey.rss
    news.yandex.ua/hockey.rss
    news.yandex.ru/showbusiness.rss
    news.yandex.ua/showbusiness.rss
    news.yandex.ru/ecology.rss
    news.yandex.ua/ecology.rss
    news.yandex.ru/business.rss
    news.yandex.ua/business.rss
    news.yandex.ru/energy.rss
    news.yandex.ua/energy.rss
    news.yandex.ru/Abkhasia/index.rss
    news.yandex.ru/Austria/index.rss
    news.yandex.ru/Azerbaijan/index.rss
    news.yandex.ru/Albania/index.rss
    news.yandex.ru/Andorra/index.rss
    news.yandex.ru/Armenia/index.rss
    news.yandex.ru/Belarus/index.rss
    news.yandex.ru/Belgium/index.rss
    news.yandex.ru/Bolgaria/index.rss
    news.yandex.ru/BosniaHercegovina/index.rss
    news.yandex.ru/Vatican/index.rss
    news.yandex.ru/GreatBritain/index.rss
    news.yandex.ru/Hungary/index.rss
    news.yandex.ru/Germany/index.rss
    news.yandex.ru/Gibraltar/index.rss
    news.yandex.ru/Greece/index.rss
    news.yandex.ru/Georgia/index.rss
    news.yandex.ru/Denmark/index.rss
    news.yandex.ru/Israel/index.rss
    news.yandex.ru/Ireland/index.rss
    news.yandex.ru/Iceland/index.rss
    news.yandex.ru/Spain/index.rss
    news.yandex.ru/Italy/index.rss
    news.yandex.ru/Kazakhstan/index.rss
    news.yandex.ru/Canada/index.rss
    news.yandex.ru/Cyprus/index.rss
    news.yandex.ru/Kirghizia/index.rss
    news.yandex.ru/China/index.rss
    news.yandex.ru/Latvia/index.rss
    news.yandex.ru/Lithuania/index.rss
    news.yandex.ru/Liechtenstein/index.rss
    news.yandex.ru/Luxembourg/index.rss
    news.yandex.ru/Macedonia/index.rss
    news.yandex.ru/Malta/index.rss
    news.yandex.ru/Moldova/index.rss
    news.yandex.ru/Monaco/index.rss
    news.yandex.ru/Netherlands/index.rss
    news.yandex.ru/Norway/index.rss
    news.yandex.ru/Poland/index.rss
    news.yandex.ru/Portugal/index.rss
    news.yandex.ru/Romania/index.rss
    news.yandex.ru/USA/index.rss
    news.yandex.ru/SanMarino/index.rss
    news.yandex.ru/Serbia/index.rss
    news.yandex.ru/Slovakia/index.rss
    news.yandex.ru/Slovenia/index.rss
    news.yandex.ru/Tadjikistan/index.rss
    news.yandex.ru/Turkmenistan/index.rss
    news.yandex.ru/Turkey/index.rss
    news.yandex.ru/Uzbekistan/index.rss
    news.yandex.ru/Finland/index.rss
    news.yandex.ru/France/index.rss
    news.yandex.ru/Croatia/index.rss
    news.yandex.ru/Montenegro/index.rss
    news.yandex.ru/Czech/index.rss
    news.yandex.ru/Switzerland/index.rss
    news.yandex.ru/Sweden/index.rss
    news.yandex.ru/Estonia/index.rss
    news.yandex.ru/Japan/index.rss

    Это все RSS-адреса, размещенные на странице Первоисточника. Кто знаком с языками запросов Яндекса или Гугль, без труда увидит, что выполнен элементарный inurl:.rss над всеми ссылками первоисточника.

Продолжение следует...

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 835
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

    Среди найденных в предыдущем топике ссылок есть RSS-ки и по Украине, и по другим странам. Чтобы оставить только Россию (допустим нам это нужно) выполним запрос:

    http://news.yandex.ru/export.html +.rss -.ua;index.

    Получим 40 ссылок:

    news.yandex.ru/hardware.rss
    news.yandex.ru/computers.rss
    news.yandex.ru/auto.rss
    news.yandex.ru/auto_racing.rss
    news.yandex.ru/basketball.rss
    news.yandex.ru/security.rss
    news.yandex.ru/world.rss
    news.yandex.ru/galleries.rss
    news.yandex.ru/martial_arts.rss
    news.yandex.ru/communal.rss
    news.yandex.ru/games.rss
    news.yandex.ru/internet.rss
    news.yandex.ru/movies.rss
    news.yandex.ru/crime.rss
    news.yandex.ru/culture.rss
    news.yandex.ru/metallurgy.rss
    news.yandex.ru/fashion.rss
    news.yandex.ru/music.rss
    news.yandex.ru/science.rss
    news.yandex.ru/realty.rss
    news.yandex.ru/society.rss
    news.yandex.ru/fire.rss
    news.yandex.ru/politics.rss
    news.yandex.ru/law.rss
    news.yandex.ru/incident.rss
    news.yandex.ru/religion.rss
    news.yandex.ru/rubl.rss
    news.yandex.ru/software.rss
    news.yandex.ru/sport.rss
    news.yandex.ru/insurance.rss
    news.yandex.ru/theaters.rss
    news.yandex.ru/tennis.rss
    news.yandex.ru/transport.rss
    news.yandex.ru/finances.rss
    news.yandex.ru/football.rss
    news.yandex.ru/hockey.rss
    news.yandex.ru/showbusiness.rss
    news.yandex.ru/ecology.rss
    news.yandex.ru/business.rss
    news.yandex.ru/energy.rss

    Лексема2: -.ua;index. - указывает, что ссылки содержащие .ua или index. следует отбросить.

Продолжение следует...

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 835
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

    Если мы в новостном проекте СайтСпутника пропишем последний "синий" запрос (см. предыдущий топик), то 40 ссылок "уйдут" на мониторинг, то есть, будут не ссылками-источниками, а ссылками для мониторинга. Они скачаются, очистятся от мусора и отправятся на Рубрикацию (такой прием применяется при подключении "одиночных" ссылок).

    Нам это ни к чему. Чтобы эти 40 ссылок сделать Источниками, можно, например, выполнить следующий запрос:

    http://news.yandex.ru/export.html +.rss -.ua;index. +/

    Лексема3: +/, точнее плюсик из неё, сообщает СайтСпутнику, что все найденные ссылки для мониторинга переводятся в статус Источников.

    Следующий за знаком + знак / говорит, что из новоиспеченных источников на мониторинг попадут только ссылки, содержащие знак /, то есть, все ссылки на новости из всех 40 RSS-потоков.

    Если бы мы применили такую лексему3: +blog, то на мониторинг бы попали только ссылки, содержащие в своем адресе blog, если бы добавили лексему4: -/2014/, то исключили бы ссылки, содержащие /2014/.

    На момент испытания по запросу: http://news.yandex.ru/export.html +.rss -.ua;index. +/ в 40 источниках было найдено 450 уникальных ссылок (дубли СайтСпутник отбросил). Они и будут отправлены на мониторинг.

Продолжение следует...

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 835
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

    Подключение готово. Осталось в новостной Проект добавить запрос такой:

    http://news.yandex.ru/export.html +.rss -.ua;index. +/

    или такой:

    http://news.yandex.ru/export.html +.rss -.ua;index. +blog -/2014/

    Тем самым, мы обеспечим мониторинг по 40 ссылкам-источникам, точнее сбор информации из них. Осталось добавить Рубрики, и Проект готов.

    Если вдруг ссылка-первоисточник станет недоступной, то ничего страшного, у нас в выдаче остались нужные 40 ссылок источников, которые мы "перекопипастим" в Проект.

Продолжение следует...

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 835
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

    Для упомянутых в первом топике этой темы первоисточников, запросы будут таковы:


    http://sdelanounas.ru/blogs/public/?page={0-1} +rss +sdelanounas.ru/blogs

    http://forum.razved.info/index.php?t=5208 -razved.info;razvedka-internet.ru +.html

    http://forum.razved.info/index.php?t=3083 -razved.info;razvedka-internet.ru;intboard.ru;openproj.ru +/


    Получить их можно по описанной выше технологии. В качестве первоисточников для последних двух ссылок взяты живьём ссылки с данного форума.


    P.S.
    Можно добавить в хвост: +лексема5 -Лексема6, ..., чтобы превратить "очередные" ссылки для мониторинга в ссылки-источники.

<<Назад  Вперед>>Печать
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Библиотека источников и иструменты её создания и ведения »   Подключение списка Источников
RSS

Последние RSS
шантаж, угрозы по Интернету
Практически весь интернет становится русскоязычным
SiteSputnik. Об одном подходе к мониторингу Телеграм
Безопасность при работе на ПК
Книги о критическом мышлении
Наказывать за вмешательство в частную жизнь, Верховный суд
CI Academic Materials
CiMi.CON Evolution USA
Поиск в КЭШ поисковиков по запросу и пакету запросов
СайтСпутник: Многоязычность, Юникод, MS ACCESS
Новый курс OSINT от АИС
Год тюрьмы за отказ удалять
Книга "Строим доверие по методикам спецслужб"
аналог "Консультанта" о зарубежном законодательстве
Открытые данные ФНС
Получаем информацию по VIN
Competitive-Market Intelligence Conference, Berlin 2018
Не все VPN-сервисы одинаково полезны
«Яндекс» научился выдавать в поиске не скрытые Google-документы. Правда лавочку
War and marketing: 1937 July 7th vs. 2018 July 1st

Самые активные 20 тем RSS