Опыт организации системы мониторинга (штрихи)

Форум Сообщества Практиков Конкурентной разведки (СПКР)

Конкурентная разведка, Бизнес-разведка, Корпоративная разведка,
Деловая разведка по открытым источникам в бизнесе.
Работаем строго в рамках закона.

Дезинформация и активные мероприятия в бизнесе
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Приемы работы с программой СайтСпутник (SiteSputnik) »   Опыт организации системы мониторинга (штрихи)
RSS

Опыт организации системы мониторинга (штрихи)

<<Назад  Вперед>>Печать
 
petryashov
Администратор

Откуда: Москва
Всего сообщений: 490
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009
Можно выделить две концепции использования поиска: знаем что искать и не знаем что искать.

Первый вариант, знаем что искать, подходит для мониторинга упоминаний определённого перечня объектовые: компаний, брендов, персон, географических наименований и так далее.

Как делается: вбиваются запросы с прямым указанием интересующих объектов в поисковые системы и в системы внутреннего поиска сайтов.

Достоинства: снижается риск того, что важная информация будет пропущена, в том числе и за счет того, что она не была проиндексирована поисковыми системами.

Недостатки:
1. многочисленные обращения с разными запросами к одному и тому же источнику могут вызвать бан.;

2. По мере появления новых ключевых слов для мониторинга нужно дорабатывать поисковые запросы, что требует времени на настройку.

Второй вариант, не знаем, что искать, подходит для поиска информации по примерно очерченной тематике.

Как делается: собираем новости из разных источников, затем сортируем и рубрицируем их.
Достоинства:
1. обращение к источнику информации идет 1 раз за сеанс, что снижает риск бана;
2. по мере конкретизации информационных интересов можно создавать новые рубрики. Благодаря возсможности перерубрикации можно раскладывать по новым рубрикам ранее собранные новости.
Недостатки: есть риск пропустить часть упоминаний за счет неиспользования внутреннего поиска по сайтам.

Я использую оба варианта поиска и мониторинга информации. Расскажу более подробно про второй вариант поиска.


1. Источники разбиваем на классы, и каждый прописываем в рамках своего проекта. Критериями разбиения на классы могут служить требуемая частота обращения к источникам, тип содержимого, минимальное число пересечений с другими классами. В настоящий момент у меня три проекта: новости, тендеры и социальные сети.

2. Подключаем новые источники. Минимум раз в неделю целесообразно изучать статистику использования источников и менять в случае необходимости настройки поиска

3. Создаём структуру рубрик, не забывая создавать в каждой группе рубрик рубрику "ящик остальные", куда будут попадать новости, не попавшие и в одну из рубрик внутри группы.

4. Сразу прописать все рубрики удаётся редко, да и круг интересов может время от времени изменяться, расширяться и дополняться. Поэтому целесообразно после каждого сеанса работы программы делать две вещи: проверять содержимое рубрик "ящик остальные" с целью выявления пропущенных при создании структуры рубрик ключевых слов, а затем запускать поиск объектов. В случае выявления интересующих объектов создавать новые рубрики.

5. В отличие от источников, которые могут появляться и исчезать, менять структуру представления информации, рубрики намного более стабильны: словоформы слова "нефть", к примеру, ограничены, и достаточно их указать в условиях попадания в рубрики, чтобы вся информация попадала в рубрику "нефть" спустя многое годы после создания данной рубрики. Этот факт позволяет предложить разработчику программы Алексею Мыльникову, а также пользователям СайтСпутника создавать специальные тематические библиотеки рубрик, которые можно было бы подключать другим пользователям программы.

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 829
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

petryashov написал:
[q]
Как делается: собираем новости из разных источников, затем сортируем и рубрицируем их.
Достоинства:
1. обращение к источнику информации идет 1 раз за сеанс, что снижает риск бана;
2. по мере конкретизации информационных интересов можно создавать новые рубрики. Благодаря возсможности перерубрикации можно раскладывать по новым рубрикам ранее собранные новости.
Недостатки: есть риск пропустить часть упоминаний за счет неиспользования внутреннего поиска по сайтам.
[/q]

В СайтСпутнике внутренние поиски Вы можете использовать и при применении второго варианта.

Да и запросы к поисковикам тоже, но запросы, возможно, что не всегда рационально отправлять на Рубрикацию, достаточно просматривать сниппеты.


petryashov написал:
[q]
... предложить разработчику программы Алексею Мыльникову, а также пользователям СайтСпутника создавать специальные тематические библиотеки рубрик, которые можно было бы подключать другим пользователям программы.
[/q]
Здесь наблюдаю такую тенденцию: Пользователь как только доведет Систему до ума, как сразу "затаился". Вы же не выложите свои наработки даже по тендерам и по новостям, не говоря уже о соцсетях.

savara
Молчун

Всего сообщений: 3
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
7 мар. 2017
Доброго времени суток)
Я только начинаю разбираться с программой, поэтому извините, если вопросы будут простые, не толковые, или не по теме.)

Так вот первая проблема, которая возникла. Мне нужно, чтобы результат поиска по пакету запросов, выдавал именно новые интернет страницы. То есть те, которые появились например за последнюю неделю. Нечто подобное, как есть в расширенном поиске гугла.
В инстурциях пока не нашла, поетому я пробовала добавить оператор поиска daterange, к запросам, но что-то не получилось. Также пробовала задать запрос в гугле, установить нужный период времени, инструментами поиска, а затем скопировала юрл, и сделала поиск по нему в СС, но так тоже не работает.

Возможно кто-то такое делал, а возможно я хочу что-то не то, я только учусь) Подскажите пожалуйста. :smile:
vbl
Модератор форума

Откуда: Нижний Новгород
Всего сообщений: 179
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
10 июня 2009

savara написал:
[q]
[/q]


Самый простой вариант - воспользоваться уже настроенным источником, который есть в СайтСпутнике.

Нажимаете "Золотой ключик" потом "Пакет". Потом в столбце "Источник" щелкаете левой клавишей мышки, после чего появляется меню, в котором выбираете:

Сценарии — Yandex ----- Дата

Источник добавляется в пакет. Выставляете глубину страниц и в столбце "Запрос......", формируете необходимый запрос и запускаете проект.

То же самое с Гуглом.

Есть второй вариант.

Добавление поисковика (Яндекс, Гугл) через "Мастера добавления новых источников".

Подробнее про мастер можно прочитать здесь - sitesputnik.ru/Help/SSMaster.htm

---
Non progredi est regredi

http://www.informnn.ru
Информационная рассылка "Конкурентная разведка. Сам себе разведчик" - http://subscribe.ru/catalog/tech.razvedka
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 829
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

    Да, смотрите, что написал vbl: есть готовые сценарии YANDEX и GOOGLE - в них уже есть готовые поиски с учетом даты.

    Что касается операторов языков запросов, то они все могут быть задействованы в запросе.

    Если Вы живьем в поиск вставите URL, то в выдачу попадут все ссылки с него, если не подключать поиск по нему через Мастер или не задать фильтры.

    Для начала освойте готовые сценарии и поиски из них.

    Отдельно о поиске новых, точнее ещё не просматриваемых ранее ссылок (это может быть полезно) посмотрите
    здесь - sitesputnik.ru/Help/SSNewRef.htm
    и тут - https://www.facebook.com/permalink.php?story_fbid=960775070657600&id=100001753485768

    С праздником Вас, savara!

savara
Молчун

Всего сообщений: 3
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
7 мар. 2017
Большое спасибо )))
savara
Молчун

Всего сообщений: 3
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
7 мар. 2017
Все получилось, так просто оказалось) Буду аккуратнее читать инструкции)) Еще раз спасибо!)
<<Назад  Вперед>>Печать
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Приемы работы с программой СайтСпутник (SiteSputnik) »   Опыт организации системы мониторинга (штрихи)
RSS

Последние RSS
Книги о критическом мышлении
Наказывать за вмешательство в частную жизнь, Верховный суд
CI Academic Materials
CiMi.CON Evolution USA
Поиск в КЭШ поисковиков по запросу и пакету запросов
СайтСпутник: Многоязычность, Юникод, MS ACCESS
Новый курс OSINT от АИС
Год тюрьмы за отказ удалять
Книга "Строим доверие по методикам спецслужб"
аналог "Консультанта" о зарубежном законодательстве
Открытые данные ФНС
Получаем информацию по VIN
Competitive-Market Intelligence Conference, Berlin 2018
Не все VPN-сервисы одинаково полезны
«Яндекс» научился выдавать в поиске не скрытые Google-документы. Правда лавочку
War and marketing: 1937 July 7th vs. 2018 July 1st
Историческое. Агентурная разведка
Open Source Intelligence (OSINT) Tools and Resources Handbook
Top tips on gathering information about companies by using free online sources
Новое на блоге HRразведка

Самые активные 20 тем RSS
CI Academic Materials
Книги о критическом мышлении
Наказывать за вмешательство в частную жизнь, Верховный суд