SiteSputnik News

Форум Сообщества Практиков Конкурентной разведки (СПКР)

Конкурентная разведка, Бизнес-разведка, Корпоративная разведка,
Деловая разведка по открытым источникам в бизнесе.
Работаем строго в рамках закона.

Дезинформация и активные мероприятия в бизнесе
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Приемы работы с программой СайтСпутник (SiteSputnik) »   SiteSputnik News
RSS

SiteSputnik News

Версия "СайтСпутник Ньюс" и работа с ней

<<Назад  Вперед>>Страницы: 1 2 3 * 4
Печать
 
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 826
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
В версии SiteSputnik 7.0, вышедшей вчера 01.03.2011г., завершен очередной этап реализации модуля SiteSputnik News .
В ближайшие месяцы функционал SiteSputnik News получит свое дальнейшее развитие и совершенствование.
В настоящий момент это уже реально помогает, работает и может быть использовано.

Назначение SiteSputnik News.
Этот программый модуль позволяет автоматизировать сбор и мониторинг информации, поступающей на несколько источников в реальном масштабе времени.
Его применение целесообразно при мониторинге огромных потоков информации: когда тем, источников, критериев отбора и самой информации так много,
что физически переработать этот поток невозможно
ни при помощи великолепной Яндекс.Подписки, ни других доступных инструментов.

SiteSputnik News поддерживает следующие функциональные возможности.

1. Создание собственных новостных лент.
Для каждой темы пользователь может подключить нужные источники и определить критерии выбора из них информации.
Пример создания собственной новостной ленты для отслеживания новых резюме соискателей здесь - www.youtube.com/watch?v=lzaPA6cy4m0
Этот пример показывает, что в качестве новости можут быть задействованы не только собственно новости.

2. Работа с полнотекстовыми документоми.
Пользователь имеет дело с текстами новостей, а не с их частью или сниппетом.
У него нет необходимости открывать ссылку, чтобы ознакомиться с новостью.

3. Два уровня критериев выбора новостей.
Можно прописывать два уровня критериев выбора новостей: а) в запросе к источнику; б) в "Рубриках".
В терминологии Игоря Нежданова - это фильтры грубой и тонкой очистки.

4. Текст новости поставляется в очищенном от мусора виде.
Вся информация, отружающая новость, отбрасывается.
Это не только удобно пользователю, но и является необходимым условием для обеспечения очень точного попадания новости в нужные Рубрики,
поскольку отсутствует "побочный эффект", а именно: попадание новости в Рубрику из-за того, что ключевые слова присутствуют в мусоре.
По грубой оценке, страница, содержащая новость, на половину состоит из мусора.

5. Тематические новостные ленты.
Из основной новостной ленты формируются тематические новостные ленты: в каждую Рубрику попадают не только отдельные новости,
но и составляется специальный список из этих новостей, называемый "Всё по рубрике".

6. Список Новость-рубрики.
Для каждой Новости формируется список всех Рубрик, в которые она попала.
Это позволяет обнаружить те Новости (ссылки), на которых присутствует информационный максимум, другими словами, пересекаются несколько критериев отбора информации (несколько объектов).
Например, если у нас есть Рубрики "Фирма-А", "Фирма-Б", "Фирма-С", то данный список позволяет обнаружить новости, где все три фирмы упомянуты;
или если есть Рубрики "Директор", "Металлург", "Автоматизация техпроцессов", то данный список поможет обнаружить резюме, удовлетворяющее всем трем критериям.

7. Отсев новостей с одинаковым контентом (содержанием).
Новости из разных источников с одинаковым содержанием в выдачу повторно не попадают (реализовано пока в рамках выполнения одного задания).
Отсев повторно найденных ссылок (адресов ссылок) для всех ранее выполненных заданий остается в силе.

8. Возможность подключения внутренних поисков.
Это поиск и мониторинг так называемого "серого интернета", причем всего сайта и его актуального состояния, а не какой-то части сайта двухнедельной давности.
Информация из серого интернета также может быть помещена в ленту.

9. Подключение Яндекс.Подписки.
Можно оформить Яндекс.Подписку в Internet Explorer и использовать её в качестве одного из источников в формируемой собственной новостной ленте.
В прикрепленном файле содержится сценарий с обращением к Яндекс.Подписке.

10. Сохраняется вся история работы с новостными лентами:
- все найденные ссылки в исходном виде на момент мониторинга и адрес ссылки,
- все созданные новостные ленты и тематические новостные ленты,
- все "очищенные" контенты новостей, попавшие в Рубрики.

11. Манипулирование лентами.
а) Можно объединять ленты:
- операция "Аналитическое объединение задач" или "Аналитическое объединение";
- на уровне запроса (в пакете запросов).
Б) Можно вычитать содержание одной ленты из другой: операция "Взятие разности".

12. Выполнение работ по расписанию.



Прикрепленный файл (Сценарий~RSS-Y, 654 байт, скачан: 251 раз)
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 784
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009

Alexei Mylnikov написал:
[q]
8. Возможность подключения внутренних поисков...
[/q]
Alexei Mylnikov, можно об этом поподробнее? Что здесь имеется виду?
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 826
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

tungus1973 написал:
[q]

Alexei Mylnikov написал:
[q]
8. Возможность подключения внутренних поисков...
[/q]
Alexei Mylnikov, можно об этом поподробнее? Что здесь имеется виду?
[/q]

Подключаете источник (встроенный поиск по сайту) при помощи Мастера и прописываете его в новостном пакете.

tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 784
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009
Для: Alexei Mylnikov Понял. Спасибо!
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 826
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
Видиоролик о мониторинге тендеров.
Продемонстрировано как в программе SiteSputnik News (СайтСпутник Новости) можно отслеживать появление новых тендерных предложений сразу на шести сайтах, на которых размещаются сведения об электорнных аукционах: etp-micex.ru, multitender.ru, etp.zakazrf.ru, bicotender.ru, is-zakupki.ru, rts-tender.ru. СайтСпутник опрашивает перечисленные сайты, определяет страницы, на которых появились новые предложения, автоматически выделяет только принадлежащую аукциону информацию, оформляет ее в виде новостной ленты и раскладывает по Рубрикам.

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 826
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
В версии 7.1.2 от 18.03.11 в правилах попадания ссылок в Рубрику
можно задавать максимальное расстояние между словами в контенте ссылки (новости).

Примеры.

Дмитрий /1 Медведев удовлетворяют Дмитрий Медведев и Медведев Дмитрий, оба слова должны быть по соседству. Словоформы от слов Дмитрий и Медведев - любые.
Дмитрий /2 Медведев между Дмитрий и Медведев или Медведев и Дмитрий может стоять не более одного слова.
губернатор /1 Волгоградской мэр /2 Волгограда отрешение /3 должности - в Рубрику с таким правилом попадут публикации на тему отрешения от должности мэра Волгорада губернатором Волгоградской области.
Анатолий /2 Бровко Роман /2 Гребенников отрешение /3 должность Волгоград - дополняет предыдущее правило, рационально соединить эти правила логическим "ИЛИ", что программа СайтСпутник делать позволяет.

Особенности и ограничения.

Пока нет: скобочной структуры, слов в заданном порядке (сначала Дмитрий, потом Медведев, но не наоборот).
С расстоянием между точными фразами дело обстоит так. Точные фразы должны быть в контенте, но расстояние берется между последним словом первой фразы и первым словом второй фразы. Это на полноту не сказывается, но точность может уменьшиться.
В конструкции из слов: первое /4 второе /2 третье - учитываются расстояния только между первым - вторым, вторым - третьим словом. Расстояние между первым и третьим словом может быть любое.

Такая запись допускается: Первое /0 Второе /0 Третье
Она эквивалентна: ПервоеВтороеТретье или ВтороеПервоеТретье, ПервоеТретьВторое, но не ТретьеВтороеПервое. Здесь Первое, Второе, Третье - словоформы от этих трёх слов, например, Первый.

Подробнее о Рубриках

tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 784
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009
Класс!!! :good:
Спасибо, Алексей Борисович!!! :hi:
Игорь Нежданов
Модератор форума
Прагматик
Откуда: Советский Союз
Всего сообщений: 1055
Рейтинг пользователя: 13


Ссылка


Дата регистрации на форуме:
7 июня 2009
Да - это весьма полезный функционал.
Спасибо!

Еще бы с точным набором символов сделать так чтоб отрабатывался именно точный набор символов без каких либо вариантов.

---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 826
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

Игорь Нежданов написал:
[q]
Да - это весьма полезный функционал.
Спасибо!

Еще бы с точным набором символов сделать так чтоб отрабатывался именно точный набор символов без каких либо вариантов.
[/q]

Точная фраза или слово заключается в одинарные кавычки.

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 826
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
Вышла инструкция к программе SiteSputnik News на тему: как организовать мониторинг потоков информации.

<<Назад  Вперед>>Страницы: 1 2 3 * 4
Печать
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Приемы работы с программой СайтСпутник (SiteSputnik) »   SiteSputnik News
RSS

Последние RSS
Не все VPN-сервисы одинаково полезны
«Яндекс» научился выдавать в поиске не скрытые Google-документы. Правда лавочку
War and marketing: 1937 July 7th vs. 2018 July 1st
Историческое. Агентурная разведка
Open Source Intelligence (OSINT) Tools and Resources Handbook
Top tips on gathering information about companies by using free online sources
Новое на блоге HRразведка
Безопасность данных в MS Access
Слово как улика
20 Recon and Intel Gathering Tools used by InfoSec Professionals
What’s Changed?
10 альтернативных поисковиков
Ситуационный центр главы Республики Коми
Развёртывание ситуационных центров на базе технологии Avalanche
Как принимать сложные решения. Советы бывшего оперативника ЦРУ.
Открытая информация о "Новичке" из сети интернет.
Ген. директор "ОЗХО" Ахмет Узюмдж о "Новичке" и хим. атаке в Сирии
Онлайн-сервисы для Twitter
Коллекция для Twitter
Приложение Opera VPN закрывается

Самые активные 20 тем RSS
Новости блогов
Не все VPN-сервисы одинаково полезны