SiteSputnik. Коллективный сбор и мониторинг информации

Форум Сообщества Практиков Конкурентной разведки (СПКР)

Конкурентная разведка, Бизнес-разведка, Корпоративная разведка,
Деловая разведка по открытым источникам в бизнесе.
Работаем строго в рамках закона.

Дезинформация и активные мероприятия в бизнесе
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Приемы работы с программой СайтСпутник (SiteSputnik) »   SiteSputnik. Коллективный сбор и мониторинг информации
RSS

SiteSputnik. Коллективный сбор и мониторинг информации

Создание корпоративной или профессиональной сети для коллективного сбора, мониторинга и анализа информации силами клиентов

<<Назад  Вперед>>Страницы: 1 * 2
Печать
 
CI-KP
Администратор

Откуда: Екатеринбург
Всего сообщений: 5730
Рейтинг пользователя: 24


Ссылка


Дата регистрации на форуме:
15 мая 2009
Спасибо. Верно ли я понял, что таким образом может формироваться единая база данных для всего предприятия? Если да - то сколько времени займет при работе в локальной сети "выравнивание" информации на всех задействованных машинах?
Что произойдет, если два компьютера посчитают новой одну и ту же ссылку, ввиду того, что базы не обновились своевременно?

---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru
Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь.
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 841
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

CI-KP написал:
[q]
Спасибо. Верно ли я понял, что таким образом может формироваться единая база данных для всего предприятия? Если да - то сколько времени займет при работе в локальной сети "выравнивание" информации на всех задействованных машинах?
Что произойдет, если два компьютера посчитают новой одну и ту же ссылку, ввиду того, что базы не обновились своевременно?
[/q]

Здесь речь может идти о единой базе данных новостей, далее ЕБДН, собираемых на предприятии или объекте другого вида.

Если, смотрите сообщение #2, Вы работаете по Варианту 1 (все на одного): десять СайтСпутников собирают новости (формируют чистые потоки), а потом передают их на одиннадцатый, то ЕБДН формируется на одной машине (одиннадцатой), которая называется "СайтСтанцией". Соответственно, на "СайтСтанции" всё "выравнено" и своевременно обновлено. На десяти машинах "СайтСпутниках" ведутся локальные базы данных новостей (ЛБДН). ЛБДН нужны для того, чтобы облегчить работу "СайтСтанции", - с использованием ЛБДН, в частности, поисходит отсев дублей новостей с одинаковым контентом в рамках одного компьютера.

При работе по Варианту 3 (все для всех), БД будут разными, в зависимости от настроек, прописанных аналитиком, а именно: смотря что на каждом компьютере прописано на экспорт, что на импорт. Соответственно, информация сформированная на конкретной машине и импортируемая ею и будет попадать в БД.

Работа по Варианту 2 (каждый на себя), похожа на Вариант 3, только каждый "сам себе аналитик" - экспортирует то, что считает нужным, импортирует то, что можно (другие экспортировали) и нужно самому. Рационально, конечно, спланировать совместную работу независимых пользователей.

CI-KP
Администратор

Откуда: Екатеринбург
Всего сообщений: 5730
Рейтинг пользователя: 24


Ссылка


Дата регистрации на форуме:
15 мая 2009
Алексей, спасибо. Но Вы, по сути, повторили то, что написано в инструкции. Мой вопрос возник как раз по мотивам ее прочтения и является попыткой "синхронизировать" ситуацию с проблематикой, которую мне приходилось видеть.
Дело в том, что я, к сожалению, не занимаюсь лично ни одним из описанных Вами мероприятий, поэтому не могу оценить практическую полезность предложенного решения. А мне бы хотелось это сделать.
Если мне кто-то объяснит, какие проблемы и почему это решает - я бы мог сделать пост в своем блоге, рассказав о нововведениях программы. Т.е., я понимаю. что раз это сделали, то это, наверное, хорошо, но мне не понятно - когда и почему это востребовано.

---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru
Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь.
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 841
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

CI-KP написал:
[q]
Если мне кто-то объяснит, какие проблемы и почему это решает
[/q]

  • Увеличивается производительность: в единицу времени можно обработать больше источников и ссылок (новостей). За счет возможности решения задач на нескольких компьютерах.

  • Повышается надежность и устойчивость. За счет снижения нагрузки на отдельный СайтСпутник, отказ одного СайСпутника приведет к тому, что можно будет его перезапустить, достачно быстро получить и использовать полученную информацию. Можно принебречь информацией с одного СайтСпутника. Практически исключается ситуация: машина всю ночь работала, под утро по техническим или другим причинам вышла из строя и аналитик не получил информацию, которую он должен обработать и передать начальству.

  • Подобная система практически неуязвима при нападении. За счет - цель размыта: компьютеры могут находиться где угодно, папки импорта и экспорта тоже, можно дублировать информацию за счет создания дублей папок, менять местоположения папок.

  • Можно собрать больше информации. За счет просмотра большего количества источников. Здесь имеются ввиду источники коллег, другого подразделения предприятия, другие пакеты.


CI-KP
Администратор

Откуда: Екатеринбург
Всего сообщений: 5730
Рейтинг пользователя: 24


Ссылка


Дата регистрации на форуме:
15 мая 2009
А что - есть проблема, что СайтСпутник не успевает обработать источники?

А как тогда потом за ним аналитик успевает?
Про нападения я, честно говоря. вообще не понял. Мне кажется, что если есть угроза нападения (виртуального, как я понимаю) - надо переставить комп за пределы корпоративной сети и никто даже не узнает, куда нападать.

---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru
Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь.
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 841
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

CI-KP написал:
[q]
А что - есть проблема, что СайтСпутник не успевает обработать источники?
А как тогда потом за ним аналитик успевает?
Про нападения я, честно говоря. вообще не понял. Мне кажется, что если есть угроза нападения (виртуального, как я понимаю) - надо переставить комп за пределы корпоративной сети и никто даже не узнает, куда нападать.
[/q]

В процессе работы СайтСпутник открывает поисковые страницы, RSS-потоки, произвольные страницы (эмуляция RSS-потоков). Есть пользователи, у которых их сотни. Затем реально скачивает страницы - их бывает тысячи. Затем идет выделение контента ссылок, отсев неуникальных контентов, раскладывание по Рубрикам. Рубрик бывает сотни, в некоторых Рубриках бывает более 100 правил. На все это требуется время. Есть предприятия, оставляющие работать СайтСпутник на всю ночь. В процессе работы появляется необходимость в подключении новых источников, задании новых запросов, в создании новых Рубрик. Поэтому скоростью надо заниматься - это актуально практически в любой системе.

Аналитик уже работает с информацией, оформленной в тематические новостные ленты, их можно назвать дайджестами, только каждая новость полнотекстовая. Успеваемость аналитика зависит от количества собранной информации, её чистоты (минимизации мусора и дублирования информации), от темы, по которой он работает и других составляющих. Поэтому я не понял вопрос: "... как потом за ним успевает аналитик".

По нападению. Кроме компьютеров нападению еще может подвергнуться сайт. Если Вы имеете online-систему, то есть, работаете через сайт, то при атаке на сайт Ваша работа может быть парализована. При подходе, примененным в СайтСпутнике, как Вы правильно заметили, компьютеры можно вынести за пределы корпорации. Именно это я и имел ввиду. Также можно вынести и область обмена информацией за пределы корпоративного сайта и никто не узнает куда нападать.

CI-KP
Администратор

Откуда: Екатеринбург
Всего сообщений: 5730
Рейтинг пользователя: 24


Ссылка


Дата регистрации на форуме:
15 мая 2009
Понятно теперь. Спасибо.

---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru
Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь.
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 841
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
В версии 7.4.1.5 от 28.11.11 можно будет получать "Статистику по пакету" подобную той, что изображена на картинке ниже.



Строки Таблички - Рубрики, задействованные в пакете (в задании на мониторинг источников информации).
Столбцы Таблички - даты выполнения мониторинга.

В нашем случае пакет выполнял мониторинг новостей по 50 источникам из сценария "ТВ и РАДИО станции", описанного здесь на форуме - forum.razved.info/index.php?t=2292

В Рубрики попадала информация об упоминании в источниках четырех парламентских партий: "Единая Россия", КПРФ, ЛДПР, "Справедливая Россия".

Табличка показывает динамику упоминаний этих партий в задействованнах источниках в период с 18.11.11 по сегодняшнее число в фиксированные моменты времени.

В общем случае, источники и Рубрики определяются пользователем, то есть могут быть произвольными. Данная табличка носит чисто демонстрационный характер. Для аналитика, думаю что, - это инстумент для решения своих исследовательских задач.

Чтобы опробовать данную функцию в SiteSputnik News следует установить галочку в параметре "Собрать статистику по пакету в Рубриках" (см. тонкую красную стрелку на картинке из первого сообщения данной темы)

petryashov
Администратор

Откуда: Москва
Всего сообщений: 490
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009
2 Алексей Мыльников
Отличная функция, спасибо!
Вопросы вот какие возникли:

1. есть ли какие-то ограничения на количество столбцов и строк в этом отчете?
2. можно ли как-то задавать параметры отчета (например, чтобы в него попали только данные за определенный период времени)?

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 841
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

petryashov написал:
[q]
1. есть ли какие-то ограничения на количество столбцов и строк в этом отчете?
[/q]

Нет.

petryashov написал:
[q]
2. можно ли как-то задавать параметры отчета (например, чтобы в него попали только данные за определенный период времени)?
[/q]

Пока нет, но это не проблема. Буду делать оператор:

^^Отчет;

Прямо в нем или в файле, который будет связан с этим оператром, можно будет задавать параметры, например:

^^Отчет Дата>25.11.2011; или ^^Отчет Дата: за 7 дней;

Возможно, доживём до Мастера формирования отчетов.

<<Назад  Вперед>>Страницы: 1 * 2
Печать
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Приемы работы с программой СайтСпутник (SiteSputnik) »   SiteSputnik. Коллективный сбор и мониторинг информации
RSS

Последние RSS
SiteSputnik-Bot: Боты в программе СайтСпутник
К вопросу о телеграм
SiteSputnik: Автозамены до и после Рубрикации или Перевода
Демо-доступ к ИАС социальных сетей
Лог-файл в программе СайтСпутник
шантаж, угрозы по Интернету
Практически весь интернет становится русскоязычным
SiteSputnik. Об одном подходе к мониторингу Телеграм
Безопасность при работе на ПК
Книги о критическом мышлении
Наказывать за вмешательство в частную жизнь, Верховный суд
CI Academic Materials
CiMi.CON Evolution USA
Поиск в КЭШ поисковиков по запросу и пакету запросов
СайтСпутник: Многоязычность, Юникод, MS ACCESS
Новый курс OSINT от АИС
Год тюрьмы за отказ удалять
Книга "Строим доверие по методикам спецслужб"
аналог "Консультанта" о зарубежном законодательстве
Открытые данные ФНС

Самые активные 20 тем RSS
Новости блогов
SiteSputnik-Bot: Боты в программе СайтСпутник