Форум Сообщества Практиков Конкурентной разведки (СПКР)

CI-KP написал:

[q]

Спасибо. Верно ли я понял, что таким образом может формироваться единая база данных для всего предприятия? Если да - то сколько времени займет при работе в локальной сети "выравнивание" информации на всех задействованных машинах?
Что произойдет, если два компьютера посчитают новой одну и ту же ссылку, ввиду того, что базы не обновились своевременно?

[/q]

Здесь речь может идти о единой базе данных новостей, далее ЕБДН, собираемых на предприятии или объекте другого вида.

Если, смотрите сообщение #2, Вы работаете по Варианту 1 (все на одного): десять СайтСпутников собирают новости (формируют чистые потоки), а потом передают их на одиннадцатый, то ЕБДН формируется на одной машине (одиннадцатой), которая называется "СайтСтанцией". Соответственно, на "СайтСтанции" всё "выравнено" и своевременно обновлено. На десяти машинах "СайтСпутниках" ведутся локальные базы данных новостей (ЛБДН). ЛБДН нужны для того, чтобы облегчить работу "СайтСтанции", - с использованием ЛБДН, в частности, поисходит отсев дублей новостей с одинаковым контентом в рамках одного компьютера.

При работе по Варианту 3 (все для всех), БД будут разными, в зависимости от настроек, прописанных аналитиком, а именно: смотря что на каждом компьютере прописано на экспорт, что на импорт. Соответственно, информация сформированная на конкретной машине и импортируемая ею и будет попадать в БД.

Работа по Варианту 2 (каждый на себя), похожа на Вариант 3, только каждый "сам себе аналитик" - экспортирует то, что считает нужным, импортирует то, что можно (другие экспортировали) и нужно самому. Рационально, конечно, спланировать совместную работу независимых пользователей.

CI-KP написал:

[q]

Если мне кто-то объяснит, какие проблемы и почему это решает

[/q]

• Увеличивается производительность: в единицу времени можно обработать больше источников и ссылок (новостей). За счет возможности решения задач на нескольких компьютерах.

• Повышается надежность и устойчивость. За счет снижения нагрузки на отдельный СайтСпутник, отказ одного СайСпутника приведет к тому, что можно будет его перезапустить, достачно быстро получить и использовать полученную информацию. Можно принебречь информацией с одного СайтСпутника. Практически исключается ситуация: машина всю ночь работала, под утро по техническим или другим причинам вышла из строя и аналитик не получил информацию, которую он должен обработать и передать начальству.

• Подобная система практически неуязвима при нападении. За счет - цель размыта: компьютеры могут находиться где угодно, папки импорта и экспорта тоже, можно дублировать информацию за счет создания дублей папок, менять местоположения папок.

• Можно собрать больше информации. За счет просмотра большего количества источников. Здесь имеются ввиду источники коллег, другого подразделения предприятия, другие пакеты.

CI-KP написал:

[q]

А что - есть проблема, что СайтСпутник не успевает обработать источники?
А как тогда потом за ним аналитик успевает?
Про нападения я, честно говоря. вообще не понял. Мне кажется, что если есть угроза нападения (виртуального, как я понимаю) - надо переставить комп за пределы корпоративной сети и никто даже не узнает, куда нападать.

[/q]

В процессе работы СайтСпутник открывает поисковые страницы, RSS-потоки, произвольные страницы (эмуляция RSS-потоков). Есть пользователи, у которых их сотни. Затем реально скачивает страницы - их бывает тысячи. Затем идет выделение контента ссылок, отсев неуникальных контентов, раскладывание по Рубрикам. Рубрик бывает сотни, в некоторых Рубриках бывает более 100 правил. На все это требуется время. Есть предприятия, оставляющие работать СайтСпутник на всю ночь. В процессе работы появляется необходимость в подключении новых источников, задании новых запросов, в создании новых Рубрик. Поэтому скоростью надо заниматься - это актуально практически в любой системе.

Аналитик уже работает с информацией, оформленной в тематические новостные ленты, их можно назвать дайджестами, только каждая новость полнотекстовая. Успеваемость аналитика зависит от количества собранной информации, её чистоты (минимизации мусора и дублирования информации), от темы, по которой он работает и других составляющих. Поэтому я не понял вопрос: "... как потом за ним успевает аналитик".

По нападению. Кроме компьютеров нападению еще может подвергнуться сайт. Если Вы имеете online-систему, то есть, работаете через сайт, то при атаке на сайт Ваша работа может быть парализована. При подходе, примененным в СайтСпутнике, как Вы правильно заметили, компьютеры можно вынести за пределы корпорации. Именно это я и имел ввиду. Также можно вынести и область обмена информацией за пределы корпоративного сайта и никто не узнает куда нападать.

В версии 7.4.1.5 от 28.11.11 можно будет получать "Статистику по пакету" подобную той, что изображена на картинке ниже.



Строки Таблички - Рубрики, задействованные в пакете (в задании на мониторинг источников информации).
Столбцы Таблички - даты выполнения мониторинга.

В нашем случае пакет выполнял мониторинг новостей по 50 источникам из сценария "ТВ и РАДИО станции", описанного здесь на форуме - forum.razved.info/index.php?t=2292

В Рубрики попадала информация об упоминании в источниках четырех парламентских партий: "Единая Россия", КПРФ, ЛДПР, "Справедливая Россия".

Табличка показывает динамику упоминаний этих партий в задействованнах источниках в период с 18.11.11 по сегодняшнее число в фиксированные моменты времени.

В общем случае, источники и Рубрики определяются пользователем, то есть могут быть произвольными. Данная табличка носит чисто демонстрационный характер. Для аналитика, думаю что, - это инстумент для решения своих исследовательских задач.

Чтобы опробовать данную функцию в SiteSputnik News следует установить галочку в параметре "Собрать статистику по пакету в Рубриках" (см. тонкую красную стрелку на картинке из первого сообщения данной темы)

petryashov написал:

[q]

1. есть ли какие-то ограничения на количество столбцов и строк в этом отчете?

[/q]

Нет.

petryashov написал:

[q]

2. можно ли как-то задавать параметры отчета (например, чтобы в него попали только данные за определенный период времени)?

[/q]

Пока нет, но это не проблема. Буду делать оператор:

^^Отчет;

Прямо в нем или в файле, который будет связан с этим оператром, можно будет задавать параметры, например:

^^Отчет Дата>25.11.2011; или ^^Отчет Дата: за 7 дней;

Возможно, доживём до Мастера формирования отчетов.