Форум Сообщества Практиков Конкурентной разведки (СПКР)

Версия для печати

- Форум Сообщества Практиков Конкурентной разведки (СПКР) http://forum.razved.info/
-- Технологии работы и инструменты конкурентной разведки http://forum.razved.info//index.php?f=6
--- Вопрос по методологии работы http://forum.razved.info//index.php?t=5982

-- yarris написал 12 мая 2017 0:32
Доброй ночи. А вопрос следующий.
Есть задание - проанализировать предприятие (группу предприятий). економику, кадры, связи, структуру и т.п.
Есть источники информации - от интернета до покупных баз и разговоров со знающими людьми. Все как всегда.
Но каким образом для себя структурировать накапливаемую информацию ?
Я выясняю что в группу входит 6 фирм и одна группа людей никак не оформленная (родственная тусовка).
Я выхожу на список важных для темы людей - учредители, менеджмент, технологи, внешние но связанные лица (в силовых структурах, органах власти и т.п.)
есть производственная цепочка, движение товаров, подрядчики и т.п.

Но как это все структурировать в процессе накопления информации ?
заводить отдельные файлы на все выявленные структуры (компании, людей и т.п. ) ? но потеряются связи между ними.
в идеале - должно формироватся что-то типа Википедии с перекрестными ссылками и страничками на каждый обьект . Я пробовал делать такое на МедиаВики, но слишком много времени уходит на оформление и поддержание базы. Она должна быть инструментом, а не самоцелью.
Есть ли ПО , на котором можно делать такое первичное накопление информации.

Какие есть мысли ?

-- tungus1973 написал 12 мая 2017 10:19
Даже не мысли есть, а уже готовые решения. :smile:

А) В идеале лучше воспользоваться специализированной программой типа "Семантический архив" или "I2". "СемАрхив" хранит данные сразу в двух видах: в виде сетей связей и в виде текстового досье: появляются новые данные, они сразу же отображаются как в виде сети, так и в виде текстового досье, без какой-либо дополнительной обработки. У "I2" великолепные возможности визуализации связей, но, увы, нет хранения данных в виде "семантическая wiki". Обе программы далеко не бюджетные, но крайне удобные. (VisuaLinks не рекомендую - сильно уступает приведённым аналогам. Есть ещё разработка ЦРУ Palantir - самое крутое ПО среди аналогов, но стоит, как "Boing", и там не всё ясно с безопасностью хранимых данных).

Б) Бюджетные варианты будут хранить информацию несвязанно либо в виде схем, либо в виде wiki. Единственное их преимущество - дешевизна или бесплатность. При больших объёмах данных (примерно года через 2-3 после начала активной КР-работы) эти программы начнут приносить больше головной боли, нежели выигрыша во времени.

Схемы связей можно рисовать в графическом редакторе типа Microsoft Visio, OpenOffice Draw или каком-либо другом аналоге. Поначалу это будет несложно. Проблемы будут тогда, когда данных станет очень много - схемы тогда получатся громоздкими. При поступлении новых сведений нужно будет передвигать множество элементов, чтобы втиснуть новые данные между старыми элементами. При этом придётся отслеживать читаемость схем - чтобы стрелки и элементы не перекрывались. Та ещё задачка...

Для работы в режиме wiki подойдут программы типа KeyNote, Mars Notebook, AM-Notebook. Последняя позволяет хранить в одной вики и текстовые документы и таблицы и схемы (но опять же, все эти данные будут храниться разрозненно). При работе с этими программами вы неизбежно столкнётесь с проблемой древовидной классификации. Поскольку данные хранятся в виде одномерного "дерева", то и дело придётся решать, куда поместить те или иные данные - в одну или в другую ветку. Нередко придётся данные дублировать сразу в нескольких ветках.

В) Отдельно стоит отметить Cronos + Cross, которые являются недорогим средством хранения информации и автоматического построения схем. Плюсы этой системы в дешевизне, в открытости базы данных и в невысоких требованиях к ПО (хранение данных довольно компактное). При должной сноровке можно построить базу так, что она будет хранить и данные и отрисовывать схемы по ним. Проблемы, которые возникнут при работе с этой системой:
1) Потребуется существенное время (до нескольких лет), чтобы научиться самостоятельно создавать качественное хранилище данных.
2) При большом числе данных - большое время поиска по базе. Откровенно говоря, архитектура базы довольно устаревшая, медленная. Допустим, поиск персоны в Cronos в 10 тыс. базах занимает 20..60 минут (зависит от мощности компьютера и от количества одновременных подключений к базе). Аналогичный поиск персоны в "Семантическом архиве" в тех же самых 10 тыс. базах занимает 1..5 секунд. То есть, сотрудники, работающие с Cronos, будут успевать сделать за рабочий день в десятки раз меньше.

Резюме: Пожалуй, вот эти приведённые мной три варианта наиболее подходят для хранения и отображения данных КР:
1. Бесплатные "Mars Notebook" + "OpenOffice Draw", но хранящие лишь несвязанные и дублирующиеся данные.
2. Недорогой, но малофункциональный комплект "Cronos" + "Cross".
3. Удобные и многофункциональные, но дорогие "Семантический архив" / "I2".

-- yarris написал 12 мая 2017 20:53
Спасибо.

I2 я попробовал как-то. мне показалось что он больше предназначен не для хранения-накопления-обработки, а именно для визуализации информации.

"Семантический архив" увы, не видел в деле.... штука непростая .дорогая, требующая отдельного проекта по внедрению..

Cros - это поисковик же.... , я бы сказал что "Архивариус" намного лучше. А вместо кроноса - обычный ексель.... я с таким вариантом игрался уже. Но что кронос, что ексесс, что ексель - предусматривают какую-то изначальную упорядочненность данных . структуру. а ее обычно и нет. Но, возможно, каталог с кучей файлов, натравить на него Архивариус , и при каждом пополнении базы новым фактом - проверять не встречался ли такой обьект раньше - это и вариант.

С программами типа "Mars Notebook" пытался работать, но когда информации много и она накапливается долгое время - получается хламник, в котором найти можно что-то только поиском , да и то - не всегда.

хм. вот интересно - масса статей по поиску информации, невидимому интернету, т.п. вещам , но практически ничего нет о следующем этапе - обработке найденного. Я понимаю что у всех свои задачи, совершенно разные, да и секреты профессиональные тоже, но тем не менее..

-- yarris написал 13 мая 2017 10:44
В продолжение - единственный автор (может я кого-то и упустил, но за лет 5-6 попалось только это), который писал на эту тему - это журналист-расследователь Голубицкий . Вот в этой серии статей (он сейчас из этого семинар сделал и продвигает). expert.ru/d-stroke/2011/08/minoa-chast-6/
Но его методы накопления, стуктуризации и обработки информации достаточно специфичны.
Хотелось бы еще что-то увидеть на эту тему..... Но все авторы дружно озабочены только поиском информации :(

-- tungus1973 написал 13 мая 2017 14:43
Работа с собранной информацией сильно зависит от её накапливаемого объёма. Если данных немного, то вполне хватает "KeyNote" (или другая самописная Wiki) + "Visio". Когда данных много, то уже нужны серьёзные СУБД типа "MS SQL Server" или даже "Oracle". Сразу на первое место выходит проблема скорости извлечения информации из таких массивов.
Если же требуется не просто искать текст, а хранить и визуализировать данные в виде связей, то тут требуются специфические продукты, сложные в разработке, затрагивающие вопросы моделирования мира, создания быстрых SQL-запросов к базе. Такие разработать под силу только коллективу программистов совместно с классными специалистами-предметниками. Поэтому они так дороги. И поэтому их так немного на рынке.

Я привёл Вам три примерных варианта на разный вкус и кошелёк. Все они неплохо зарекомендовали себя в работе. Тот же "Cronos" чуть ли не по сей день используется в разного рода спецслужбах. Работают же они с ним как-то. Да, продукт не простой, требует изучения. Но если нет достаточной суммы денег, то "Cronos" может стать некоторым выходом из ситуации. Хотя он и потребует потратить много личного времени на разработку той модели мира, которую вы будете использовать в своих исследованиях, и очень много времени уйдёт на изучение проектирования баз данных. (Скорость работы системы существенно зависит от качества проектирования базы). Хоть так, хоть эдак, что-то придётся тратить - не деньги, так время. Увы, нет на рынке дешёвого "Семантичсекого архива" (хотя и хотелось бы).

-- fellix13 написал 13 мая 2017 20:00

tungus1973 написал:

[q]
Увы, нет на рынке дешёвого "Семантичсекого архива"
[/q]

Кстати, а что там с веб версией?

-- tungus1973 написал 13 мая 2017 20:14
Веб-версия "Семархива" - это надстройка над его ядром. То есть, это всего лишь иной интерфейс работы с системой. Она стоит столько же, сколько и "настольная" версия.

-- ara_367519 написал 14 мая 2017 21:42
Ну и i2 во многих вопросах может помочь..вопрос в том, что Вы от нее хотите! Для анализа она очень подходит.. Даже банальную детализацию нескольких лиц, с легкостью выполните.. А если посмотреть на плагины от Главкод, то сразу другое мнение станет)).. Только вот..цена вопроса..

-- Афраний написал 15 мая 2017 10:08

yarris написал:

[q]
Cros - это поисковик же.... , я бы сказал что "Архивариус" намного лучше. А вместо кроноса - обычный ексель.... я с таким вариантом игрался уже. Но что кронос, что ексесс, что ексель - предусматривают какую-то изначальную упорядочненность данных . структуру. а ее обычно и нет. Но, возможно, каталог с кучей файлов, натравить на него Архивариус , и при каждом пополнении базы новым фактом - проверять не встречался ли такой обьект раньше - это и вариант.
[/q]

Как мне показалось, Cros лучше, чем Архивариус, разбирает разные форматы. Правда работать с Архивариусом может показаться проще.
Равнять кронос и ексель я бы не стал. Да и вообще, это ведь не готовые банки данных, а СУБД, предполагающие, что Вы будете строить БД "под себя".
Есть такой продукт, упоминается в материале по ссылке:
tp://zhenilo.narod.ru/main/ips/2000_subd.pdf
Упоминание о нем на стр. 318. Слышал, что, якобы, его уже можно купить (правда не интересовался и подробностей не знаю).

-- Игорь Нежданов написал 15 мая 2017 21:40

yarris написал:

[q]
Доброй ночи.......
[/q]

По причине того, что каждый специалист видит по своему, универсальную структуру хранилища сформировать не получится. Попытки реализации такого бюджетного решения были, в том числе и на данном форуме. В том числе и на Хроносе - посмотрите в разделе "Софт для конкурентной разведки". Если результаты своих исследований оформлять в виде строго структурированных справок, то может статься, что хватит файлового архива + Архивариус. А вообще, исходите при формировании шаблонной структуры из ваших конкретных задач и предпочтений.

-- yarris написал 17 мая 2017 0:14
Изначально вопрос стоял не узко - "Какое ПО выбрать для хранилища данных" , а шире - "каким образом организовать работу по накоплению и упорядочиванию найденных данных".

В чисто практической задаче (я работаю в сфере финансового мониторинга) я столкнулся (не в первый в сущности уже раз) с тем , что имея вводные данные - учредитель и несколько компаний - через пару часов я вижу несколько десятков компаний, и до сотни людей (связанных или предположительно связанных с данным делом) . Причем по ходу расследования натыкаюсь на новые имена, названия, за которыми свои пласты информации , которые и терять нельзя , но и увлекатся нельзя - иначе это будет бесконечно.
И появился вопрос - что делать с найденным.
Пытался делать что-то вроде "протокола поиска". фиксировал что искал , что нашел и свои впечатления . но получается нечитабельный и неструктурированный хламник.
пытался сразу заводить базу - на людей , на предприятия. , на все выявленные обьекты. .. но для базы - нужно четко представлять ее структуру, а в процессе поиска часто бывают догадки предположения, гипотезы , которые в базу не втиснуть. Например "слишком много компаний из города А" "слишком часто встречаются юристы из компании Б " и т.п.
Пока остановился на том , что сбрасываю все найденное в накопитель , который обрабатываю Архивариусом , и паралельно веду несколько файлов - черновик отчета , протокол поиска , гипотезы для последующей проверки....

Я изначально спросил о ПО , но уже понимаю что такого быть не может - разные задачи, разные методы работы и т.п.
Вопрос скорее о методике работы. Предполагающей использование различного ПО ...
Стало вдруг интересно - неужели такие проблемы только у меня ?

-- fellix13 написал 17 мая 2017 17:07

fellix13 написал:

[q]
Веб-версия "Семархива" - это надстройка над его ядром. То есть, это всего лишь иной интерфейс работы с системой. Она стоит столько же, сколько и "настольная" версия.
[/q]

А что не стали модель SaaS развивать, как тот же Аваланч?

-- Афраний написал 19 мая 2017 15:46

yarris написал:

[q]
...пытался сразу заводить базу - на людей , на предприятия. , на все выявленные обьекты. .. но для базы - нужно четко представлять ее структуру, а в процессе поиска часто бывают догадки предположения, гипотезы , которые в базу не втиснуть...
[/q]

Задача для одного человека очень сложная.
Если работаете с Архивариусом, старайтесь не индексировать весь имеющийся массив. Создавайте отдельные папки с отдельными индексами: либо по годам, либо по территориальности, либо по другим объединяющим категориям.
Если чувствуете необходимость, продумайте создание банка данных. К примеру, в Кроносе можно попытаться сделать банк из нескольких взаимосвязанных баз. Определите для себя основные объекты учёта, по каждому из которых будете создавать базу. К примеру: база – люди (со своими характеризующими объект полями, в т.ч. можно сделать поля для вставки фото, статей, примечаний и т.п.), база – адреса (со своими полями), база – юр. лица (со своими). Придется повозиться с организацией связей между базами, но ничего запредельно-сложного там нет. Объект (объекты) из одной базы сможете подвязывать к объекту (объектам) другой базы с указанием характера связи. У одного объекта может быть несколько связей в разных базах.
Можно сделать несколько таких банков данных. Главное – разработать рабочую структуру баз с прямыми-обратными связями. Потом можно на этой основе делать разные банки по соответствующим направлениям работы, заполнять их. А все созданные банки объединить глобальным поиском. Определить, какие поля из каких баз использовать как поисковые.

-- AlexeiI написал 23 мая 2017 16:58
В первом приближении скрестить OneNote и TheBrain
OneNote накопление плохоструктурированной информации с вики-ссылками.
TheBrain - связь объектов к которым можно прицепить тексты из OneNote.
У обеих программ встроенный поиск и тегирование.

-- Игорь Нежданов написал 23 мая 2017 22:20
Приходилось реализовывать ЕИС и на Кроносе и на самописных решениях и в формате "файловое хранилище + Архивариус" (как написал чуть выше). На том-же Кроносе можно создать эффективное решение с диаграммами связей и многоуровневой вложенностью данных. Но гораздо больше времени тратится в таких системах на перенос в них данных в том числе и в ходе текущего исследования проблемы. По сути нужно создавать решение, которое позволит внутри него вести все исследования и фиксировать данные. Иначе схема "чужая БД" - "справка в Ворде" - "моя БД" погубит любую инициативу.

-- petryashov написал 25 мая 2017 16:04
Лично я для визуализации схем использую такую штуку, как MindMeister. Платная, но интуитивно понятная, ненужные узлы сети можно схлопнуть. Есть версия для мобильных устройств.
Для хранения данных в формате "как есть" пользовался Evernote, у которого хорошо развита система тегов, но потом отказался от него из-за жадности разработчиков, придумывающих все новые и новые ограничения для бесплатной версии..Потом был Google Keep, от которого отказался из-за глючности. Сейчас пользуюсь MS OneNote, пока без замечаний.

Для анализа и визуализации данных использую Microsoft Power BI.
В качестве СУБД использую MS Access

-- Семёныч написал 26 мая 2017 8:58
Вот по этой ссылке _ttp://masam.by/topic/infoflow/ Юрий Смирнов делает хорошие обзоры и даёт практические советы по работе с информацией.
Например, в его статье "7 причин перейти с Evernote на Nimbus Note", состоящей из 2-ух частей, он красочно описывает альтернативу такой известной многим программы, как Evernote.

-- DmitryIvanov написал 15 июля 2017 19:25
Могу поделиться своим опытом работы с большими массивами данных из разных источников и на нескольких языках.
Как обычно, появилась задача, нужно было спешно решать, а времени осваивать новый инструментарий буквально неделя, поэтому пришлось обходиться 10% функциональности. Все мои предыдущие наработки толком не срабатывали, т.к. "заточены" под исследование корпораций и физических лиц, а тут нужно было ни много, ни мало, исследовать всю администрацию Президента РФ в условиях ее реструктуризации, причем заказчик хотел построить сразу несколько проекций происходящего: на основании открытых источников русскоязычных, английских и китайских; как события воспринимаются и какие сведения доступны обывателям, политологам и предположительно спецам. Понятно, что последние две группы имеют доступ не только к открытым источникам, поэтому и работа велась с массивами разного происхождения + до какой-то степени приходилось предугадывать какие сведения из human sources эти люди могли бы получить. Из дополнительных пожеланий - построить прогностическую модель для этих 9 целевых аудиторий (как по их мнению события будут развиваться, кто останется, кто уйдет, какие новые лица появятся). Мрак. Я с таким за 10 лет работы никогда не сталкивался, и команда моя, выражаясь профессиональным языком, охренела :)
Так вот, есть такой программный продукт QDA Miner. И его спутники Web collector и SimStat. Доступны бесплатные и триальные версии, но я не стал мелочиться и спустя три часа тестирования купил полную платную версию. Честно скажу, хотя итоговые результаты нашей работы могли бы быть лучше, сейчас, спустя месяцы я уже знаю, что сделал бы по-другому, но программный продукт хорош.
Что можно реально сделать с помощью QDA Miner?
- Орагнизовать "свалку" исходников с возможностью поставить сквозные теги к темам (например, я теггировал все упоминания географических регионов, компаний, людей, событий, дат - все это в программе делается полуавтоматически)
- Создавать отчеты по тегам. Например, вполне удобоворимый вордовский документ выгрузить все абзацы текста с упоминанием соответсвующего объекта. Что приятно, один и тот же абзац может быть теггирован несколько раз. Так, например, какой-то факт мог у меня быть с тегами, отражающими основных участников, географии события, языка, источника и т.п.
- Есть неплохой инструмент поиска сообщений в социальных сетях с возможностью качественного экспорта в Excel с последующей обработкой хоть в том же QDA Miner или с использованием альтернативных инструментов.
Это те самые 10% функциональности, которые мне удалось быстро освоить и которые мне понравились (по крайней мере, программа меня не подвела и сделала все то, что я от нее ожидал).

С уважением,
Дмитрий

-- tungus1973 написал 17 июля 2017 9:41
Заинтересовавшимся. Есть краткое описание (https://academics.hse.ru/data/2011/11/10/1272135857/QDAMiner - руководство.pdf) на русском языке возможностей программы QDA Miner.
Цена разработчика (https://provalisresearch.com/order/) на QDA Miner: $2,195; на SIMSTAT 2: $695

Чтобы получить урезанную бесплатную версию QDA Miner, нужно заполнить форму на этой странице (https://provalisresearch.com/products/qualitative-data-analysis-software/freeware/). Отличия урезанной версии от полноценной можно посмотреть здесь (https://provalisresearch.com/products/qualitative-data-analysis-software/freeware/compare-versions/).

-- tungus1973 написал 17 июля 2017 10:02
В Нижнем Новгороде есть такой специалист Алексей Рюмин (http://content-analysis.ru/index.php/ob-avtore-2/), который ведёт обширный блог (http://content-analysis.ru/), посвящённый контент-анализу. В блоге он делится своими практическими наработками в этой области. На отдельной станице есть список инструментов (http://content-analysis.ru/index.php/luchshij-soft-dlya-kontent-analiza/) контент-анализа и статьи-обзоры (http://content-analysis.ru/index.php/category/soft/) по установке и использованию этих программ. Желающие могут пройти учебный курс (http://content-analysis.ru/index.php/moi-uslugi/) у Алексея или заказать исследование (http://content-analysis.ru/index.php/moi-uslugi/provedenie-issledovanij/). Он также любезно выложил краткий видео-курс (http://content-analysis.ru/productspages/lectavideo/lectavideo.html), бесплатный учебник (http://content-analysis.ru/productspages/lectabook/lectabook.html) и реальный пример исследования (http://content-analysis.ru/index.php/opros-chitatelej-bloga-o-kontent-analize/) мнений иностранцев о России, который он проводил вместе с коллегами.

-- NVK63 написал 9 августа 2017 15:01
AlexeiI написал:

[q]
В первом приближении скрестить OneNote и TheBrain
OneNote накопление плохоструктурированной информации с вики-ссылками.
TheBrain - связь объектов к которым можно прицепить тексты из OneNote.
У обеих программ встроенный поиск и тегирование.
[/q]

OneNote и TheBrain легко "скрещиваются"- копируется ссылка на нужную страничку в OneNote и помещается в нужной "мысле" TheBrain.
И наоборот. Возникают конкретные связи между элементами этих двух софтов.

-- NVK63 написал 9 августа 2017 15:03
Возможности CronosPRO можно заметно расширить используя входные формы с Lua-скриптами.

-- Афраний написал 6 декабря 2018 9:55
Коллеги, подскажите, есть ли какой-либо не ручной способ выявления общих связей у персонажей в одноклассниках и фейсбуке?

-- tungus1973 написал 6 декабря 2018 16:32
В "Семантическом архиве" есть роботы, которые собирают связи из разных социальных сетей: Одноклассники, Фейсбук, ВКонтакте, Мой мир, Инстаграмм, LiveJournal. Потом все связи можно посмотреть в одной схеме. Там чётко видны персонажи, которые плотно дружат в разных сем.сетях; то есть, это не просто виртуальные "друзья", а скорее всего хорошо знакомые друг с другом люди.
Каких-либо аналогичных дешёвых программ не знаю. Может кто из коллег подскажет.

-- Афраний написал 7 декабря 2018 11:05

tungus1973 написал:

[q]
В "Семантическом архиве..."
[/q]

Семантический архив в моём случае, это - из пушки по воробьям. Хорошо, но дорого. Я думал о какой-нибудь пристройке по типу 220vk.

-- fellix13 написал 7 декабря 2018 15:31

Афраний написал:

[q]
Коллеги, подскажите, есть ли какой-либо не ручной способ выявления общих связей у персонажей в одноклассниках и фейсбуке?
[/q]

А вообще посмотрите на блоге Елены Лариной в разделе Web 2.0 для конкурентной разведки.
_ttp://hrazvedka.ru/web2/web-2-0-dlya-konkurentnoj-razvedki.html

-- Афраний написал 7 декабря 2018 15:41
Спасибо. А я только собирался спросить, что такое искра, а тут уже...