Версия для печати
- Форум Сообщества Практиков Конкурентной разведки (СПКР) http://forum.razved.info/
-- Софт для конкурентной разведки http://forum.razved.info//index.php?f=7
--- ДВатсон http://forum.razved.info//index.php?t=5117
-- Игорь Нежданов написал 21 мая 2014 11:05
Коллеги, как и обещали, к концу мая выкладываем первый вариант индивидуальной программы для аналитиков. Назвали мы ее "Доктор Ватсон". Предназначена она для исследования текстов с точки зрения выявления сущностей и связей между ними. Главное - не забывать про кого пишем справку.... А как результат - отчет об исследуемом Объекте.
Дистрибутив программы здесь (http://forum.razved.info/distr/DrWatson.Setup.msi)
Тестировалась только на W7.
Мануала пока нет - приступаем к написанию. Но там всё по обычному алгоритму анализа:
-загружаем анализируемые тексты;
-запускаем анализ - кнопка "Анализировать текст";
-получаем списки сущностей и связей, которые программа смогла сама распознать;
-добавляем сущности и связи, которые программа не увидела, или о которых знаем только мы;
-указываем, что нам хочется видеть на диаграмме, наводим красоту;
-формируем Отчет - какие блоки в какой последовательности нас интересуют;
- используем полученный Отчет в корыстных целях.
Программа почти полнофункциональная, за исключением одного момента - нельзя сохранить результат. Полная версия позволяет сохранять результаты неограниченного числа проектов и обмениваться ими с другими пользователями программы.
Полноценный вариант планируем продавать по 15 т.р. Если кому понадобится , то пишите на этот адрес ci2b.info@gmail.com
-- Игорь Нежданов написал 21 мая 2014 11:08
Так выглядит вкладка управления связями.
-- Игорь Нежданов написал 21 мая 2014 11:09
А так -вкладка диаграмм.
-- Ed написал 21 мая 2014 11:19
Игорь Нежданов написал:[q]
Назвали мы ее[/q]
А вас не смущает, что доктор Ватсон был так себе помощник, плюс, местами, себе на уме?
-- Игорь Нежданов написал 21 мая 2014 11:27
Ed написал:[q]
А вас не смущает, что доктор Ватсон был так себе помощник, плюс, местами, себе на уме? [/q]
Ни сколько - так оно и есть. Зато какие отчеты писал.... до сих пор переиздаются.
-- fellix13 написал 21 мая 2014 15:26
У IBM тоже Watson, могут и в суд подать)
-- Игорь Нежданов написал 21 мая 2014 15:29
fellix13 написал:[q]
У IBM тоже Watson, могут и в суд подать) [/q]
У них "Watson", а у нас "Доктор Ватсон".
-- Skyment написал 21 мая 2014 22:47
Игорь качнул на тестирование... 
-- Игорь Нежданов написал 22 мая 2014 8:28
На всякий случа....
При первом запуске программы, она выдает предложение ввести ответный код для запуска полной версии - нужно подтвердить исполнение без ввода кода. И программа стартует.
-- CI-KP написал 22 мая 2014 8:48
Игорь Нежданов написал:[q]
У них "Watson", а у нас "Доктор Ватсон".[/q]
Недавно были публикации, что наследие Конан Дойла, по-моему, выведено из-под авторского права. Т.е. на его персонажей нет прав. Я не вникал глубоко, просто навскидку вспомнилось.
-- Игорь Нежданов написал 22 мая 2014 17:57
Попробовали на W8 - работает
-- ara_367519 написал 22 мая 2014 22:08
Игорь, в программу должны загружаться файлы в одном формате (к примеру - все в формате doc или txt) или допустимо загружать для анализа и такие файлы и xls...? 
-- Игорь Нежданов написал 23 мая 2014 8:32
Doc, docx, txt... таблици может понять не так как люди.
-- NVK63 написал 23 мая 2014 20:09
Мой кот страшно польщен: его зовут "Доктор Ватсон" 
Кстати, весьма умный кот породы "новежский лесной".
Инсталлировал, присоединяюсь к тестирующим...
Первые вопросы:
1) Имеется ли механизм "ручного" слияния объектов? В случае, если в автомате слияние не происходит?
2) есть ли переход от объекта к фрагментам текста из источников, где он упоминается?
3)предусмотрена ли конвертация базы данных объектов под другие софты, скажем Cronos Pro?
-- Игорь Нежданов написал 24 мая 2014 13:33
NVK63 написал:[q]
1) Имеется ли механизм "ручного" слияния объектов? В случае, если в автомате слияние не происходит?[/q]
Пока нет - эта функция в разработке. Есть некоторые ограничения.
NVK63 написал:[q]
2) есть ли переход от объекта к фрагментам текста из источников, где он упоминается?[/q]
Такого нет - взяли на заметку. Это явно полезно будет, так что учтем в следующих реинкарнациях.
NVK63 написал:[q]
3)предусмотрена ли конвертация базы данных объектов под другие софты, скажем Cronos Pro? [/q]
Этого нет - а оно точно надо? И если надо то как вы эту функцию себе представляете? Или вы о простом экспорте списка Объектов во внешние файлы (Эксель, Аксесс...)?
-- NVK63 написал 24 мая 2014 15:52
Игорь Нежданов написал:[q]
Этого нет - а оно точно надо? И если надо то как вы эту функцию себе представляете? Или вы о простом экспорте списка Объектов во внешние файлы (Эксель, Аксесс...)?[/q]
Имхо, возможность софта взаимодействовать с другими софтами резко повышает его эффективность. На мой взгляд, была бы интересна возможность выгрузки не просто списка объектов, а их атрибутов, их взаимосвязи, то есть экспорт всей полученной структуры. Это даст возможности:
а) влить полученные новые знания в уже имеющиеся банки данных;
б) исследовать полученную структуру в специализированных сторонних софтах.
Экспорт желателен бы многовариантный с учетом интересов пользователя: и уже перечисленные Вами эксель,аксесс, но и в формализованные текстовые форматы и т.д.
О Cronos упомянул, так как вот уже 20 лет пользуюсь этим софтом. Привычен, хотя и вяло развиваемый, но это упрек "Кронос-Информ".
И... интересен был бы и импорт некой имеющейся структуры в "Доктор Ватсон". То есть уже готовую предметную структуру ввести в д.Ватсон !
-- Игорь Нежданов написал 24 мая 2014 16:12
NVK63 написал:[q]
Имхо, возможность софта взаимодействовать с другими софтами резко повышает его эффективность.[/q]
Полностью согласен.
NVK63 написал:[q]
ыла бы интересна возможность выгрузки не просто списка объектов, а их атрибутов, их взаимосвязи, то есть экспорт всей полученной структуры[/q]
Сделать выгрузку в несколько форматов (ворд-эксель-аксесс), но с четко обозначенной структурой можно. И сделаем.
NVK63 написал:[q]
И... интересен был бы и импорт некой имеющейся структуры в "Доктор Ватсон".[/q]
И вновь согласен. А по тому подумаем над такой возможностью.
-- petryashov написал 25 мая 2014 16:06
2 Игорь Нежданов
Игорь, расширить бы еще список типов связей. Сейчас можно установить только пять типов связей: родственный, вышестоящая организация, учеба, владение и работа.
Лично мне в данном списке не хватает: клиент, конкурент, подрядчик, информатор (для СМИ) - и это только навскидку.
Насколько я понимаю, список типов связей можно расширить двумя способами: по заказам пользователей расширять его по мере необходимости или же дать возможность пользователям самостоятельно создавать те типы связей, которые ему необходимы
-- Игорь Нежданов написал 25 мая 2014 19:36
petryashov написал:[q]
Игорь, расширить бы еще список типов связей.[/q]
Добавление новых типов связей и типов объектов тенденция закономерная. Но она имеет одну особенность - лингвистическую. Для создания механизма автоопределения типа объекта или связи нужны те самые лингвистические признаки. Мы над этим работаем, но процесс не быстрый.
Если же речь о ручном режиме, то добавить нужные типы можно в меню "Типы объектов и связей"
-- Игорь Нежданов написал 26 мая 2014 13:15
Коллеги, обновили дистрибутив. Некоторые косяки поправили. Радикальных изменений пока нет - работаем над ними.
-- fellix13 написал 26 мая 2014 15:13
А можно выложить програмку на каком нибудь стороннем ресурсе.
-- Игорь Нежданов написал 26 мая 2014 18:08
Да - выложим в ближайшее время.
-- NVK63 написал 27 мая 2014 17:27
Вопросы:
1) Обновленный дистрибутив можно скачать на ранее указанной ссылке на 1-й странице?
2) Не будет ли целесообразным включение в логику программы понятия сущности "событие"- то есть связывающее персон, организации по определенному отрезку времени и определенной геолокации (месту) и посредством увязанных под это событие итераций между персонами и организациями?
-- Игорь Нежданов написал 27 мая 2014 18:43
NVK63 написал:[q]
1) Обновленный дистрибутив можно скачать на ранее указанной ссылке на 1-й странице?[/q]
Да - именно так
NVK63 написал:[q]
2) Не будет ли целесообразным включение в логику программы понятия сущности "событие"...[/q]
Пока точно нет - это усложнит программу, а значит сделает ее дороже, что нежелательно.
-- Игорь Нежданов написал 27 мая 2014 18:44
Первый, краткий, мануал по ДВатсону. (http://forum.razved.info/distr/DWatson_manual.pdf)
-- NVK63 написал 28 мая 2014 15:29
Игорь Нежданов написал:[q]
Пока точно нет - это усложнит программу, а значит сделает ее дороже, что нежелательно.
[/q]
Понял.Аргумент действительно серьезный. Начинать с дорогостоящего продукта стратегически не эффективно.
Ну... тогда то пожелание на перспективу... 
Вечером инструкшион почитаем.
-- Игорь Нежданов написал 28 мая 2014 15:49
NVK63 написал:[q]
Понял.Аргумент действительно серьезный. Начинать с дорогостоящего продукта стратегически не эффективно.
Ну... тогда то пожелание на перспективу..[/q]
Да уж - а замечание записали и при возможности к этой теме вернемся.
-- NVK63 написал 28 мая 2014 17:00
Вопросы:
1)Есть ли смысл при создании нового проекта еще до загрузки исследуемых тестов создать центральный объект исследования и заранее известные нам связанные объекты. То есть создать некую первичную структурку. Может ли это повлиять на процесс анализа текстов? В положительную сторону? В отрицательную?
2) Имхо, полагал бы полезным добавить возможность добавления "всех документов из указанной папки". Это было бы полезным при большом количестве загружаемых исследуемых файлов.
-- Игорь Нежданов написал 29 мая 2014 10:17
NVK63 написал:[q]
Есть ли смысл при создании нового проекта еще до загрузки исследуемых тестов создать центральный объект исследования и заранее известные нам связанные объекты. То есть создать некую первичную структурку. [/q]
По идее, если уже есть описание Объекта, как минимум разные варианты его ФИО или названия, то эти данные используются для его идентификации в тексте. Но алгоритм не линейный. Мало того такая последовательность действий сама по себе интересна - мы подумаем, попробуем и тогда отпишусь. Но идея правильная. Постараемся ее реализовать.
-- Skyment написал 3 июня 2014 18:50
...Только не бейте ногами!!!
Ну привычка у меня такая дурная!...
Интересный продукт - стал "в топку" закидывать всякую хр... от сказок, басен, до Уставов и других "стандартизированных" документов - результат
-- Игорь Нежданов написал 3 июня 2014 20:34
Ты-б еще на анекдоты его натравил... :)
-- Александр Митрофанов написал 4 июня 2014 13:45
А что, классно, выборка из анекдотов про Вовочку в виде графа связей. Тут можно, связывая еще не связанные вершины графа, прогнозировать создание новых анекдотов. )))
-- Игорь Нежданов написал 4 июня 2014 16:08
NVK63 написал:[q]
Есть ли смысл при создании нового проекта еще до загрузки исследуемых тестов создать центральный объект исследования и заранее известные нам связанные объекты. То есть создать некую первичную структурку. Может ли это повлиять на процесс анализа текстов?[/q]
Да - смысл в этом есть, т.к. заполняя атрибуты Объекта, для которых есть алгоритмы автоматического выявления, указываем программе, что Это также имеет отношение к изучаемому Объекту. Правда зависимость не совсем линейная, но всё же.
При этом поступить можно и чуть иначе. Вначале проанализировать текст "первым проходом". Затем заполнить карточки интересующих вас Объектов - добавить атрибуты. поправить имеющиеся, убрать задвоения и т.п.. После чего провести повторный анализ текста - вот тут программа препарирует тот же текст, но уже используя внесенные и откорректированные вами данные.
-- NVK63 написал 6 июня 2014 1:20
Игорь Нежданов написал:[q]
При этом поступить можно и чуть иначе. Вначале проанализировать текст "первым проходом". Затем заполнить карточки интересующих вас Объектов - добавить атрибуты. поправить имеющиеся, убрать задвоения и т.п.. После чего провести повторный анализ текста - вот тут программа препарирует тот же текст, но уже используя внесенные и откорректированные вами данные. [/q]
Ну, это уже как у Корбина и Страусса: открытое, осевое и избирательное кодирование! Так что, практика и теория не разрывны! Лишний показывает, что подход правильный.
-- Игорь Нежданов написал 6 июня 2014 9:56
Благодаря советам коллег (вашим советам) и творцу кода, который воплощает эти советы, ДВатсон совершенствуется. Например есть возможность создать Шаблон проекта. В него войдут необходимые вам сущности (объекты), которые вы насоздаете, с их атрибутами, типы связей, варианты диаграмм и шаблоны отчетов. Это работает так же как шаблон в PowerPoint. Вы его открываете и нужные вам настройки уже готовы. например можно создать шаблоны для исследования Человека, или Организации, или События, или последовательности событий...
-- NVK63 написал 6 июня 2014 16:36
Игорь Нежданов написал:[q]
Например есть возможность создать Шаблон проекта. В него войдут необходимые вам сущности (объекты), которые вы насоздаете, с их атрибутами, типы связей, варианты диаграмм и шаблоны отчетов. [/q]
Это интересно для специализации шаблонов под конкретные предметные области: отраслевые, географические и т.д.
Один и тот же "Василий Ветров" в одной отраслевой области будет "Васька Ветров- Рваное ухо", а в другой "Василий Васильевич Ветров, лауреат... и создатель....". Локализации в предметной области снижает уровень ошибок в идентификации объектов при автоматическом разпознании.
Стремление к глобальным банкам не всегда "есть гуд", имхо, лично для меня симпатичнее для оперработы система банков , организованных по отраслевому или географическому делению (или сочетание того и другого вместе)
-- Александр Митрофанов написал 9 июня 2014 14:25
Программа дает возможность создавать не только шаблоны, но и вести базы (проекты) по разным предметным областям. Нужно только в шаблонах поменять атрибуты и виды связей на желаемые.
-- Max_Otto написал 10 июня 2014 11:22
Считаю целесообразным создание связи через глагол (словарь - список глаголов) или по факту наличия двух объектов в одном предложении.
-- Max_Otto написал 10 июня 2014 11:40
Было бы неплохо связать географические объекты с геосервером и использовать данные геосервера в качестве фона. Так же было бы хорошо увязать объекты со структурированными данными DBpedia (
-- Max_Otto написал 10 июня 2014 11:42
wiki.dbpedia.org/Downloads39?v=2zd#dbpedia-ontology
-- Max_Otto написал 10 июня 2014 11:48
Каким образом лучше создать атрибуты для объектов типа "физический объект"???? К примеру танк "Т 72". Каким образом решается вопрос синонимии и омонимии?
-- Max_Otto написал 10 июня 2014 11:52
В контенте на других языках объекты не выделяются?
-- Max_Otto написал 10 июня 2014 11:56
Допустим мы создали новый объект типа "событие" - как сделать его визуализацию на графе??????
-- Игорь Нежданов написал 11 июня 2014 13:11
Max_Otto написал:[q]
Считаю целесообразным создание связи через глагол[/q]
Часть семантики так и работает.
Max_Otto написал:[q]
Было бы неплохо связать географические объекты с геосервером[/q]
Как дополнительный сарвис - наверное да. Но практической ценности пока не вижу.
Max_Otto написал:[q]
Каким образом лучше создать атрибуты для объектов типа "физический объект"?[/q]
Создаете новый тип объектов и с этом типе создаете нужные вам атрибуты.
Max_Otto написал:[q]
Каким образом решается вопрос синонимии и омонимии? [/q]
При заполнении атрибутов объекта создайте столько атрибутов одного типа, сколько синонимов можете придумать.
Max_Otto написал:[q]
Допустим мы создали новый объект типа "событие" - как сделать его визуализацию на графе?[/q]
Что значит "его визуализация на графе"?
-- Max_Otto написал 12 июня 2014 11:23
В данном варианте система слишком ручная. Для того чтобы повысить уровень автоматизации и создаются алгоритмы автоматического выделения связей между объектами через глагол или факт (факт - объекты встречаются в одном предложении - значит они связаны через факт). Графы красивые со связями можно и в Visio рисовать и в MindManager. Вопрос в автоматизации корректного выделения объектов и связей. Система довольно корректно выделяет персоны и организации на русском языке. Но выделение связей настолько аскетично, что пункт №1 теряет смысл.
Каким образом создается алгоритм автом выделения объектов новых типов (типа физический объект)? Или только ручной алгоритм? Еще очень неудобно то, что открытой карточки создаваемого объекта нельзя копипастить текст из левого окна с текстом в карточку. Не совсем понятна интеграция с БД. Как производить поиск по атрибутам объектов?
Но в целом - для начинающего журналиста или какого нибудь исследователя индивидуала толковый и недорогой инструмент.
-- Max_Otto написал 12 июня 2014 11:25
Интеграция с геосервером нужна для того, чтобы создавать отчет на карте объектов типа "событие" у которого есть аттрибут время (период события) и место события (координаты на карте). Имея совокупность событий мы можем строить подобные иногда оч полезные отчеты.
-- Игорь Нежданов написал 13 июня 2014 17:21
Max_Otto написал:[q]
Для того чтобы повысить уровень автоматизации и создаются алгоритмы автоматического выделения связей между объектами через глагол или факт (факт - объекты встречаются в одном предложении - значит они связаны через факт).[/q]
А вы можете пояснить детальнее? На конкретном примере. Есть текст (из одного предложения): "Василий из Перми купил мопед, ну прям как Николай из Ростова, который купил недавно мотоцикл."
Если выделять связи между объектами исходя из двух условий:
- они находятся в одном предложении;
- через глагол.;
то получается, что объект Василий связан не только с объектом мопед, но и с объектом Николай, и с объектом мотоцикл. Или правила всё же сложнее?
Max_Otto написал:[q]
Интеграция с геосервером нужна для того, чтобы создавать отчет на карте объектов типа "событие" у которого есть аттрибут время (период события) и место события (координаты на карте). Имея совокупность событий мы можем строить подобные иногда оч полезные отчеты.[/q]
Вновь хотелось-бы подробностей - как вариант конкретный пример практической пользы такого отчета.
-- Max_Otto написал 13 июня 2014 18:11
Ну к примеру, анализируем события связанные с террористической активностью КРП в какой то период. Смотрим все это дело на карте и видим, что зона действия активности удивительно совпадает с маршрутом газопровода Набукко, а даты событий совпадают датами событий, связанных с принятием решений по участию-неучастию основных инвесторов проекта Набукко. Которые еще не приняли решение куда инвестировать в ЮП или в Набукко. Делаем выводы))))))) Только пример. Ничего личного.
Есть журналистика факта, а есть журналистика мнения. Так вот могу отметить, что для автоматического алгоритма сбора и анализа информации предпочтительны источники, основанные на фактах. Статьи в таких источниках, как правило,строго структурированы. По правилу т.н. "журналисткой пирамиды". Предложения в таких источниках, как правило простой, а не сложно подчиненной структуры. А тот пример про Василия и НИколая - он из другой оперы.
Примеры правильных источников:
и т.п. Можно анализировать инфу и из т.н. аналитических источников, но только уже в ручном режиме. А для этого и Mindmanager вполне пригоден.
-- Игорь Нежданов написал 13 июня 2014 18:37
Max_Otto написал:[q]
Есть журналистика факта, а есть журналистика мнения. Так вот могу отметить, что для автоматического алгоритма сбора и анализа информации предпочтительны источники, основанные на фактах. Статьи в таких источниках, как правило,строго структурированы. По правилу т.н. "журналисткой пирамиды". Предложения в таких источниках, как правило простой, а не сложно подчиненной структуры. А тот пример про Василия и НИколая - он из другой оперы.[/q]
Мой опыт показывает, что источников "из другой оперы" гораздо больше, чем состоящих из простых предложений. В такой ситуации программа, работающая по предложенной вами схеме будет выдавать такое число ложных срабатываний, что на их вычищение уйдет больше времени, чем на ручную прорисовку. И тот самый смысл автоматизации пропадает.
Max_Otto написал:[q]
Ну к примеру, анализируем события связанные с террористической активностью КРП в какой то период. Смотрим все это дело на карте и видим, что зона действия активности удивительно совпадает с маршрутом газопровода Набукко, а даты событий совпадают датами событий, связанных с принятием решений по участию-неучастию основных инвесторов проекта Набукко. Которые еще не приняли решение куда инвестировать в ЮП или в Набукко. Делаем выводы))))))) Только пример. Ничего личного.[/q]
Возможно пригодится - на заметку взяли.
-- Max_Otto написал 14 июня 2014 9:38
Секрет вот еще в чем - аналитик как правило работает в какой то узкой предметной области. В процессе работы он создает БД объектов. И интересны связи в перую очередь между ними. Но жизнь ведь не стоит на месте и появляются новые объекты, которые и выделяет система. Но пока оператор не принял решения о включении потенциальных объектов в БД, то связи с ними можно вообще не отображать. Вернее правильнее сделать режим отображения и тех и тех, режим отображения объектов из БД. Так же и со связями можно отображать все, а можно только между реальными объектами. Можно только ручные связи - они самые релевантные. Вы правы бестолковая автоматизация ведет к множественным ошибкам, которые надо в ручную вычищать. Но ведь их можно не отображать, а потом месяца через 3, если их не подтвердит оператор, как-то автоматически уничтожить. К примеру, не востребованный потенциальный объект (не подтвержденный) уничтожается со всеми своими атрибутами и связями.
-- Игорь Нежданов написал 14 июня 2014 17:07
Max_Otto написал:[q]
Вы правы бестолковая автоматизация ведет к множественным ошибкам, которые надо в ручную вычищать.[/q]
Именно по этой причине мы не пошли по простому пути, а нашли специалистов уже отработавших механизм семантического анализа. И скооперировавшись сделали ДВатсона.
-- Max_Otto написал 15 июня 2014 17:27
Если вы говорите о семантических шаблонах, то отчасти да. Но это работа для целого института, а не для пары экспертов. Наверное в бесплатном релизе семантика у вас стоит в положении "откл"))))))
-- Игорь Нежданов написал 15 июня 2014 19:19
Max_Otto написал:[q]
Если вы говорите о семантических шаблонах, то отчасти да. Но это работа для целого института, а не для пары экспертов. Наверное в бесплатном релизе семантика у вас стоит в положении "откл")))))) [/q]
И вам удачи!
-- Игорь Нежданов написал 19 июня 2014 9:06
Делаем несколько шаблонов для ДВатсона. "Человек" - для изучения людей. "Организация" - для изучения организаций. Они несколько отличаются , как вы понимаете. Возможно сделаем "Событие" - изучение какого то события, ситуации и т.п.. И "Потоки" - для изучения потоков денег, товаров, информации..... Шаблон это набор сущностей (объектов), типов связей между ними, атрибутов объектов и связей и заготовки под диаграммы связей и отчеты.
Но! - мы это всё делаем под свои задачи. Соответственно они отражают наше представление. Поэтому если кому нужно, то стучитесь в личку. Если есть пожелания - пишите.
-- petryashov написал 14 июля 2014 16:59
Игорь, можно ли при помощи ДВатсона вытащить вот отсюда все документы и загнать их в базу данных программы? zakupki.rosneft.ru/plan-zakup
-- Vinni написал 14 июля 2014 19:27
надо отдельной программой вытаскивать эти excel-файлы.
а умеет ли дватсон работать с excel - вопрос к Игорю 
-- Игорь Нежданов написал 14 июля 2014 19:44
petryashov написал:[q]
Игорь, можно ли при помощи ДВатсона вытащить вот отсюда все документы и загнать их в базу данных программы? [/q]
Дим, нет конечно. ДВатсон вообще не умеет собирать данные - только исследовать.
-- Игорь Нежданов написал 14 июля 2014 19:46
Игорь Нежданов написал:[q]
надо отдельной программой вытаскивать эти excel-файлы.
а умеет ли дватсон работать с excel - вопрос к Игорю[/q]
да - нужен граббер-парсер...
Алгоритм ДВатсона можно настроить на любые сочетания слов/символов/знаков препинания. Но это уже за рамками простого настольного решения.
-- Vinni написал 15 июля 2014 11:31
Игорь Нежданов написал:[q]
Алгоритм ДВатсона можно настроить на любые сочетания слов/символов/знаков препинания[/q]
ну тогда как вариант можно легко наваять скрипт на перле для загрузки всех экселей и экспорта их в текстовые файлы (Spreadsheet::DataFromExcel нормально работает). а эти текстовые файлы пусть ДВатсон обрабатывает 
-- Игорь Нежданов написал 15 июля 2014 13:36
Vinni написал:[q]
у тогда как вариант можно легко наваять скрипт на перле для загрузки всех экселей и экспорта их в текстовые файлы (Spreadsheet::DataFromExcel нормально работает). а эти текстовые файлы пусть ДВатсон обрабатывает[/q]
Только "правильно" переводить нужно таблицу в текст. В смысле не столбцами, а предложениями :)
-- Vinni написал 15 июля 2014 16:18
Игорь Нежданов написал:[q]
Только "правильно" переводить нужно таблицу в текст. В смысле не столбцами, а предложениями :) [/q]
ну да . в данном случае надо брать заголовки столбцов (структура же таблицы стандартная) и делать из строк со значениями атрибутов предложения вида имя_столбца - значение_столбца. тогда что-то похожеее на предложение будет получаться. сделать это несложно. 
-- Игорь Нежданов написал 15 июля 2014 17:42
Vinni написал:[q]
ну да . в данном случае надо брать заголовки столбцов (структура же таблицы стандартная) и делать из строк со значениями атрибутов предложения вида имя_столбца - значение_столбца. тогда что-то похожеее на предложение будет получаться. сделать это несложно. [/q]
ага - смысл в этом 
-- NVK63 написал 20 июля 2014 17:09
Возможно было бы интересны возможности операций над проектами:
- объединение проектов;
- "пересечение" проектов (как множеств) и т.д.
- выделение группы объектов и их связей в отдельный новый проект
Еще , имхо, представляла бы интерес возможность атрибута-ссылки на другой проект. То есть, имея объект "Иванов И.И." в проекте "А", и тот же объект в проекте "В" установить между ними ссылочную связь.
Например, такая возможность реализована в " The Brain", весьма продуктивно,эффективно расширяет возможности. Например, объект в одном проекте как главный объект фигурирует, а другом как связь.
-- Игорь Нежданов написал 20 июля 2014 21:20
NVK63 написал:[q]
Возможно было бы интересны возможности операций над проектами:
- объединение проектов;
- "пересечение" проектов (как множеств) и т.д.
- выделение группы объектов и их связей в отдельный новый проект[/q]
Да - это зафиксировано как одна из первых необходимых доработок. Плюс управление проектами.
NVK63 написал:[q]
Еще , имхо, представляла бы интерес возможность атрибута-ссылки на другой проект. То есть, имея объект "Иванов И.И." в проекте "А", и тот же объект в проекте "В" установить между ними ссылочную связь.[/q]
А можно поподробнее - о чем идет речь? Увязывание разных проектов между собой?
-- NVK63 написал 21 июля 2014 23:15
Игорь Нежданов написал:[q]
А можно поподробнее - о чем идет речь? Увязывание разных проектов между собой? [/q]
Речь о возможности присваивания любому объекту (а может и связи между объектами) внешней гиперссылки.Эту гиперссылку можно копировать и указывать в качестве атрибута объектов ДРУГИХ проектов ( или еще шире в других приложениях!)
Кликание по гиперссылке вызывает реакцию системы:
1) сохранение текущего открытого проекта;
2) закрытие текущего проекта;
3) открытие проекта, где расположен объект, который имеет однозначное соответствие с гиперссылкой;
4) открытие для обозрения объекта, на которого указывает гиперссылка.
Цель: связывание между собой проектов в точках пересечения.
Объект может присутствовать в разных проектах с разными уровнями и сторонами детализации. Все зависит от целей проекта. Как бы разные грани одного и того объекта. Попытка создать универсальное представление объекта может привести к снижению уровня детализации в ущерб парадигмы проекта и ее целей.
-- NVK63 написал 23 июля 2014 16:37
При создании в ручном режиме объектов или корректировке имеющихся атрибут "географический объект" никак не хочет выдавать список стран. Почему?
-- Игорь Нежданов написал 25 июля 2014 14:00
NVK63 написал:[q]
При создании в ручном режиме объектов или корректировке имеющихся атрибут "географический объект" никак не хочет выдавать список стран. Почему?[/q]
Поправлено - нужно обновиться (версия 07) тут _ttp://dr-watson.wix.com/home#!download/c1hkc
-- Игорь Нежданов написал 25 июля 2014 14:01
NVK63 написал:[q]
Речь о возможности присваивания любому объекту (а может и связи между объектами) внешней гиперссылки.Эту гиперссылку можно копировать и указывать в качестве атрибута объектов ДРУГИХ проектов ( или еще шире в других приложениях!)
Кликание по гиперссылке вызывает реакцию системы:
1) сохранение текущего открытого проекта;
2) закрытие текущего проекта;
3) открытие проекта, где расположен объект, который имеет однозначное соответствие с гиперссылкой;
4) открытие для обозрения объекта, на которого указывает гиперссылка.
Цель: связывание между собой проектов в точках пересечения.
Объект может присутствовать в разных проектах с разными уровнями и сторонами детализации. Все зависит от целей проекта. Как бы разные грани одного и того объекта. Попытка создать универсальное представление объекта может привести к снижению уровня детализации в ущерб парадигмы проекта и ее целей.[/q]
Интересный вариант - надо подумать над этим.
-- NVK63 написал 26 июля 2014 1:06
Возможно было бы полезным создание атрибута "файл" , который бы давал возможность "прикрепить" к объекту файл. Кликанье вызывало бы приложение по умолчанию, предусмотренного для этого файла.
Думается было бы полезным при автоанализе текста выделять:
- адреса в Интернет: "www.xxxxxxxxx" и тому подобное;
- адреса электронной почты;
- номера телефонов
- даты
Отображение этих сущностей в тексте формализовано и, возможно их добавление к автовыделению не приведет к удорожанию программы....
-- Игорь Нежданов написал 28 июля 2014 14:20
NVK63 написал:[q]
Возможно было бы полезным создание атрибута "файл" , который бы давал возможность "прикрепить" к объекту файл. Кликанье вызывало бы приложение по умолчанию, предусмотренного для этого файла.[/q]
Да - это вариант.
NVK63 написал:[q]
Думается было бы полезным при автоанализе текста выделять:
- адреса в Интернет: "www.xxxxxxxxx" и тому подобное;
- адреса электронной почты;
- номера телефонов
- даты
Отображение этих сущностей в тексте формализовано и, возможно их добавление к автовыделению не приведет к удорожанию программы.... [/q]
Это есть в планах.
-- Max_Otto написал 29 июля 2014 14:16
NVK63 написал:[q]
[/q]
Это был бы прорывной функционал. Без разделения на проекты визуализация в виде графа вообще теряет всякий смысл. А нельзя более подробно рассказать про стратегию формирования проектов для одного и того же объекта?
-- NVK63 написал 29 июля 2014 17:35
Max_Otto написал:[q]
А нельзя более подробно рассказать про стратегию формирования проектов для одного и того же объекта? [/q]
Вопрос ко мне или Нежданову?
Если ко мне, хотелось бы подробнее, что Вы имеете в виду "под стратегией формирования проектов для одного и того же объекта"?
-- ksmith написал 31 июля 2014 11:58
По поводу выделения других сущностей - они выделяются, но поскольку не имеют "самостоятельной ценности" в отличие от персон и организаций, то и не отображаются. Они могут быть в качестве значений атрибутов других объектов, и если система смогла построить связь, скажем, телефона и персоны, то телефон будет добавлен в атрибуты персоны - в этом случае телефон нормализуется. Аналогично для адресов, e-mail, паспортных данных, денежных и др. Есть ли смысл для этого делать отдельную форму и вводить новый тип данных, как для дат - это вопрос. Не сделано это было потому, чтобы излишне не усложнять программу, а вносить в неё дополнительные возможности только при возникновении РЕАЛЬНОЙ потребности. Если Вы купили или собираетесь купить программу и Вам важны, скажем, телефоны, чтобы представлялись в формализованном виде (код страны, код города, номер, дополнительный номер, тип), то дайте знать об этом Игорю Нежданову, и мы быстро сделаем.
И ещё:
*) небольшие замечания и предложения по улучшению программы можно обсуждать устно по скайпу (konstantin.smith);
*) в программе есть возможность быстрого задания атрибута - в тексте слева выделяем участок текста и перетаскиваем его мышью в атрибуты объекта справа (этим мы как бы делаем вручную то, что система не смогла автоматически). Для атрибута строкового типа просто идёт копирование строки. Если тип у атрибута "дата", то из переносимого фрагмента система автоматически попытается выделить дату или диапазон для установки нужных параметров. Аналогично для географического объекта. Если введём другие типы данных, то при перетаскивании система также будет их автоматически определять, заполняя параметры специфического значения.
-- ksmith написал 31 июля 2014 11:59
NVK63 написал:[q]
Возможно было бы полезным создание атрибута "файл" , который бы давал возможность "прикрепить" к объекту файл. Кликанье вызывало бы приложение по умолчанию, предусмотренного для этого файла.
Думается было бы полезным при автоанализе текста выделять:
- адреса в Интернет: "www.xxxxxxxxx" и тому подобное;
- адреса электронной почты;
- номера телефонов
- даты
Отображение этих сущностей в тексте формализовано и, возможно их добавление к автовыделению не приведет к удорожанию программы.... [/q]
Ответ на это - в предыдущем сообщении
-- Max_Otto написал 31 июля 2014 13:54
Max_Otto написал:[q]
[/q]
К примеру, объект Путин трех проектах: Продвижение России в Латинскую Америку, События на Юго-Востоке Украины, Отношения Россия -Германия
При формировании графа, а он самоформирующийся будут отображаться связи объекта Путин со всеми сценариями, если разделить на проекты то просматривая события на Юго-Востоке Украины не совсем интересны его активности в ЛА, но интересны его контакты с Меркель по урегулированию конфликта на Украине. Как выстроить в этом случае стратегию по созданию проектов, чтобы оптимально провести аналит реконструкцию? Чтобы в проекте не выскакивали лишние для проекта связи и в то же время оператор мог подключить (активизировать какой то актуальны пограничный (связанный) проект?
-- ksmith написал 31 июля 2014 14:49
Граф не совсем самоформирующийся - он состоит только из тех объектов, которые пользователь добавил вручную на диаграмму. А вот связи прорисовываются автоматически - те, которые связывают объекты. Диаграмм может быть в проекте сколько угодно. На одну диаграмму можно добавить Путина с одним подмножеством объктов, на другую - с другим. Скорее, межпроектное отождествление объектов пригодится для сокращения множества атрибутов объекта. Например, в одном проекте может исследоваться личная жизнь, в другом - деловые связи и т.д., соответственно множество атрибутов будет разным (хотя и пересекающимся). Межпроектные связи потянут за собой ряд проблем, от которых мы сейчас избавлены. Основная из них - это относительная непереносимость проектов как файлов. В будущем планируется реализация как серверной части, которая хранит все объекты со связями, так и облегчённую надпроектную настройку. Но пока хотелось бы "выжать" максимум из того, что есть.
-- NVK63 написал 1 августа 2014 0:30
ksmith, спасибо за Ваши комментарии. Они вселяют оптимизм!
Кстати, если в перспективе добавить возможность добавлять в качестве атрибута ссылки на локальные файлы на конкретном диске, может также появиться эффект "утяжеления" системы: при переносе на другой девайс ссылки могут не работать. Может быть предусмотреть хранилище файлов для проекта, и просто копировать файлы в него? Вес проекта значительно возрастет, но взамен появится мобильность....
А межпроектные связи - интересны и эффективны. Убедился лично в процессе работы с TheBrain. Если пытаться "все" запихать в один глобальный проект ( типа все под рукой) , система становиться перегруженной и за частностями перестаешь видеть главное. Да и медленней начинает работать, тупит. В инфопоиске чем больше данных и шире их отображение - тем поиск будет глубже и результативней. Но при анализе собранных данных излишек ненужных характеристик, создает хаос и заболачивает общую картинку. Количество тащит нас в другое качество. 
-- NVK63 написал 1 августа 2014 0:52
Max_Otto написал:[q]
Как выстроить в этом случае стратегию по созданию проектов, чтобы оптимально провести аналит реконструкцию? Чтобы в проекте не выскакивали лишние для проекта связи и в то же время оператор мог подключить (активизировать какой то актуальны пограничный (связанный) проект? [/q]
Это не "технический" вопрос. А вопрос логики.
Как и в любом другом деле. Как писатель делит повесть на главы?
Как делопроизводитель раскладывает документы по папкам?
Как пользователь раскидывает файлы по директориям?
У каждого проекта должны быть своя цель, иначе .... это не проект.
И определенная начальная кучка элементов и связями между ними, которые отражают начальные условия старта проекта. И... ресурсы. Это информация, которую мы анализируем, строительный материал проекта. Время работы над проектом.
Иначе говоря проект- классическая система и... А системы могут пересекаться, образуя множество общих элементов и связей. Только эти общие элементы в каждой системе могут нести разную роль, иметь разное значение.
Какая тут стратегия? Мне кажется... имхо... универсальной стратегии просто нет. Просто надо наполнять проект информацией, но не перегружать ненужной, не соответствующей цели данного проекта. А ненужная информация вполне может быть нужной в другом проекте...
Как-то так....
-- NVK63 написал 1 августа 2014 1:09
И, ksmith, все таки может можно подумать над автовыделением сущности "событие".
Мы, ведь, исследуем и персоны, и организации, всегда в свете каких-то событий. Без них модель получается статичной. Ведь частично "события" проглядываются и в текущей версии ДВатсон: период учебы, время в должности...
Я в своих проектах в ручную "события" клепаю. Взамосвязи становятся интересней.
-- Игорь Нежданов написал 1 августа 2014 14:57
NVK63 написал:[q]
И, ksmith, все таки может можно подумать над автовыделением сущности "событие".[/q]
Тут не всё так просто. Дело в том, что типов Событий немереное число. По сути весь окружающий мир это непрерывный поток событий. И большинство из них не нужны в рамках проводимых исследований. И каждый тип может быть описан несколькими десятками шаблонов. Всё это вполне реализуемо, но требует усидчивости, а заодно времени.
-- NVK63 написал 3 августа 2014 14:35
Относительно категории "событие" соглашусь- задача для формализации сложна из-за многообразия конструкций, которыми событие описывается естественным языком, особенно русским..
Хотелось остановиться на другом.
Сталкиваюсь уже на практике, при использовании ДВатсон.
При копировании документов в проект или фрагментов текстов через буфер не остается в тексте ссылка на источник текста. Как, например это реализовано в Microsoft OneNote. То есть мы тексты анализируем, но должны где в другом месте помечать сведения об источниках текстов, иначе потом выглядят малодоказательно наши с ДВатсоном умозаключения, скажем для "стороннего наблюдателя".
В вышеупомянутом Microsoft OneNote вставка ссылки на первоисточник происходит автоматически. То есть это должна быть ссылка на страницу Интернет, локальный ресурс на коме или сети.
Ссылка должна быть с возможностью редактирования и комментарием (чтобы по старинке указать книга такая-то, страница такая-то).
Естественно, функцию внедрения в текст ссылки на источник, должна быть возможность отключать или включать по желанию пользователя.
-- NVK63 написал 3 августа 2014 14:42
При корректировке объектов при создании новых атрибутов происходит заминка с вводом значений. Может только у меня?
То есть создается атрибут, например "имя", пытаюсь сразу ввести его значение, но, болт, не вводится. Тогда выхожу из этой формы, вновь кликаю объект для редактирования и тогда.... атрибут доступен для редактирования.
-- Игорь Нежданов написал 3 августа 2014 20:27
Отсылка к источнику, если он загружен через "открытие файла" это разумно. Но тут вопрос - в каком месте такую отсылку ставить? В виде атрибута Объекта и/или Связи?
-- NVK63 написал 3 августа 2014 21:11
Игорь Нежданов написал:[q]
Но тут вопрос - в каком месте такую отсылку ставить?[/q]
я думаю, как миниум, в конце внедренного текста в меню анализируемых документов.
И в виде гиперссылки, которую можно было бы кликать.
А объекты и связи соотносятся с большим количеством РАЗНЫХ документов-источников. Хотя может быть, при создании объекта или связи- первоисточник первого упоминания объекта. При коррекции- последнее упоминание. Но как это реализовать-сложно.
А вот внедрение в последнюю строку введенного в проект текста гиперссылки с указанием адреса источника, я предполагаю реализуемо. В OneNote это работает без проблем, через буфер. Копируя любой контент и вставляя его на страницу OneNote, программа под вставкой располагает гиперссылку с адресом источника. В Evernote это реализовано частично.
-- Игорь Нежданов написал 4 августа 2014 8:59
NVK63 написал:[q]
я думаю, как миниум, в конце внедренного текста в меню анализируемых документов.
И в виде гиперссылки, которую можно было бы кликать.[/q]
Да - логично. Что то не сообразил сразу.
-- ksmith написал 7 августа 2014 22:20
NVK63 написал:[q]
При корректировке объектов при создании новых атрибутов происходит заминка с вводом значений. Может только у меня?
То есть создается атрибут, например "имя", пытаюсь сразу ввести его значение, но, болт, не вводится. Тогда выхожу из этой формы, вновь кликаю объект для редактирования и тогда.... атрибут доступен для редактирования. [/q]
Это глючок 
- исправлен в версии 0.8
-- ksmith написал 7 августа 2014 22:25
NVK63 написал:[q]
Кстати, если в перспективе добавить возможность добавлять в качестве атрибута ссылки на локальные файлы на конкретном диске[/q]
Сделано в версии 0.8 так: введён новый тип значений "Файл", для типов объектов можно вводить атрибуты с этим типом. В конечном объекте для атрибута значением выступает файл вместе со своим содержимым, которое целиком сохраняется в проекте. Проект остаётся независимым от внешних файлов, правда, увеличивается в размере - так что гигабайты информации подцеплять к объекту не рекомендуется.
-- NVK63 написал 8 августа 2014 23:32
ksmith
Спасибо за отзывчивость!
-- NVK63 написал 14 августа 2014 1:04
Вопрос "маркетинговый"....
У пользователей в "текущий исторический момент" не один девайс на руках: что-то в офисе, что-то в сумке, что-то дома стоит или лежит. Поставщики софта, учитывая, что трудолюбивый пользователь пашет не только в офисе, но и в пути и дома, предлагают софт с установкой на два (отзывчивые компании на три девайса).
Какова политика поставщиков "ДВатсон"?
Второй вопрос.
А в случае апгрейда или смены девайса? Новая лицензия? Стоимость программы соизмерима со стоимостью самого девайса....
-- petryashov написал 14 августа 2014 9:40
И вдогонку: можно ли предусмотреть вопрос облачного хранения данных в Дропбоксе или аналогичном сервисе?
-- NVK63 написал 14 августа 2014 14:27
petryashov написал:[q]
И вдогонку: можно ли предусмотреть вопрос облачного хранения данных в Дропбоксе или аналогичном сервисе? [/q]
А сам файл проекта не пробывали разместить в компьютере в локальной папке облачного сервиса?
-- petryashov написал 14 августа 2014 19:04
NVK63 написал:[q]
А сам файл проекта не пробывали разместить в компьютере в локальной папке облачного сервиса? [/q]
Нет. У меня пока небольшие сложности с оргтехникой, которые скоро решатся. А Вы пробовали? Работает?
-- NVK63 написал 14 августа 2014 19:28
petryashov написал:[q]
Вы пробовали? Работает?
[/q]
Пробывал так с "TheBrain", "Atlas.ti"
При чем с "отягчающими обстоятельствами", применяя шифровалку BoxCryptor- 
Работало. Только надо следить, чтобы случайно одновременно несколько девайсов к проекту не подключались. Могут быть конфликты "новизны файлов".
С "ДВатсоном" попробую. Сообщу.
-- NVK63 написал 15 августа 2014 0:06
Проверил работу "ДВатсон" на облачном сервисе Яндекс.Диск
Скопировал файл проекта, поместил в папку Яндекс.Диска на компьютере. Запустил "ДВатсон".
Через "файл открыть" нашел через проводник локальную папку сервиса на комьютере и нужный файл проекта, кликнул==> работа пошла. Все в обычном режиме. Синхронизация с облаком, это уже забота сервиса.
По другим облачным сервисам не проверял, так как принципиальных отличий, думаю, нет.
Этот форум работает на скрипте Intellect Board
© 2004-2007, 4X_Pro, Объединенный Открытый Проект