IQBuzz (Айкубаз). Автоматизация мониторинга и анализа.

Форум Сообщества Практиков Конкурентной разведки (СПКР)

Конкурентная разведка, Бизнес-разведка, Корпоративная разведка,
Деловая разведка по открытым источникам в бизнесе.
Работаем строго в рамках закона.

Дезинформация и активные мероприятия в бизнесе
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Софт для конкурентной разведки »   IQBuzz (Айкубаз). Автоматизация мониторинга и анализа.
RSS

IQBuzz (Айкубаз). Автоматизация мониторинга и анализа.

<<Назад  Вперед>>Страницы: 1 2 3 4 5 6 7 ... 11 12 13 14 15 16
Печать
 
hound
Гость

Ссылка

[q=Игорь Нежданов]Не в состоянии машина понимать намеки, юмор, сарказм и прочие оттенки настроения человека, основываясь на его тексте.[/q]
Так это же даже и не все люди понимают. Что уж требовать от робота?
Я совершенно согласен с уважаемым Винни - при больших массивов информации нужно как-то автоматизировать процесс, ведь "ручками"-то... ну да, когда в пресс-службе 200 человек - тогда можно. Но не все же работают в ЗАО "Россия"... Да и то - там тоже присматриваются к автоматизации процесса, через близко аффилированные структуры. И уже кое-что используют из обсуждаемого.
Если уж сравнивать сходные системы, мне представляется интересным сделать это по следующим параметрам:
1) количество ресурсов, которые мониторятся
2) количество значимых (высопосещаемых) ресурсов, которые мониторятся
3) быстрота обнаружения новой информации
4) количество обнаруженной информации

В принципе, было бы интересно и качественное сравнение - насколько точно разные ресурсы определяют "позитив-нейтрал-негатив", но это, наверное, уже очень большая и совсем нетворческая и монотонная работа, и вряд ли кто-то возьмется ее делать.
CI-KP
Администратор

Откуда: Екатеринбург
Всего сообщений: 5565
Рейтинг пользователя: 24


Ссылка


Дата регистрации на форуме:
15 мая 2009

hound написал:
[q]
Если уж сравнивать сходные системы, мне представляется интересным сделать это по следующим параметрам:
1) количество ресурсов, которые мониторятся
2) количество значимых (высопосещаемых) ресурсов, которые мониторятся
3) быстрота обнаружения новой информации
4) количество обнаруженной информации
[/q]

Я обычно еще смотрю - насколько система интуитивно понятна - т.е., позволяет без подготовки разобраться в основных опциях.

---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru
Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь.
hound
Гость

Ссылка

[q=CI-KP]Я обычно еще смотрю - насколько система интуитивно понятна - т.е., позволяет без подготовки разобраться в основных опциях. [/q]
Да, согласен, это тоже важно.
Я приходилось слышать, что именно сложность отпугивает "непродвинутых юзеров" от Аваланча, хотя сама по себе программа - отличная.
CI-KP
Администратор

Откуда: Екатеринбург
Всего сообщений: 5565
Рейтинг пользователя: 24


Ссылка


Дата регистрации на форуме:
15 мая 2009
Тема оказалась на удивление "цепляющей". А непонятка на тему тональности очень распространенной. Воспроизведу здесь свой ответ на другом форуме по этой теме. Цитируемый здесь автор адресовала там свои эмоции ув. hound'у

RusAllohka
Повторю - пробовала я ваш это Айкубаз - не в состоянии он адекватно определять позитив и негатив. Он его вообще не в состоянии определять, как и все подобные программы. Рекламируйте его тем, кто впервые в это ввязался, тем, кто еще не понимает чего хочет.



Извините, что вмешиваюсь в Ваш спич. Не буду оспаривать Ваши способности, расскажу только о том, что лично я увидел. Увидел - потрогав конкретную программу руками.



RusAllohka
Подождите-подождите. Это как так получается, что определить направленности одного сообщения указанные системы не могут, а общий тренд могут? Общий тренд он как раз и складывается из единичных сообщений. Или если из 10 сообщений 9 не смогли опредилить, но одно определили, то по этому одному и выстраивается тренд? Отличная система - лучше такую систему обойти стороной.

Из указанных смотрела Iqbuzz www.iqbuzz.ru/ - он вообще не способен адекватно работать с тональностью. Думаю у остальных та же проблема, вряд ли в ближайшее время компьютеры научаться распознавать все тонкости человеческой речи (хотя бы письменной речи).



Существует две принципиально разных задачи. Первая - оценка отдельно взятого текста. Или манипулирование отдельно взятым человеком. Для решения этой задачи надо вникать в суть написанного (или в суть поведения человека, его мотивов и т.п.)

Вторая - оценка большого массива текстов или поведения больших групп людей. или манипулирование ими. В этом случае работают другие правила и приемы.

Самый типичный пример - определение пассажиропотоков. Вас будет интересовать куда идет БОЛЬШИНСТВО людей. Личные переживания каждого при этом Вас не будут интересовать.

Или, скажем, посмотрите кадры 1991 года - когда волнения в Москве были. "Толпа двинулась в направлении Арбата" - вполне понятное событие. Тот факт, что были те немногие, кто шел в другом направлении, погоды не делал и во внимание его можно было не принимать.

Или, скажем, такой понятный пример как "одобрительный гул зала" либо "неодобрительный гул зала". Вы можете не слышать слов, не видеть лиц, но Вы их различите довольно точно. Могут при общем одобрительном гуле орать "На мыло!" ? Могут, конечно. Но это не меняет ситуации.

Поэтому, для оценки ТРЕНДОВ и ИХ ИЗМЕНЕНИЙ автоматические алгоритмы полезны. Для оценки отдельных текстов - нет (за исключением ситуации, когда это текст одного и того же автора, под которого уже настроен словарь).


Для того, чтобы негатив/позитив в определенных сферах корректировать - есть настройки словарей. Например, слово "Мебельщик" или "Табуреткин" в большинстве случаев будет применимо к министру обороны как негатив. Да, это не исключает текстов "Вот вы говорите что он Мебельщик и урод, а он не такой на самом деле". Но удельный вес таких текстов настолько невелик, что ими при оценке ТРЕНДА можно пренебречь.

А вот отдельных - значимых - авторов надо читать полностью и в ручном режиме. Независимо от тональности. Потому что у них не тональность, а смысл важны. Те самые, которые тональность толпы потом будут индуцировать.

Как только Вы для себя поймете, что массив текстов и его тональность и анализ отдельного текста - совершенно разные задачи - у Вас все встанет на свои места. А словарь автомата для анализа МАССИВОВ текстов можно настроить. Это не даст стопроцентного результата, но ощутимо уменьшит погрешность. Неизбежную. Но допустимую.

С уважением.

---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru
Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь.
Игорь Нежданов
Модератор форума
Прагматик
Откуда: Советский Союз
Всего сообщений: 1025
Рейтинг пользователя: 13


Ссылка


Дата регистрации на форуме:
7 июня 2009

CI-KP написал:
[q]
Поэтому, если текст неведомого Иванова , Петрова и Сидорова не принципиально важен сам по себе (в силу малозначительности авторов), то и не надо в них упираться.

Если же автор важен - его надо вычитывать целиком, нетональность там важна а смысл в таком случае.
[/q]

И делать это именно вручную, но никак не программно.


CI-KP написал:
[q]
Нет. Это не уловки, а реально работающий инструмент. Точно такой же, как социологические замеры изменения отношения электората к кандидату или к каким-то событиям. Потому что на больших выборках отдельные тексты никакого значения не имеют.
[/q]

Повторюсь - есть общая тональность сообщения, а есть отношение автора к объекту, упоминаемому в этом сообщении. Это две разные вещи. Здесь речь об общей тональности сообщений (материалов). С этим криво-косо получается что то определить.

Поэтому не смотря ни на какие нюансы - не в состоянии машина понимать намеки, юмор, сарказм и прочие оттенки настроения человека, основываясь на его тексте.




---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок
hound
Гость

Ссылка

[q=Игорь Нежданов]И делать это именно вручную, но никак не программно.[/q]
Уважаемый Игорь, все верно - если текстов десяток. А если их 1000?
Игорь Нежданов
Модератор форума
Прагматик
Откуда: Советский Союз
Всего сообщений: 1025
Рейтинг пользователя: 13


Ссылка


Дата регистрации на форуме:
7 июня 2009

hound написал:
[q]
Уважаемый Игорь, все верно - если текстов десяток. А если их 1000?
[/q]

Вы о чем сейчас?
Если о разных масштабах - то возвращаемся к моему первому комменту в этой ветке. Если о чем то еще - выражайтесь яснее.

---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок
hound
Гость

Ссылка

[q=Игорь Нежданов]Вы о чем сейчас?Если о разных масштабах - то возвращаемся к моему первому комменту в этой ветке. Если о чем то еще - выражайтесь яснее. [/q]
Вот в своем первом коменте в этой ветке (№18, верно?) Вы пишете о том, что определение тональности сообщенеия - не более чем рекламная уловка.
В связи с этим я попробую уточнить свой вопрос.
Мне приходилось заниматься составлением табличек "позитив-нейтрал-негатив". Ну то есть - выявить все тексты, прочитать их, соответственно определить тональность и составить табличку - столько-то позитив, столько-то нейтрально, столько-то негатив. Все это сделать легко, если текстов десяток.
Ну а если текстов, по которым надо составить указанную табличку, 1000? Вручную ведь очень много времени займет.
Поэтому мой вопрос к Вам - можно ли в этих целях использовать Айкубаз, разумеется, учитывая, что будет определенная, но не слишком большая погрешность, что позволит правильно определить общий тренд?
CI-KP
Администратор

Откуда: Екатеринбург
Всего сообщений: 5565
Рейтинг пользователя: 24


Ссылка


Дата регистрации на форуме:
15 мая 2009

Игорь Нежданов написал:
[q]
И делать это именно вручную, но никак не программно.
[/q]

Если автор важен - конечно, надо оценивать тональность вручную. Теоретически, возможно настроить словарь на конкретного автора так, чтобы автомат ловил изменения тональности. Но на практике, как мне кажется, это не имеет смысла, по двум причинам.

1. Значимый автор важен смыслом, а не тональностью. Это его смыслы потом задают тональность толпы - потому он и значимый.

2. Отдельно взятый автор не может нагенерировать такое количество текстов, что их имеет смысл анализировать автоматом.Исключение составляет, пожалуй, только анализ изменения тональности этого автора, скажем, лет за пять. Но это уже другая история - не та, которая обсуждается в топике.


Игорь Нежданов написал:
[q]
Поэтому не смотря ни на какие нюансы - не в состоянии машина понимать намеки, юмор, сарказм и прочие оттенки настроения человека, основываясь на его тексте.
[/q]

Не в состоянии. И человек далеко не всегда в состоянии. Т.е., тут можно согласиться с тем, что машина менее совершенна, чем человек, но только и человек не стопроцентно совершенен в оценке чужого чувства юмора - это также надо понимать.

Однако есть реперные слова, которыми можно оценивать изменения тональности отдельно взятого автора. Вот конкретный пример. Посильный машине быстрее, чем человеку. Я взял слово "маразм" в лексиконе депутата Волкова - того самого, которого в суде разгромил. Каждый пост, в котором это слово упоминалось, отмечал точкой на точечной диаграмме.
Взгляните - и Вы четко увидите момент, когда за оскорбления в Сети депутат впервые сходил к прокурору. Машина это сделала бы много быстрее меня.

Прикрепленный файл (Волков и сло, 58768 байт, скачан: 790 раз)
---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru
Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь.
Игорь Нежданов
Модератор форума
Прагматик
Откуда: Советский Союз
Всего сообщений: 1025
Рейтинг пользователя: 13


Ссылка


Дата регистрации на форуме:
7 июня 2009

hound написал:
[q]
Поэтому мой вопрос к Вам - можно ли в этих целях использовать Айкубаз, разумеется, учитывая, что будет определенная, но не слишком большая погрешность, что позволит правильно определить общий тренд?
[/q]

Нет - нельзя его использовать, по тому что всё равно нужно перечитывать -нет доверия результату, а значит выводы будут не просто не корректны, а будут просто обманом.


CI-KP написал:
[q]
Теоретически, возможно настроить словарь на конкретного автора так, чтобы автомат ловил изменения тональности.
[/q]

Вот именно - теоритечески. Чтобы понять - нужно попробовать один раз полноценно составить такой словарь. После этого станет понятно, что занятие бессмысленное.


CI-KP написал:
[q]
Игорь Нежданов написал:

[q]

Поэтому не смотря ни на какие нюансы - не в состоянии машина понимать намеки, юмор, сарказм и прочие оттенки настроения человека, основываясь на его тексте.
[/q]


Не в состоянии.
[/q]

Вот и договорились о главном.

---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок
<<Назад  Вперед>>Страницы: 1 2 3 4 5 6 7 ... 11 12 13 14 15 16
Печать
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Софт для конкурентной разведки »   IQBuzz (Айкубаз). Автоматизация мониторинга и анализа.
RSS

Последние RSS
Англоязычный интерфейс программы "Сайт Спутник"
Учебник по конкурентной разведке
Конкурентная разведка: маркетинг рисков и возможностей
Книга "История частной разведки США"
Книга "Нетворкинг для разведчиков"
Поиск и сбор информации в интернете в программе СайтСпутник
Новые видеоуроки по программе СайтСпутник для начинающих
Технологическая разведка
SiteSputnik. Мониторинг Телеграм
СайтСпутник: возврат к ранее установленной версии
SiteSputnik. Доступ к результатам работы из браузера
Анализ URL
Браузер для анонимной работы
Топливно-энергетический комплекс
Профессиональные сообщества СБ
Несколько Проектов в одном, выполнение Проектов по частям
SiteSputnik-Bot: Боты в программе СайтСпутник
К вопросу о телеграм
SiteSputnik: Автозамены до и после Рубрикации или Перевода
Демо-доступ к ИАС социальных сетей

Самые активные 20 тем RSS