Определение тональности в текстах

Форум Сообщества Практиков Конкурентной разведки (СПКР)

Конкурентная разведка, Бизнес-разведка, Корпоративная разведка,
Деловая разведка по открытым источникам в бизнесе.
Работаем строго в рамках закона.

Дезинформация и активные мероприятия в бизнесе
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Управление информационными потоками »   Определение тональности в текстах
RSS

Определение тональности в текстах

<<Назад  Вперед>>Страницы: 1 2 3 4 5 6 7 8
Печать
 
Sergey
Долгожитель форума

Всего сообщений: 640
Рейтинг пользователя: 2


Ссылка


Дата регистрации на форуме:
9 июня 2010
Определение тональности программно уже поднималась на форуме.
Некоторые определяют тональность текста в целом. В целом это абсурдно в принципе.
Определение тональности имеет смысл в отношении некого объекта.
Но, то ли мы получаем в итоге?
Мы давно занимаемся этой проблемой и споры то утихают, то разгораются с новой силой.
Например, фрагмент анализа:
После долгой и тяжелой болезни Иванов ушел в долгожданный отпуск.
Объект исследования: Иванов
1. Первый говорит: текст нейтральный в отношении объекта. Ни критики, ни рукоплесканий в адрес Иванова
2. Второй: нам дали информацию о тяжелой болезни Иванова. Вполне возможно, он неизлечимо болен т.к. болел долго. Вероятно, он вообще не сможет приступить к работе. Это негатив.
3. Третий. Иванов ушел в отпуск, значит выздоровел. Это позитив.

Это простой случай. Гораздо сложнее отнести тональность текста в отношении объекта, если он упомянут в развернутом тексте в разный абзацах. Направленность множится, корреляция общего результата стремится в область бесконечного субъективизма.
Ed
Модератор форума

Всего сообщений: 1782
Рейтинг пользователя: 28


Ссылка


Дата регистрации на форуме:
7 июня 2009
3.1. Не факт, что выздоровел. Может - отмучился? Это позитив, или негатив?

4. Чем Иванов занимался на работе, будучи тяжелобольным продолжительное время?
4.1. Особые отношения Иванова с руководством? Трудовой инспекцией?
lukamud
Долгожитель форума

Всего сообщений: 494
Рейтинг пользователя: 8


Ссылка


Дата регистрации на форуме:
15 окт. 2010

Sergey написал:
[q]
Определение тональности программно уже поднималась на форуме.
Некоторые определяю тональность текста в целом. В целом это абсурдно в принципе.
[/q]

Есть такая штука латентно-семантический анализ, это когда каждому тексту присваивается ,в общем случае векторная величина характеризующая текст. Например, вектор содержащий, относительные частоты слов встречающихся в тексте. Этот метод дает отличные результаты. См. ниже.

Sergey написал:
[q]

Определение тональности имеет смысл в отношении некого объекта.
Но, то ли мы получаем в итоге?
Мы давно занимаемся этой проблемой и споры то утихают, то разгораются с новой силой.
Например, фрагмент анализа:
После долгой и тяжелой болезни Иванов ушел в долгожданный отпуск.
Объект исследования: Иванов
1. Первый говорит: текст нейтральный в отношении объекта. Ни критики, ни рукоплесканий в адрес Иванова
2. Второй: нам дали информацию о тяжелой болезни Иванова. Вполне возможно, он неизлечимо болен т.к. болел долго. Вероятно, он вообще не сможет приступить к работе. Это негатив.
3. Третий. Иванов ушел в отпуск, значит выздоровел. Это позитив.
[/q]

Позиция заказчика исследования, как уже отмечалась выше сильно зависит от отношений с Ивановым. Находим статьи про Иванова - хорошие, нейтральные и плохие, с точки зрения заказчика (именно заказчика, кто знает ему Иванов живой и здоровый нужен или он ждет не дождется когда Иванов отправится в мир иной ) , рассчитываем величины, характеризующие тексты и дальше рассчитываем расстояния от величины центра области с положительными, нейтральными, отрицательными статьями до величины характеризующей каждую из исследуемых статей. В зависимости от этих величин расскладываем статьи по каталогам, хорошие,нейтральные, плохие. Так примерно.

Sergey написал:
[q]

Гораздо сложнее отнести тональность текста в отношении объекта, если он упомянут в развернутом тексте в разный абзацах. Направленность множится, корреляция общего результата стремится в область бесконечного субъективизма.
[/q]

Никаких проблем при использовании такого алгоритма. Мне удалось как-то удалось рассортировать статьи про водку. Что пишут про водку разных производителей, получилось разложить по папочкам, отделив происшествия связанные с употреблением этого напитка. Последнее закзчика не интересовало.

---
С уважением, Лука Мудищев - дворянин!
Игорь Нежданов
Модератор форума
Прагматик
Откуда: Советский Союз
Всего сообщений: 1025
Рейтинг пользователя: 13


Ссылка


Дата регистрации на форуме:
7 июня 2009

Sergey написал:
[q]
Определение тональности программно уже поднималась на форуме.
Некоторые определяю тональность текста в целом. В целом это абсурдно в принципе.
Определение тональности имеет смысл в отношении некого объекта.
Но, то ли мы получаем в итоге?
[/q]

А по конкретнее вопрос задайте - что хотите узнать/услышать?

---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок
Sergey
Долгожитель форума

Всего сообщений: 640
Рейтинг пользователя: 2


Ссылка


Дата регистрации на форуме:
9 июня 2010

Игорь Нежданов написал:
[q]
[/q]

У меня не вопрос, а попытка создать площадку для размышлений, обмена мнениями... Речь не о визуальном разборе человеком-аналитиком, а о программных методах, причем не соц. сетях, где сообщение короткое (хотя так же есть интересные моменты), а разборе в полноценных статьях. Конечно, рассматриваем СМИ, а не литературные произведение.
Игорь Нежданов
Модератор форума
Прагматик
Откуда: Советский Союз
Всего сообщений: 1025
Рейтинг пользователя: 13


Ссылка


Дата регистрации на форуме:
7 июня 2009

Sergey написал:
[q]
У меня не вопрос, а попытка создать площадку для размышлений, обмена мнениями... Сейчас просто убегаю срочно, на все сообщения постараюсь ответить. А вообще-то речь не о визуальном разборе человеком-аналитиком, а о программынх методах. причем не соц. сетях, где сообщение короткое (хотя так же есть интересные моменты), а разборе в полноценных статьях. Конечно, рассматриваем СМИ, а не литературные произведение.
[/q]


Сложности работы с эмоциями в тексте связаны с многовариантностью языка. Ниже приведены наиболее часто встречающиеся «препятствия» на пути автоматизации выявления негатива в текстах.

Сарказм, юмор, намеки — одно из самых сложных проявлений негатива. Пример: «Какая отличная у них служба поддержки, через четыре дня перезвонили». Или: «Прекрасное изделие – всё так удобно и практично, что начинаю задумываться – нужно оно мне али как».

Неоднозначные негативные слова: их смысл зависит от того, в «окружении» какого находиться фраза. Например: «Какой прыжок, с ума сойти!» можно истолковать как негатив или позитив в зависимости от окружающего текста. «Какой прыжок, с ума сойти! Как всё красиво, как весело – обязательно повторю.» или «Какой прыжок, с ума сойти! Тот что в оранжевом костюме вряд ли захочет повторить, а того что в синем до сих пор ищут.»

Сравнение — не прямой негатив, но вполне может иметь отрицательный окрас. Пример: «Я предпочитаю Андроид», что хорошо для Google, но не для MS или Apple.

Смешение негатива и позитива или многомерные настроения: присутствие позитива и негатива в одном предложении (фразе). Пример: «Мне нравится астрономия, но меня раздражают слабые преподаватели».

Будущий негатив: это связано с действиями, которые могут произойти в будущем, а могут и не произойти. Пример: клиент не раздражен в данный момент, но говорит, что будет недоволен, если приобретенный товар выйдет из строя через несколько месяцев.

Разница в проявлении эмоций у разных народов: у разных национальностей проявление эмоций могут сильно различаться, поэтому такие тексты надо интепретировать с «поправкой на ветер».

---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок
Sergey
Долгожитель форума

Всего сообщений: 640
Рейтинг пользователя: 2


Ссылка


Дата регистрации на форуме:
9 июня 2010
Для: Игорь Нежданов
Мы у себя пытаемся разделять тональность и эмоцию. Тональность, по отношению к объекту - это позитив/негатив/нейтрально (иногда еще включают - не определен). Эмоции: интерес, радость, гнев, презрение и т.д.
Эмоции более многогранны и еще более затратны в определении, большими нюансами в точности т.е. еще более спорны в механическом определении.
Sergey
Долгожитель форума

Всего сообщений: 640
Рейтинг пользователя: 2


Ссылка


Дата регистрации на форуме:
9 июня 2010

lukamud написал:
[q]
латентно-семантический анализ
[/q]

Мы сейчас говорим не о выделении тематических раскладах текста, сравнением на основе отклонения косинуса вектора исследуемого текста, от вектора выборки. Метод, приведенный вами, кстати не точный. Очень ресурсоемкий. Если есть интерес, можем также обсудить.
Речь сейчас о методах выделения тональности в отношении объекта.
Sergey
Долгожитель форума

Всего сообщений: 640
Рейтинг пользователя: 2


Ссылка


Дата регистрации на форуме:
9 июня 2010

Ed написал:
[q]

3.1. Не факт, что выздоровел. Может - отмучился? Это позитив, или негатив?
[/q]


Вот-вот!
Отмучался - для Иванова, скорее всего будет позитив.
Для его врагов - позитив.
Для его друзей - негатив.
Механически, можно сложить то и другое - получить нейтрально.
Искендер
Администратор

Всего сообщений: 5925
Рейтинг пользователя: 43


Ссылка


Дата регистрации на форуме:
7 июня 2009

Sergey написал:
[q]
Речь не о визуальном разборе человеком-аналитиком, а о программных методах, причем не соц. сетях, где сообщение короткое (хотя так же есть интересные моменты), а разборе в полноценных статьях.
[/q]

Сомнительно, чтобы программными средствами возможно было оценивать тональность таких сложных (как в приведенном примере с Ивановым) случаев. Поскольку, как справедливо отмечено выше, оценка зависит от позиции заказчика мониторинга.

---
I`m not a Spy! I can do much better!
Информационные войны "под ключ"
<<Назад  Вперед>>Страницы: 1 2 3 4 5 6 7 8
Печать
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Управление информационными потоками »   Определение тональности в текстах
RSS

Последние RSS
Англоязычный интерфейс программы "Сайт Спутник"
Учебник по конкурентной разведке
Конкурентная разведка: маркетинг рисков и возможностей
Книга "История частной разведки США"
Книга "Нетворкинг для разведчиков"
Поиск и сбор информации в интернете в программе СайтСпутник
Новые видеоуроки по программе СайтСпутник для начинающих
Технологическая разведка
SiteSputnik. Мониторинг Телеграм
СайтСпутник: возврат к ранее установленной версии
SiteSputnik. Доступ к результатам работы из браузера
Анализ URL
Браузер для анонимной работы
Топливно-энергетический комплекс
Профессиональные сообщества СБ
Несколько Проектов в одном, выполнение Проектов по частям
SiteSputnik-Bot: Боты в программе СайтСпутник
К вопросу о телеграм
SiteSputnik: Автозамены до и после Рубрикации или Перевода
Демо-доступ к ИАС социальных сетей

Самые активные 20 тем RSS