Форум Сообщества Практиков Конкурентной разведки (СПКР) » Управление информационными потоками » Определение тональности в текстах |
<<Назад Вперед>> | Страницы: 1 2 3 4 5 6 7 8 | Печать |
Sergey
Долгожитель форума
Всего сообщений: 640 Рейтинг пользователя: 2 Ссылка Дата регистрации на форуме: 9 июня 2010 |
Профиль | Игнорировать
NEW! Сообщение отправлено: 24 августа 2012 9:43 Сообщение отредактировано: 27 августа 2012 15:36
Определение тональности программно уже поднималась на форуме. Некоторые определяют тональность текста в целом. В целом это абсурдно в принципе. Определение тональности имеет смысл в отношении некого объекта. Но, то ли мы получаем в итоге? Мы давно занимаемся этой проблемой и споры то утихают, то разгораются с новой силой. Например, фрагмент анализа: После долгой и тяжелой болезни Иванов ушел в долгожданный отпуск. Объект исследования: Иванов 1. Первый говорит: текст нейтральный в отношении объекта. Ни критики, ни рукоплесканий в адрес Иванова 2. Второй: нам дали информацию о тяжелой болезни Иванова. Вполне возможно, он неизлечимо болен т.к. болел долго. Вероятно, он вообще не сможет приступить к работе. Это негатив. 3. Третий. Иванов ушел в отпуск, значит выздоровел. Это позитив. Это простой случай. Гораздо сложнее отнести тональность текста в отношении объекта, если он упомянут в развернутом тексте в разный абзацах. Направленность множится, корреляция общего результата стремится в область бесконечного субъективизма. |
Ed
Модератор форума
Всего сообщений: 1782 Рейтинг пользователя: 28 Ссылка Дата регистрации на форуме: 7 июня 2009 |
3.1. Не факт, что выздоровел. Может - отмучился? Это позитив, или негатив? 4. Чем Иванов занимался на работе, будучи тяжелобольным продолжительное время? 4.1. Особые отношения Иванова с руководством? Трудовой инспекцией? |
lukamud
Долгожитель форума
Всего сообщений: 494 Рейтинг пользователя: 8 Ссылка Дата регистрации на форуме: 15 окт. 2010 |
Профиль | Игнорировать
NEW! Сообщение отправлено: 24 августа 2012 12:12 Сообщение отредактировано: 24 августа 2012 12:16 Sergey написал: Определение тональности программно уже поднималась на форуме. Есть такая штука латентно-семантический анализ, это когда каждому тексту присваивается ,в общем случае векторная величина характеризующая текст. Например, вектор содержащий, относительные частоты слов встречающихся в тексте. Этот метод дает отличные результаты. См. ниже. Sergey написал:
Позиция заказчика исследования, как уже отмечалась выше сильно зависит от отношений с Ивановым. Находим статьи про Иванова - хорошие, нейтральные и плохие, с точки зрения заказчика (именно заказчика, кто знает ему Иванов живой и здоровый нужен или он ждет не дождется когда Иванов отправится в мир иной ) , рассчитываем величины, характеризующие тексты и дальше рассчитываем расстояния от величины центра области с положительными, нейтральными, отрицательными статьями до величины характеризующей каждую из исследуемых статей. В зависимости от этих величин расскладываем статьи по каталогам, хорошие,нейтральные, плохие. Так примерно. Sergey написал:
Никаких проблем при использовании такого алгоритма. Мне удалось как-то удалось рассортировать статьи про водку. Что пишут про водку разных производителей, получилось разложить по папочкам, отделив происшествия связанные с употреблением этого напитка. Последнее закзчика не интересовало. ---
С уважением, Лука Мудищев - дворянин! |
Игорь Нежданов
Модератор форума
Прагматик Откуда: Советский Союз Всего сообщений: 1025 Рейтинг пользователя: 13 Ссылка Дата регистрации на форуме: 7 июня 2009 |
Sergey написал: Определение тональности программно уже поднималась на форуме. А по конкретнее вопрос задайте - что хотите узнать/услышать? ---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ... Лаборатория Перспективных Разработок |
Sergey
Долгожитель форума
Всего сообщений: 640 Рейтинг пользователя: 2 Ссылка Дата регистрации на форуме: 9 июня 2010 |
Профиль | Игнорировать
NEW! Сообщение отправлено: 24 августа 2012 13:43 Сообщение отредактировано: 27 августа 2012 12:30 Игорь Нежданов написал: У меня не вопрос, а попытка создать площадку для размышлений, обмена мнениями... Речь не о визуальном разборе человеком-аналитиком, а о программных методах, причем не соц. сетях, где сообщение короткое (хотя так же есть интересные моменты), а разборе в полноценных статьях. Конечно, рассматриваем СМИ, а не литературные произведение. |
Игорь Нежданов
Модератор форума
Прагматик Откуда: Советский Союз Всего сообщений: 1025 Рейтинг пользователя: 13 Ссылка Дата регистрации на форуме: 7 июня 2009 |
Sergey написал: У меня не вопрос, а попытка создать площадку для размышлений, обмена мнениями... Сейчас просто убегаю срочно, на все сообщения постараюсь ответить. А вообще-то речь не о визуальном разборе человеком-аналитиком, а о программынх методах. причем не соц. сетях, где сообщение короткое (хотя так же есть интересные моменты), а разборе в полноценных статьях. Конечно, рассматриваем СМИ, а не литературные произведение. Сложности работы с эмоциями в тексте связаны с многовариантностью языка. Ниже приведены наиболее часто встречающиеся «препятствия» на пути автоматизации выявления негатива в текстах. Сарказм, юмор, намеки — одно из самых сложных проявлений негатива. Пример: «Какая отличная у них служба поддержки, через четыре дня перезвонили». Или: «Прекрасное изделие – всё так удобно и практично, что начинаю задумываться – нужно оно мне али как». Неоднозначные негативные слова: их смысл зависит от того, в «окружении» какого находиться фраза. Например: «Какой прыжок, с ума сойти!» можно истолковать как негатив или позитив в зависимости от окружающего текста. «Какой прыжок, с ума сойти! Как всё красиво, как весело – обязательно повторю.» или «Какой прыжок, с ума сойти! Тот что в оранжевом костюме вряд ли захочет повторить, а того что в синем до сих пор ищут.» Сравнение — не прямой негатив, но вполне может иметь отрицательный окрас. Пример: «Я предпочитаю Андроид», что хорошо для Google, но не для MS или Apple. Смешение негатива и позитива или многомерные настроения: присутствие позитива и негатива в одном предложении (фразе). Пример: «Мне нравится астрономия, но меня раздражают слабые преподаватели». Будущий негатив: это связано с действиями, которые могут произойти в будущем, а могут и не произойти. Пример: клиент не раздражен в данный момент, но говорит, что будет недоволен, если приобретенный товар выйдет из строя через несколько месяцев. Разница в проявлении эмоций у разных народов: у разных национальностей проявление эмоций могут сильно различаться, поэтому такие тексты надо интепретировать с «поправкой на ветер». ---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ... Лаборатория Перспективных Разработок |
Sergey
Долгожитель форума
Всего сообщений: 640 Рейтинг пользователя: 2 Ссылка Дата регистрации на форуме: 9 июня 2010 |
Для: Игорь Нежданов Мы у себя пытаемся разделять тональность и эмоцию. Тональность, по отношению к объекту - это позитив/негатив/нейтрально (иногда еще включают - не определен). Эмоции: интерес, радость, гнев, презрение и т.д. Эмоции более многогранны и еще более затратны в определении, большими нюансами в точности т.е. еще более спорны в механическом определении. |
Sergey
Долгожитель форума
Всего сообщений: 640 Рейтинг пользователя: 2 Ссылка Дата регистрации на форуме: 9 июня 2010 |
Профиль | Игнорировать
NEW! Сообщение отправлено: 27 августа 2012 12:45 Сообщение отредактировано: 27 августа 2012 12:49 lukamud написал: латентно-семантический анализ Мы сейчас говорим не о выделении тематических раскладах текста, сравнением на основе отклонения косинуса вектора исследуемого текста, от вектора выборки. Метод, приведенный вами, кстати не точный. Очень ресурсоемкий. Если есть интерес, можем также обсудить. Речь сейчас о методах выделения тональности в отношении объекта. |
Sergey
Долгожитель форума
Всего сообщений: 640 Рейтинг пользователя: 2 Ссылка Дата регистрации на форуме: 9 июня 2010 |
Ed написал:
Вот-вот! Отмучался - для Иванова, скорее всего будет позитив. Для его врагов - позитив. Для его друзей - негатив. Механически, можно сложить то и другое - получить нейтрально. |
Искендер
Администратор
Всего сообщений: 5925 Рейтинг пользователя: 43 Ссылка Дата регистрации на форуме: 7 июня 2009 |
Sergey написал: Речь не о визуальном разборе человеком-аналитиком, а о программных методах, причем не соц. сетях, где сообщение короткое (хотя так же есть интересные моменты), а разборе в полноценных статьях. Сомнительно, чтобы программными средствами возможно было оценивать тональность таких сложных (как в приведенном примере с Ивановым) случаев. Поскольку, как справедливо отмечено выше, оценка зависит от позиции заказчика мониторинга. |
<<Назад Вперед>> | Страницы: 1 2 3 4 5 6 7 8 | Печать |
Форум Сообщества Практиков Конкурентной разведки (СПКР) » Управление информационными потоками » Определение тональности в текстах |
Самые активные 20 тем | |