Форум Сообщества Практиков Конкурентной разведки (СПКР) » Управление информационными потоками » Определение тональности в текстах |
![]() |
<<Назад Вперед>> | Страницы: 1 * 2 3 4 5 6 7 8 | Печать |
lukamud
Долгожитель форума
Всего сообщений: 493 Рейтинг пользователя: 8 Ссылка Дата регистрации на форуме: 15 окт. 2010 |
Профиль | Игнорировать
NEW! Сообщение отправлено: 24 августа 2012 12:12 Сообщение отредактировано: 24 августа 2012 12:16 Sergey написал: Определение тональности программно уже поднималась на форуме. Есть такая штука латентно-семантический анализ, это когда каждому тексту присваивается ,в общем случае векторная величина характеризующая текст. Например, вектор содержащий, относительные частоты слов встречающихся в тексте. Этот метод дает отличные результаты. См. ниже. Sergey написал:
Позиция заказчика исследования, как уже отмечалась выше сильно зависит от отношений с Ивановым. Находим статьи про Иванова - хорошие, нейтральные и плохие, с точки зрения заказчика (именно заказчика, кто знает ему Иванов живой и здоровый нужен или он ждет не дождется когда Иванов отправится в мир иной ) , рассчитываем величины, характеризующие тексты и дальше рассчитываем расстояния от величины центра области с положительными, нейтральными, отрицательными статьями до величины характеризующей каждую из исследуемых статей. В зависимости от этих величин расскладываем статьи по каталогам, хорошие,нейтральные, плохие. Так примерно. Sergey написал:
Никаких проблем при использовании такого алгоритма. Мне удалось как-то удалось рассортировать статьи про водку. Что пишут про водку разных производителей, получилось разложить по папочкам, отделив происшествия связанные с употреблением этого напитка. Последнее закзчика не интересовало. ---
С уважением, Лука Мудищев - дворянин! |
Игорь Нежданов
Модератор форума
Прагматик Откуда: Советский Союз Всего сообщений: 1024 Рейтинг пользователя: 13 Ссылка Дата регистрации на форуме: 7 июня 2009 |
Sergey написал: Определение тональности программно уже поднималась на форуме. А по конкретнее вопрос задайте - что хотите узнать/услышать? ---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ... Лаборатория Перспективных Разработок |
Sergey
Долгожитель форума
Всего сообщений: 640 Рейтинг пользователя: 2 Ссылка Дата регистрации на форуме: 9 июня 2010 |
Профиль | Игнорировать
NEW! Сообщение отправлено: 24 августа 2012 13:43 Сообщение отредактировано: 27 августа 2012 12:30 Игорь Нежданов написал: У меня не вопрос, а попытка создать площадку для размышлений, обмена мнениями... Речь не о визуальном разборе человеком-аналитиком, а о программных методах, причем не соц. сетях, где сообщение короткое (хотя так же есть интересные моменты), а разборе в полноценных статьях. Конечно, рассматриваем СМИ, а не литературные произведение. |
Игорь Нежданов
Модератор форума
Прагматик Откуда: Советский Союз Всего сообщений: 1024 Рейтинг пользователя: 13 Ссылка Дата регистрации на форуме: 7 июня 2009 |
Sergey написал: У меня не вопрос, а попытка создать площадку для размышлений, обмена мнениями... Сейчас просто убегаю срочно, на все сообщения постараюсь ответить. А вообще-то речь не о визуальном разборе человеком-аналитиком, а о программынх методах. причем не соц. сетях, где сообщение короткое (хотя так же есть интересные моменты), а разборе в полноценных статьях. Конечно, рассматриваем СМИ, а не литературные произведение. Сложности работы с эмоциями в тексте связаны с многовариантностью языка. Ниже приведены наиболее часто встречающиеся «препятствия» на пути автоматизации выявления негатива в текстах. Сарказм, юмор, намеки — одно из самых сложных проявлений негатива. Пример: «Какая отличная у них служба поддержки, через четыре дня перезвонили». Или: «Прекрасное изделие – всё так удобно и практично, что начинаю задумываться – нужно оно мне али как». Неоднозначные негативные слова: их смысл зависит от того, в «окружении» какого находиться фраза. Например: «Какой прыжок, с ума сойти!» можно истолковать как негатив или позитив в зависимости от окружающего текста. «Какой прыжок, с ума сойти! Как всё красиво, как весело – обязательно повторю.» или «Какой прыжок, с ума сойти! Тот что в оранжевом костюме вряд ли захочет повторить, а того что в синем до сих пор ищут.» Сравнение — не прямой негатив, но вполне может иметь отрицательный окрас. Пример: «Я предпочитаю Андроид», что хорошо для Google, но не для MS или Apple. Смешение негатива и позитива или многомерные настроения: присутствие позитива и негатива в одном предложении (фразе). Пример: «Мне нравится астрономия, но меня раздражают слабые преподаватели». Будущий негатив: это связано с действиями, которые могут произойти в будущем, а могут и не произойти. Пример: клиент не раздражен в данный момент, но говорит, что будет недоволен, если приобретенный товар выйдет из строя через несколько месяцев. Разница в проявлении эмоций у разных народов: у разных национальностей проявление эмоций могут сильно различаться, поэтому такие тексты надо интепретировать с «поправкой на ветер». ---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ... Лаборатория Перспективных Разработок |
Sergey
Долгожитель форума
Всего сообщений: 640 Рейтинг пользователя: 2 Ссылка Дата регистрации на форуме: 9 июня 2010 |
Для: Игорь Нежданов Мы у себя пытаемся разделять тональность и эмоцию. Тональность, по отношению к объекту - это позитив/негатив/нейтрально (иногда еще включают - не определен). Эмоции: интерес, радость, гнев, презрение и т.д. Эмоции более многогранны и еще более затратны в определении, большими нюансами в точности т.е. еще более спорны в механическом определении. |
Sergey
Долгожитель форума
Всего сообщений: 640 Рейтинг пользователя: 2 Ссылка Дата регистрации на форуме: 9 июня 2010 |
Профиль | Игнорировать
NEW! Сообщение отправлено: 27 августа 2012 12:45 Сообщение отредактировано: 27 августа 2012 12:49 lukamud написал: латентно-семантический анализ Мы сейчас говорим не о выделении тематических раскладах текста, сравнением на основе отклонения косинуса вектора исследуемого текста, от вектора выборки. Метод, приведенный вами, кстати не точный. Очень ресурсоемкий. Если есть интерес, можем также обсудить. Речь сейчас о методах выделения тональности в отношении объекта. |
Sergey
Долгожитель форума
Всего сообщений: 640 Рейтинг пользователя: 2 Ссылка Дата регистрации на форуме: 9 июня 2010 |
Ed написал:
Вот-вот! Отмучался - для Иванова, скорее всего будет позитив. Для его врагов - позитив. Для его друзей - негатив. Механически, можно сложить то и другое - получить нейтрально. |
Искендер
Администратор
Всего сообщений: 5913 Рейтинг пользователя: 43 Ссылка Дата регистрации на форуме: 7 июня 2009 |
Sergey написал: Речь не о визуальном разборе человеком-аналитиком, а о программных методах, причем не соц. сетях, где сообщение короткое (хотя так же есть интересные моменты), а разборе в полноценных статьях. Сомнительно, чтобы программными средствами возможно было оценивать тональность таких сложных (как в приведенном примере с Ивановым) случаев. Поскольку, как справедливо отмечено выше, оценка зависит от позиции заказчика мониторинга. |
Sergey
Долгожитель форума
Всего сообщений: 640 Рейтинг пользователя: 2 Ссылка Дата регистрации на форуме: 9 июня 2010 |
Профиль | Игнорировать
NEW! Сообщение отправлено: 27 августа 2012 13:59 Сообщение отредактировано: 27 августа 2012 14:04 Искендер написал:
Согласен с вами. Пример приведен намеренно показательный. В реальности есть и проще, есть и сложнее. Пример для "затравки", чтобы показать существующую неопределенность. А вот с "позицией заказчика" для алгоритмов - вообще труба. Конечно, можно формулировать задачу как: нахождение тональности объекта "А", относительно интересов объекта "Б". Но, "Б" в анализируемом тексте может не быть, может присутствовать косвенно. И, даже если и будет, то выстроить цепочку взаимосвязей между ними с большой вероятность достоверно будет невозможно. |
Искендер
Администратор
Всего сообщений: 5913 Рейтинг пользователя: 43 Ссылка Дата регистрации на форуме: 7 июня 2009 |
Профиль | Игнорировать
NEW! Сообщение отправлено: 27 августа 2012 14:08 Сообщение отредактировано: 27 августа 2012 14:08 Sergey написал: А вот с "позицией заказчика" для алгоритмов - вообще труба. Оценивать эмоциональность с точки зрения эмоциональности - это, пожалуй, только человек может. Да и то - не каждый. |
<<Назад Вперед>> | Страницы: 1 * 2 3 4 5 6 7 8 | Печать |
Форум Сообщества Практиков Конкурентной разведки (СПКР) » Управление информационными потоками » Определение тональности в текстах |
![]() |
Самые активные 20 тем |
![]() |