Форум Сообщества Практиков Конкурентной разведки (СПКР)

Да, и еще один момент.

Решение Игоря целенаправленно исключить короткие тексты из анализа я, в контексте рассматриваемой задачи, расцениваю исключительно как попытку подтасовки результатов.
Если я неправ, то пусть мне кто-нибудь объяснит - в чем может заключаться практическая ценность расширения поиска эмоции в тексте на 20 слов, а то и больше - учитывая, что там множество объектов и эмоция может относиться к любому из них. Моя практика не позволяет мне этого понять, но, возможно, у кого-то есть иная практика.

Почему я предположил (возможно, ошибочно), что Игорь занимался подтасовкой? Дело в том, что когда нас интересует массовка - а я неустанно говорю именно об этой ситуации, т.к. именно эта ситуация без машины не решаема - Твиттер, комментарии и форумы играют довольно большую роль.
Именно Твиттер и комментарии - жанры краткие, но часто содержащие эмоции.

Исключение Твиттера и комментариев из оценки - это уже не количественное, а качественное искажение информационного поля, когда речь идет об анализе массовки.

Сделанное Игорем искусственное расширение контекста на 20 слов под лозунгом анализа только длинных текстов - это заведомое зашумление пространства.

Но, как оказалось, настройка Айкубаза позволяет решить даже эту проблему и даже на больших текстах - уменьшив в настройках дистанцию между объектом и "эмоцией". В случае с Путиным - до двух слов.

На менее обсуждаемых, чем Путин, объектах такое уменьшение может и не понадобиться. Скажем, малоизвестный еще вчера объект, который вдруг оказывается в центре внимания, причем на негативе - вряд ли нуждается в такой корректировке.

Кстати, нашел другую интересную (и которая будет показывать более хорошие результаты, чем Айкубазз, так как модель более серьезная ) реализацию определения тональности в "Аналитическом курьере"- тест компонента и описание модели определения тональности

Vinni написал:

[q]

Видимо тональность текста вообще - это его эмоциональная окрашенность в-целом безотносительно отношения субъекта к объекту
Для КР понятное дело важнее отношение субъекта тональности к объекту тональности.

[/q]

Вот и я считаю, что для практических целей (а иные мною не рассматриваются в данном случае) нужно отношение к объекту. А потому исследования "сферического коня в вакууме", на мой взгляд. надо оставить теоретикам и сосредоточиться на практике.


Vinni написал:

[q]

Как минимум на эту статью надо сослаться

[/q]

Я так не считаю. Все по той же причине: практикам нужен инструмент. Покупая молоток, никто ведь обычно не просит приложить к нему справочник по материаловедению и курсовую по сопромату.

Но если Айкубаз или иные системы будут кем-то использоваться в теоретических изысканиях - я не сомневаюсь, что там в списке литературы будет и эта статья, и еще десятка три других статей и монографий. Но это уже не наш вопрос.


Vinni написал:

[q]

даже специалисты КР могут ошибаться при составлении запросов, что влияет на эффективность оценки тональности.

[/q]

Ошибаться может кто угодно - это нормально.
О важности правильного составления запроса я написал. Написал кратко. В принципе, практически все подобные сервисы обычно помогают клиенту составить запрос. Некоторые даже за него пытаются это делать - что, на мой взгляд, неправильно, т.к. хорошее знание синтаксиса запросов не более важно, чем понимание задачи, без которой невозможно оценить результат.
Поэтому подучиться пользованию сервисом, конечно, надо каждому.


Vinni написал:

[q]

Я бы поэтому еще кратко описал бы типовые ошибки при составлении запросов и требования к правильным запросам

[/q]

Мне кажется, это бесполезно. Проще допускать до системы тех, кто хотя бы по минимуму понимает что такое булева алгебра, потом дать им получить некий результат, а уже потом - проверить их запрос. Тогда именно их ошибка будет исправлена. Это всем сэкономит массу времени.

Я на это насмотрелся при обучении поиску - там каждые делает примерно одну-две из 20 типовых ошибок, но у каждого это свои одна-две ошибки. пока он их не сделает и ему их не исправят - не научится. Именно по этой причине, обучение поиску по книгам не дает такого результата, как очная кратковременная учеба.

И отдельное спасибо за ценные подсказки, ув. Vinni

По-хорошему, уже пора делать сравнительный анализ таких систем
Предлагаю включить в него как минимум раздел про технологии тональности и следующие параметры в нем
-технология определения тональности
-процент правльного определения тональности при настройках по умолчанию
-параметры, которыми можно управлять
-начальный объем словарей позитива и негатива
-требования к запросу
-типы отчетов с указанием тональности

CI-KP написал:

[q]

А устраивать скрупулезные замеры, да еще с научным описанием

[/q]

Почему бы такие вещи не делать самим производителям продукта? Вспомните, сколько раз на форуме появлялся тот или иной разработчик софта. Дабы показать, что его продукт стоящий, его просили дать сравнительный анализ своего продукта с аналогами. Некоторые это демонстрировали. Я понимаю, что частный разработчик и целая компания - вещи разные (и по амбициям, и по принципам продвижения продукта, и прочее), но не могу поверить, что такие компании в тихаря "не меряются между собой пиписьками". А вот публиковать такие замеры - бздят. Нечем похвастаться? Вряд ли. У каждого продукта будут свои достоинства и недостатки. Типа, для разной рыбалки нужны разные удочки. Ну, так есть среди этих "пирожков" хоть один с яйцами, или все только с капустой?