Версия для печати
- Форум Сообщества Практиков Конкурентной разведки (СПКР) http://forum.razved.info/
-- Приемы работы с программой СайтСпутник (SiteSputnik) http://forum.razved.info//index.php?f=38
--- Site Sputnik для поиска лиц о которых пишут в сети... http://forum.razved.info//index.php?t=3371
-- lukamud написал 11 ноября 2012 18:13
Можно ли с помощью этой программы получать список лиц упоминаемых в некотором потоке новостей, сообщений соцсетей и т.п.
-- Игорь Нежданов написал 11 ноября 2012 18:36
lukamud написал:[q]
Можно ли с помощью этой программы получать список лиц упоминаемых в некотором потоке новостей, сообщений соцсетей и т.п. [/q]
С ходу не могу сказать как это реализовать. Но вот механизмы все в СайтСпутнике есть:
- собрать тексты новостей из определенных источников - это +News делает в СайтСпутнике;
- выбрать из собранных текстов лиц, что там упоминаются - это +Obdject делает (он предназначен для выявления связей объекта).
А вот как сработать это именно в такой последовательности нужно спросить у разработчика.
-- Алексей Мыльников написал 11 ноября 2012 21:55
Если это фиксированный список конкретных людей и фирм, то можно. При этом для каждого объекта будет подсчитано во сколько новостей он попал. Для этого нужно для каждого объекта создать Рубрику и прописать в ней, например: Дмитрий /2 Медведев. Смотрите картинку (это из моего чисто внутреннего тестового примера):
(http://sitesputnik.ru/Help/Pic/F/People.jpg)
Если же это общий вопрос: кто и сколько раз попал в поток новостей (какие Фамилия Имя Отчество, Имя Фамилия, Фамилия Имя, Фамилия, прозвища и другие способы дать имя человеку), тогда мне надо обеспечить вызов из +News модуль +Objects. Это сделать несложно. Намного труднее усовершенствовать модуль нахождения имён человека и определить что оно (имя) принадлежит одному человеку или разным (то что Сергей Васильевич Иванов в одной новости и Иванов Сергей в другой новости - это один и тот же человек или два разных человека). В настоящее время на таких новостных потоках будет очень много мусора. Этим заниматься буду , но сроки назвать пока затрудняюсь.
-- Игорь Нежданов написал 12 ноября 2012 10:40
Точно! - про такой вариант что-то и не подумал.
-- lukamud написал 13 ноября 2012 22:04
Для: Алексей Мыльников, спасибо за ответ. А наименования Юрлиц то же можно "выуживать" таким способом?
-- Алексей Мыльников написал 14 ноября 2012 11:37
lukamud написал:[q]
А наименования Юрлиц то же можно "выуживать" таким способом?[/q]
Да, можно.
Постараюсь найти время в ближайшие дни и сделаю попытку прикрутить Objects к News (сейчас к нему можно только из SiteSputnik Pro обращаться).
-- Игорь Нежданов написал 14 ноября 2012 17:34
Таким способом можно наблюдать хоть людей, хоть организации, хоть темы (в т.ч. и сложные).
-- Алексей Мыльников написал 16 ноября 2012 9:39
Дополнительная возможность нахождения упоминаний объектов (ЮЛ и ФЛ).
Реализована в SiteSputnik Objects 8.1.5 от 16.11.12.
Вызывается из контекстного меню на нижней таблице (см. красную галочку):
(http://sitesputnik.ru/Help/Pic/F/ObjectsFinder.jpg)
Можно искать объекты:
- в "Чистом потоке", то есть в новостях (в выдаче SiteSputnik News),
- в содержимом отдельных рубрик и "Всё по Рубрике",
- в любой открытой ссылке,
- в выдаче поисковиков или встроенных поисков.
На картинке фрагмент результата поиска объектов:
(http://sitesputnik.ru/Help/Pic/F/ObjectsResult.jpg)
Это второй вариант нахождения упоминаний объектов - не из фиксированного списка, а тех объектов, которые присутствуют в выдаче. В настоящей реализации работает только для русскоязычных текстов. С ЮЛ мусора практически нет, выделить ФЛ сложнее, соответственно, мусора побольше.
-- petryashov написал 16 ноября 2012 10:17
Запустил поиск по себе, посмотрел, работает в основной своей массе хорошо, но встречаются ошибки. Условно из можно разделить на несколько групп:
1. некорректное разделение на лиц, когда они идут списком:
Владимирович Янгорев Сергей;
Дмитрий Владимирович Рогачева;
Елена Юрьевна Семёркин
Иван Валерьевич Петряшов
2. Некорректно выделяется фамилия:
Дмитрий Владимирович Главный
Дмитрий Владимирович Инженер
Дмитрий Владимирович Пиарасы
Дмитрий Владимирович Статьи
3. При отсутствии отчества в упоминании добавляется третье слово:
Индастри» Петряшов Дмитрий
Благодарность Дмитрию Петряшову
4. Вместо ФИО выделяются другие слова:
Путина Википедия
Самарского Маркетингового Клуба
Электрик Индастри»
-- petryashov написал 16 ноября 2012 10:48
Алексей, и пара предложений по функционалу:
1. Можно ли сделать так, чтобы при нажатии на найденный объект открывался список новостей, в которых эти объекты найдены?
2. Можно ли сделать так, чтобы объекты выделялись не только по одному "прикрепленному файлу", но и по нескольким одновременно? Например, я ежедневно мониторю определенный круг новостей, потом запускаю поиск объектов во всем накопившемся архиве за месяц, а на выходе получаю табличку, в которой видно, сколько раз какой объект в течение месяца упоминался с разбивкой по дням
-- Алексей Мыльников написал 16 ноября 2012 11:04
Всё это прекрасно вижу и понимаю.
Обдумаю и втором подходе к объектам сделаю.
-- Семёныч написал 16 ноября 2012 16:58
petryashov написал:[q]
Дмитрий Владимирович Пиарасы [/q]
некорректность подтверждаю!
-- Алексей Мыльников написал 16 ноября 2012 17:46
Семёныч написал:[q]
[/q]
Вы предложите алгоритм распознавания ФИО, ИФ и ФИ, которые могут встретиться в текстах на великом и могучем русском языке. Можно алгоритм описать не в виде блок-схемы, а прямо на русском языке. Я его реализую и предоставлю возможность попользоваться.
-- Vinni написал 16 ноября 2012 21:56
Алексей Мыльников написал:[q]
Вы предложите алгоритм распознавания ФИО, ИФ и ФИ, которые могут встретиться в текстах на великом и могучем русском языке. Можно алгоритм описать не в виде блок-схемы, а прямо на русском языке. Я его реализую и предоставлю возможность попользоваться. [/q]
Так сначала надо понять, по какому алгоритму идет работа сейчас.
Судя по указанным ниже ошибкам:
petryashov написал:[q]
но встречаются ошибки. Условно из можно разделить на несколько групп:
1. некорректное разделение на лиц, когда они идут списком:
Владимирович Янгорев Сергей;
Дмитрий Владимирович Рогачева;
Елена Юрьевна Семёркин
Иван Валерьевич Петряшов
[/q]
игнорируются знаки препинания, разделяющие фио в списке
[q]
2. Некорректно выделяется фамилия:
Дмитрий Владимирович Главный
Дмитрий Владимирович Инженер
Дмитрий Владимирович Пиарасы
Дмитрий Владимирович Статьи
[/q]
игнорируются теги - нужно не просто их удалять, а заменять минимум на запятую или другой разделитель и учитывать его 
[q]
3. При отсутствии отчества в упоминании добавляется третье слово:
Индастри» Петряшов Дмитрий
Благодарность Дмитрию Петряшову
[/q]
похоже что нет анализа смежных слов на принадлежность именам и отчествам
[q]
4. Вместо ФИО выделяются другие слова:
Путина Википедия
Самарского Маркетингового Клуба
Электрик Индастри»[/q]
аналогично
-- Алексей Мыльников написал 19 ноября 2012 9:40
В версии 8.1.5.1 знаки препинания - учел, теги тоже.
Что касается списка имен (и отчеств) - это как бы белый список, то существует чёрный список. В новой версии обращение к черному списку доступно и из меню, которое приведено на картинке в сообщении #8 этой темы). Ранее он был доступен только с картинки, приведенной в другой теме про объекты на форуме, а именно: в сообщении - forum.razved.info/index.php?t=2970&p=31809#pp31809 красная стрелка показывает на панельку, на которой есть кнопка "-".
На мой взгляд, черный список предпочтительней по следующим причинам:
- белый список принесет мусора меньше, но и информации будет меньше (её потеря неизбежна - список имен, которые встречаются на ссылках, - это практически неисчерпаемый список), черный список принесет больше информации, но и мусора будет больше.
- если объекты ищутся на конкретных страницах, то вычистить лишнее проще через черный список.
- белый список в следующем подходе реализации объектов запланировано реализовать для наблюдения за конкретными объектами.
-- vlas написал 19 ноября 2012 15:03
Алексей Мыльников написал:[q]
Можно искать объекты:
- в "Чистом потоке", то есть в новостях (в выдаче SiteSputnik News),
- в содержимом отдельных рубрик и "Всё по Рубрике",
- в любой открытой ссылке,
- в выдаче поисковиков или встроенных поисков.[/q]
А можно ли "прикрутить" эту функцию для поиска во вложенных папках в папке "Поиск в Интернете" СайтСпутника версии Про?
Или вся эта красота прежде всего для SiteSputnik News?
-- Алексей Мыльников написал 19 ноября 2012 17:17
vlas написал:[q]
А можно ли "прикрутить" эту функцию для поиска во вложенных папках в папке "Поиск в Интернете" СайтСпутника версии Про?
Или вся эта красота прежде всего для SiteSputnik News? [/q]
Нужен +Objects.
-- vlas написал 21 ноября 2012 23:34
Алексей Мыльников написал:[q]
Нужен +Objects. [/q]
Спасибо, понял. Есть такой зверь.
НО, речь шла о том, чтобы можно было искать объекты во вложенных папках, а не только в файлах с результатами поиска: меня интересует конкретная фамилия и я хочу проверить есть ли она в моих результатах поиска (всех, что в Спутнике).
Как поступить?
Вероятно можно обучить Спутник "обойти" все файлы, которые находятся в строке "Объединение" всех поисков в папке, в которой запущена функция поиска Объектов, и сделать свое дело. А дальше - простым поиском по файлу.
А если еще реализовать и вот это:
petryashov написал:[q]
1. Можно ли сделать так, чтобы при нажатии на найденный объект открывался список новостей, в которых эти объекты найдены?
2. Можно ли сделать так, чтобы объекты выделялись не только по одному "прикрепленному файлу", но и по нескольким одновременно? Например, я ежедневно мониторю определенный круг новостей, потом запускаю поиск объектов во всем накопившемся архиве за месяц, а на выходе получаю табличку, в которой видно, сколько раз какой объект в течение месяца упоминался с разбивкой по дням [/q]
то, вероятно, и связи сразу можно смотреть...
-- Алексей Мыльников написал 22 ноября 2012 9:09
vlas написал:[q]
меня интересует конкретная фамилия и я хочу проверить есть ли она в моих результатах поиска (всех, что в Спутнике).
Как поступить?[/q]
Задействуйте Архивариус напрямую или подключите его к СайтСпутнику через его Web-интерфейс и ищите.
-- Vinni написал 22 ноября 2012 11:09
Алексей Мыльников написал:[q]
Задействуйте Архивариус [/q]
А еще есть Яндекс-Десктоп, который делает то же самое
-- vlas написал 22 ноября 2012 20:17
Алексей Мыльников написал:[q]
Задействуйте Архивариус напрямую или подключите его к СайтСпутнику через его Web-интерфейс и ищите.[/q]
Оно то так, вот только связи с другими объектами не посмотришь. Или я не умею...
(я в дополнение к Copernic Desktop Search Professional приобрел и Архивариус 3000. Вещь хорошая. Не хватает только статических адресов в выдаче веб-интерфейса Архивариуса - у каждого нового поиска новый адрес, что не позволяет делать аналитическое объединение средствами Спутника).
Vinni написал:[q]
А еще есть Яндекс-Десктоп, который делает то же самое [/q]
Спасибо за подсказку! Вероятно попробую, если найду где его скачать: видать как и Гугловская локальная искалка, Яндекс-Десктоп умер и больше разработчиком не распространяется...
-- Искендер написал 22 ноября 2012 20:28
vlas написал:[q]
если найду где его скачать[/q]
Яндекс-Десктоп 2.6.0 сборка 1036 (http://download.yandex.ru/desktop/YandexDesktopSetup.exe) (последняя сборка) .exe 4,5Mb
-- vlas написал 22 ноября 2012 22:02
Искендер написал:[q]
Яндекс-Десктоп 2.6.0 сборка 1036 (последняя сборка) .exe 4,5Mb [/q]
Спасибо!
Ссылка, - пример "невидимого интернета" :)
-- Искендер написал 22 ноября 2012 22:22
vlas написал:[q]
Спасибо! [/q]
Не за что.
vlas написал:[q]
Ссылка, - пример "невидимого интернета" :) [/q]
Хотелось бы надуть щеки, но - нет, вполне всё видимое. 
-- petryashov написал 23 ноября 2012 10:02
Алексей Мыльников написал:[q]
В версии 8.1.5.1 знаки препинания - учел, теги тоже. [/q]
Еще раз запустил поиск по себе. Запятые в списках действительно стали отрабатываться, и теперь результатов типа "Евгений Леонидович Петряшов" не приходит. Но все остальные типы ошибок остались без изменений, в том числе и "Руководитель Аналитического Отдела", "Пресс-релизы Сообщества Практиков", "Агентство Бизнес Информации" и прочее.
Насколько я понимаю, существующий алгоритм выделения фамилий, имен и обществ воспринимает как ФИО три подряд идущих слова, написанных с заглавных букв. Это чревато многочисленными ошибками
-- Vinni написал 23 ноября 2012 18:01
petryashov написал:[q]
воспринимает как ФИО три подряд идущих слова, написанных с заглавных букв. Это чревато многочисленными ошибками[/q]
А нельзя добавить проверку на падеж слова - для ФИО слова должны быть в именительном падеже
-- Ed написал 23 ноября 2012 19:50
Vinni написал:[q]
для ФИО слова должны быть в именительном падеже[/q]
Петренко, Долгих, Франко.. Элен Данте, Ку Инь Ли, Османзаде Сади Али оглы.. 
-- Vinni написал 24 ноября 2012 11:45
Ed написал:[q]
Петренко, Долгих,[/q]
Правильно - это же тоже упрощение. И либо надо будет вводить исключения из правила, либо усложнять модель 
Этот форум работает на скрипте Intellect Board
© 2004-2007, 4X_Pro, Объединенный Открытый Проект