Форум Сообщества Практиков Конкурентной разведки (СПКР)

Программа SiteSputnik: итоги развития за 2010 год.
Подробно здесь - sitesputnik.livejournal.com/1193.html

Да, ещё один итог 2010 года с перспективой на следующие годы - это начало работ не только со ссылками и сниппетами, но и с контентами ссылок.
Такая работа имеется в вариантах программы SiteSputnik Pro+News и SiteSputnik Pro+Contacts, вышедших в 2010 году.

Сделаю, на мой взгляд, важное уточнение для SiteSputnik Pro+News. Оно связано с понятием "Новость".

Под новостью понимается не только собственно новостной контент ссылки, берущейся из новостных источников, но и другие разновидности контента, берущиеся из других источников.
Примеры других разновидностей новостного контента:
- вакансии и анкеты предендентов с рекрутинговых сайтов,
- описание коммерческих предложений и лотов с досок объявлений и торговых площадок,
- объекты недвижимости с сайтов купли-продажи недвижимости,
- тому подобные ссылки из периодически обновляемых сайтов.

Программе не важно какой смысл контента, главное, что и "Новость" с Газета.ру, и "Вакансия" с Superjob.ru, и многие "Сообщения" из ЖЖ и форумов, ... удовлетворяют ограниченному количеству контекстно-зависимых условий и, соответственно, могут быть автоматически выделены из html-текста ссылки.

Многие, но не все, например, если брать выдачу с Яндекса, Google и некоторых других средств поиска, берущих информацию из огромного числа произвольных источников, то мы столкнемся с контестно-свободными условиями и, по моим оценкам, основанным на эксперименте, выделить новость (смысловой контент ссылки) удастся с разным успехом: бывает у 80%, бывает и только у 20% ссылок.
При выделении Новостей с тематических сайтов процент правильного выделения новости более, чем 90%.

Новость (очищенный от "мусора" смысловой контент ссылки) хороша тем, что с ней, в отличие от полного контента ссылки, можно продолжить работать с большим успехом.
Например, рационально применить Рубрикацию. Используя правило попадания новости в Рубрику, можно с очень хорошей точностью разбросать новости по темам и подтемам. Рубрики имеют древовидную структуру.
Ещё одно действие, которое уже умеет делать СайтСпутник, - это автоматическое формирование двух специальных списков:
1)"Ссылка-Правила" - для каждой ссылки, приводится перечень всех правил из всех рубрик, которым она удовлетворяет;
2)"Правило-Ссылки" - для каждого правила, приводится перечень всех ссылок, которые ему удовлетворяют.

В частности, первый список показывает выполнение (пересечение) на одной ссылке нескольких правил (логических условий), которым удовлетворяет ссылка.