Форум Сообщества Практиков Конкурентной разведки (СПКР)

Я намедни обнаружил "косяк" всех без исключения поисковиков. И пришла мне в голову идея, что этот "косяк" легко может обходить СайтСпутник. :)

Речь идёт об исключении статей. В поисковиках для этого используются операнды "-" и "~".
Все поисковики настроены так, что исключают ВСЕ документы, если в них встречаются слова со знаком "-". А ведь это не всегда правильно!


Допустим, мы сделали запрос в любом поисковике: "приземлился самолёт" -Аэрофлот , с целью найти все сообщения, когда речь идёт о приземлении самолёта, но не "Аэрофлота".

И допустим, в поисковике есть сообщение с таким содержанием:

----------------------
Вчера я видел, как приземлился самолёт Боинг. Это было великолепное зрелище! Точные и уверенные действия экипажа плавно посадили тяжёлую крылатую машину.
А вот сегодня я смотрел, как приземлился самолёт Аэрофлота. Машина три раза заходила на круг. Её качало из стороны в сторону. А перед касанием дорожки самолёт вообще "клюнул" носом.
----------------------

Так вот... По нашему запросу все поисковики выкинут этот документ из выдачи! Хотя он отвечает нашим требованиям релевантности, т.е. кроме самолёта Аэрофлота, в нём говорится и о самолёте Боинга.

Обойти это ограничение можно через СайтСпутник. Отталкиваясь от нашего примера, я мог бы собирать с поисковиков программой все статьи, в которых есть словосочетание "приземлился самолёт", а уже СайтСпутник выбирал бы, что именно оставить, а что - следует удалить.
Пользователю могут понадобиться 2 случая:
1) Удалить все статьи, в которых хотя бы раз в предложении встречается нужное словосочетание и слово "Аэрофлот".
2) Удалить статьи, где встречается только словосочетание вместе со словом "Аэрофлот", но оставить статьи, если кроме предложения с Аэрофлотом, встречается также предложение, в котором отсутствует слово "Аэрофлот".

То же самое будет справедливо и для рубрик.

В случае 1 приведённая статья НЕ попадёт в выдачу. В случае 2 статья попадёт в выдачу (например, в рубрику "Боинг")

Для управления выдачей, можно, например, использовать операнд "~~~", который ни в одном поисковике не встречается. Либо какой-то другой операнд.

Алексей Мыльников написал:

[q]

Сформулируйте, используя ~~~, запросы для обоих случаев.

[/q]

Например, операнд "---" уже есть в СайтСпутнике. Можно его использовать как команду "исключить всё" (случай 1 из старттопика), а операнд "~~~" как команду "не исключать, если в тексте также есть и другое словосочетание" (случай 2 из старттопика).

Возможно существует другой, более эффективный способ сделать это? Или можно применить другие операнды?

CI-KP написал:

[q]

Яндекс, как раз, имеет возможность гибкой настройки - либо с помощью одинарной тильды, либо с помощью оператора расстояния межу словами.
Гугл - нет. Но в гугле расстояние между словами, все же, задавать можно - звездочкой.

[/q]

В приведённом мной примере эти настройки поисковиков не имеют значения. Оба поисковика исключают документ, если в нём есть хотя бы одна фраза, подпадающая под правило со знаком "-", и не обращают внимания на другие фразы, не имеющие слов со знаком "-".
Проблема особенно заметна на больших документах - типа аналитических дайджестов статей, газет в pdf-формате и т.п.

Поясню на примере. Допустим, нужно найти Льва Сергеевича Толстого (не писателя):

По запросу "Лев Сергеевич Толстой" получим релевантные результаты, но не все документы, относящиеся к Л.С. Толстому.

По запросу "Лев Толстой" получим много результатов, включающий разных Львов Толстых, например известного писателя-классика.

По запросу "Лев Толстой -Николаевич" получим более-менее релевантные результаты. Но! Тут нас ждёт фокус! :) Если в поисковике будет проиндексированный документ с фразой: "Лев Сергеевич Толстой, как и его знаменитый тёзка Лев Николаевич Толстой, начал писать рассказы с детства", то поисковик не покажет его нам, хотя документ релевантный!

Такой казус присущ не только поисковикам, но и большинству (если не всем) системам поисковика баз данных. Его можно обходить СайтСпутником, если немного расширить функционал.
Это как раз тот самый случай, когда СайтСпутник будет искать ещё точнее и лучше любого другого инструмента и становится ещё немного больше программой для профессионалов.

А еще лучше использовать свой поисковик, тогда нет вообще ограничений.
(не шутка и не стеб)

Sergey написал:

[q]

А еще лучше использовать свой поисковик, тогда нет вообще ограничений.
(не шутка и не стеб)

[/q]

Но ведь ни один поисковик не в состоянии на сегодня всё проиндексировать и поэтому их пересечение не так уж велико.

Мне кажется, что если речь о просмотре поисковиком уже известных источников - то можно свой поисковик использовать, но если надо и неизвестные брать во внимание, то вряд ли свой поисковик адекватно справится с задачей.
Я правильно понимаю ситуацию?