Некорректная работа поисковиков для исключаемых слов

Форум Сообщества Практиков Конкурентной разведки (СПКР)

Конкурентная разведка, Бизнес-разведка, Корпоративная разведка,
Деловая разведка по открытым источникам в бизнесе.
Работаем строго в рамках закона.

Дезинформация и активные мероприятия в бизнесе
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Предложения по программе для допроса Интернета СайтСпутник »   Некорректная работа поисковиков для исключаемых слов
RSS

Некорректная работа поисковиков для исключаемых слов

Поисковики некорректно обрабатывают операнды исключения слов. И этот их "косяк" можно исправить СайтСпутником.

<<Назад  Вперед>>Страницы: 1 * 2 3
Печать
 
CI-KP
Администратор

Откуда: Екатеринбург
Всего сообщений: 5565
Рейтинг пользователя: 24


Ссылка


Дата регистрации на форуме:
15 мая 2009

tungus1973 написал:
[q]
Все поисковики настроены так, что исключают ВСЕ документы, если в них встречаются слова со знаком "-".
[/q]

Все же, не все. Яндекс, как раз, имеет возможность гибкой настройки - либо с помощью одинарной тильды, либо с помощью оператора расстояния межу словами.
Гугл - нет. Но в гугле расстояние между словами, все же, задавать можно - звездочкой.

---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru
Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь.
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 795
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009

CI-KP написал:
[q]
Яндекс, как раз, имеет возможность гибкой настройки - либо с помощью одинарной тильды, либо с помощью оператора расстояния межу словами.
Гугл - нет. Но в гугле расстояние между словами, все же, задавать можно - звездочкой.
[/q]
В приведённом мной примере эти настройки поисковиков не имеют значения. Оба поисковика исключают документ, если в нём есть хотя бы одна фраза, подпадающая под правило со знаком "-", и не обращают внимания на другие фразы, не имеющие слов со знаком "-".
Проблема особенно заметна на больших документах - типа аналитических дайджестов статей, газет в pdf-формате и т.п.

Поясню на примере. Допустим, нужно найти Льва Сергеевича Толстого (не писателя):

По запросу "Лев Сергеевич Толстой" получим релевантные результаты, но не все документы, относящиеся к Л.С. Толстому.

По запросу "Лев Толстой" получим много результатов, включающий разных Львов Толстых, например известного писателя-классика.

По запросу "Лев Толстой -Николаевич" получим более-менее релевантные результаты. Но! Тут нас ждёт фокус! :) Если в поисковике будет проиндексированный документ с фразой: "Лев Сергеевич Толстой, как и его знаменитый тёзка Лев Николаевич Толстой, начал писать рассказы с детства", то поисковик не покажет его нам, хотя документ релевантный! :wink:

Такой казус присущ не только поисковикам, но и большинству (если не всем) системам поисковика баз данных. Его можно обходить СайтСпутником, если немного расширить функционал. :smile:
Это как раз тот самый случай, когда СайтСпутник будет искать ещё точнее и лучше любого другого инструмента и становится ещё немного больше программой для профессионалов.
CI-KP
Администратор

Откуда: Екатеринбург
Всего сообщений: 5565
Рейтинг пользователя: 24


Ссылка


Дата регистрации на форуме:
15 мая 2009

tungus1973 написал:
[q]
В приведённом мной примере эти настройки поисковиков не имеют значения. Оба поисковика исключают документ, если в нём есть хотя бы одна фраза, подпадающая под правило со знаком "-", и не обращают внимания на другие фразы, не имеющие слов со знаком "-".
[/q]

Не буду спорить.
Просто,как мне кажется, если есть оператор, позволяющий избежать проблемы (и это не оператор минус, а оператор "включить/исключить слово в одном предложении" и "оператор расстояния между словами"), то не совсем верно использовать вместо него другой оператор - такой, который этого не позволяет делать, а потом обвинять в этом поисковик.
Ну, как опять же, мне кажется, любые инструменты всегда лучше использовать по их назначению - тогда результат лучше.
Я, собственно, так и стараюсь поступать в работе, но абсолютно не настаиваю, чтобы так делали все :)
Позиция "Я применяю вместо скальпеля лом и получаю плохой результат" - ну, не комильфо это, на мой взгляд.

---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru
Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь.
Sergey
Долгожитель форума

Всего сообщений: 640
Рейтинг пользователя: 2


Ссылка


Дата регистрации на форуме:
9 июня 2010
А еще лучше использовать свой поисковик, тогда нет вообще ограничений.
(не шутка и не стеб)
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 877
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

tungus1973 написал:
[q]
Например, операнд "---" уже есть в СайтСпутнике. Можно его использовать как команду "исключить всё" (случай 1 из старттопика), а операнд "~~~" как команду "не исключать, если в тексте также есть и другое словосочетание" (случай 2 из старттопика).
[/q]

Таких операндов нет в СайтСпутнике, и думаю, что и не будет. "Нестандартный" анализ контента будет осуществляться с помощью плагинов. Программное обеспечение, поддерживающее реализацию плагинов, практически завершено, но не декларировалось.

tungus1973 написал:
[q]
Возможно существует другой, более эффективный способ сделать это? Или можно применить другие операнды?
[/q]

Насколько я понял, речь идет о пост-запросе и рубрикации, так как такой результат чисто при помощи языков запросов поисковиков и анализа сниппетов не получишь.

Тогда логично не вводить новых конструкций, а усовершенствовать уже существую: расстояние между словами:
1)"приземлился самолёт" /7 Аэрофлот - есть слово "Аэрофлот" на расстоянии не более 7 пробелов (6 слов) от "приземлился самолёт". Это есть в СайтСпутнике.
2)"приземлился самолёт" /7 ~Аэрофлот - есть такой фрагмент в контенте ссылки, где нет слова "Аэрофлот" на расстоянии не более 7 пробелов (6 слов) от "приземлился самолёт". Этого нет в СайтСпутнике.

Сейчас пункт 2) можно решить, используя "сущности" (если я правильно понял Нежданова в личной переписке), следующим способом:
"приземлился самолёт" /7 (Авиакомпания №1 | Авиакомпания №2 | ... | Авиакомпания №Z), то есть, перечислить то что нужно, а не то что не нужно. Это в СайтСпутнике есть.

В скобках находится "сущность" - список всех Авиакомпаний. Из него выбрасывается Аэрофлот. "Сущность" может храниться в файле-вставке и подставляться в пост-запрос в виде файла, а именно: "приземлился самолёт" /7 ("Сущности\Авиакомпании.txt")

CI-KP
Администратор

Откуда: Екатеринбург
Всего сообщений: 5565
Рейтинг пользователя: 24


Ссылка


Дата регистрации на форуме:
15 мая 2009

Sergey написал:
[q]
А еще лучше использовать свой поисковик, тогда нет вообще ограничений.
(не шутка и не стеб)
[/q]

Но ведь ни один поисковик не в состоянии на сегодня всё проиндексировать и поэтому их пересечение не так уж велико.

Мне кажется, что если речь о просмотре поисковиком уже известных источников - то можно свой поисковик использовать, но если надо и неизвестные брать во внимание, то вряд ли свой поисковик адекватно справится с задачей.
Я правильно понимаю ситуацию?

---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru
Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь.
Sergey
Долгожитель форума

Всего сообщений: 640
Рейтинг пользователя: 2


Ссылка


Дата регистрации на форуме:
9 июня 2010

CI-KP написал:
[q]
[/q]

Вопрос очень не простой.
Дело в том, что есть независимые поисковики, про которые не пишут.
Там свои правила игры.
CI-KP
Администратор

Откуда: Екатеринбург
Всего сообщений: 5565
Рейтинг пользователя: 24


Ссылка


Дата регистрации на форуме:
15 мая 2009

Sergey написал:
[q]
Дело в том, что есть независимые поисковики, про которые не пишут.
Там свои правила игры.
[/q]


1. А независимые поисковики и "свой поисковик" - разве одно и то же?

2. Поисковики общего назначения - например, Яндекс, Гугл , Яху и Бинг чисто физически не в состоянии проиндексировать одно и то же. К "невидимому интернету" относится настолько бОльшая часть страниц, что поисковики не в состоянии побывать на всех них. На тех, которые популярны (имеют много внешних ссылок, по большому счету) - успевают побывать все. а дальше - как получится.
По этой причине, если нужен реально большой охват - приходится пользоваться множеством поисковиков. Таким образом, если вместо этого множества - которое все равно не все видит - использовать какой-то один поисковик, результат, теоретически, должен быть много меньше, чем при использовании разных поисковиков.
Собственно, вся работа СайтСпутника - живая иллюстрация этого явления: он убирает дубли и показывает уникальные адреса. Ему бы просто нечего было показывать, если бы существовал идеальный поисковик.

---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru
Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь.
Sergey
Долгожитель форума

Всего сообщений: 640
Рейтинг пользователя: 2


Ссылка


Дата регистрации на форуме:
9 июня 2010
Отвечу кратко.
А зачем индексировать информационный шум (белый шум). Есть ведь варинты....
(удалять дубли, это не уникум - это банальность, даже не интересно это обсуждать)
CI-KP
Администратор

Откуда: Екатеринбург
Всего сообщений: 5565
Рейтинг пользователя: 24


Ссылка


Дата регистрации на форуме:
15 мая 2009

Sergey написал:
[q]
А зачем индексировать информационный шум (белый шум). Есть ведь варинты....
[/q]

Какие есть варианты, когда на каком-нибудь Севастопольском форуме, впервые в жизни, и без всяких предвестников, появляется, например, разгон негативной статьи по объекту нашего интереса?
И как мы об этом можем узнать, если наш уникальный поисковик не знает о существовании этого форума? Т.е., наверное, узнаем - когда это будет перепечатано там, где мы смотрим. Но вот только это уже совсем не "раннее предупреждение".

Проведу аналогию, которая лично мне понятна. О бомбардировке можно узнать нескольктми способами:

1. По вылетанию окон от взрывной волны

2. По свисту падающей бомбы

3. По гулу бомбардировщика в небе над головой

4. По гулу бомбардировщика в акустических уловителях дальнего обнаружения

5. По отметке на радаре дальнего обнаружения

Каждый из способов работоспособен, но время на реагирование дает очень по-разному.

Я вижу такую ситуацию с поисковиками: когда известны адреса, которые надо мониторить - действительно, возможны разные варианты. СайтСпутник - как общедоступное решение, но без возможности настройки под каждого человека в отдельности или индивидуальный поисковик - с возможностью такой настройки (но и с необходимостью иметь своих программеров для него) - это как раз такие примеры.

Но когда надо иметь раннее предупреждение - это во многом бесполезные инструменты, если рассматривать их вне поисковиков общего характера. В то же время, язык запросов и сортировка по времени позволяют использовать поисковики общего характера для раннего предупреждения. Особенно, если не писать синтаксически неверных запросов, а делать это корректно..

---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru
Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь.
<<Назад  Вперед>>Страницы: 1 * 2 3
Печать
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Предложения по программе для допроса Интернета СайтСпутник »   Некорректная работа поисковиков для исключаемых слов
RSS

Последние RSS
Англоязычный интерфейс программы "Сайт Спутник"
Учебник по конкурентной разведке
Конкурентная разведка: маркетинг рисков и возможностей
Книга "История частной разведки США"
Книга "Нетворкинг для разведчиков"
Поиск и сбор информации в интернете в программе СайтСпутник
Новые видеоуроки по программе СайтСпутник для начинающих
Технологическая разведка
SiteSputnik. Мониторинг Телеграм
СайтСпутник: возврат к ранее установленной версии
SiteSputnik. Доступ к результатам работы из браузера
Анализ URL
Браузер для анонимной работы
Топливно-энергетический комплекс
Профессиональные сообщества СБ
Несколько Проектов в одном, выполнение Проектов по частям
SiteSputnik-Bot: Боты в программе СайтСпутник
К вопросу о телеграм
SiteSputnik: Автозамены до и после Рубрикации или Перевода
Демо-доступ к ИАС социальных сетей

Самые активные 20 тем RSS