Форум Сообщества Практиков Конкурентной разведки (СПКР)

Да-да-да! Дайте две! Совсем, вот, недавно - мало того, что объект персонаж медийный, да еще и с распространенными ФИО. Почти 4 тысячи ссылок! Думал - глаза выпадут! Алексей! Не дайте зрения лишиться!

Искендер написал:

[q]

ало того, что объект персонаж медийный, да еще и с распространенными ФИО. Почти 4 тысячи ссылок! Думал - глаза выпадут! Алексей! Не дайте зрения лишиться!

[/q]

А нефиг мониторить Сергея Безрукова. Мониторь Эммануила Папандопуло - и тебе не понадобятся никакие приблуды в СайтСпутник

CI-KP написал:

[q]

Искендер написал:

[q]

ало того, что объект персонаж медийный, да еще и с распространенными ФИО. Почти 4 тысячи ссылок! Думал - глаза выпадут! Алексей! Не дайте зрения лишиться!

[/q]

А нефиг мониторить Сергея Безрукова. Мониторь Эммануила Папандопуло - и тебе не понадобятся никакие приблуды в СайтСпутник

[/q]

Что делать - не фанат я Папандопуло...

Alexei Mylnikov написал:

[q]

Их можно руками выделить следующим образом.

[/q]

Руками - это долго. Взять, к примеру, задачу Искендера - 4000 ссылок! Вручную особо не наотмечаешься...

А, в принципе, насколько сложно автоматизировать эту функцию?

Как заметил ув. CI-KP

[q]

Ежели оно что-то с чем-то складывает, то и вычесть может это же самое без проблем.

[/q]

Наверняка он прав.

Alexei Mylnikov написал:

[q]

По-моему, это надумано.

[/q]

Не. Ну, если уже двое ПРАКТИКОВ говорят, что надо, то наверное таки надо.

Петряшову.

Озвученная Вами в утвердительной форме моя позиция о программере и ламерах является ошибочной. Я так не думаю.
По поводу пару раз заданного безответного вопроса, отвечаю: "Нет, не полагаю, что форумчане хотят подкинуть никому не нужную работу".
По поводу юзанья программой за свои деньги и бесплатных советов. Здесь мы наравных. Вы ее приобрели больше года назад. За это время в программу были добавлены новые функции, поставляемые и сопровождаемые совершенно бесплато.

По существу.
Недавно овладев операцией "Аналитическое объединение", Вы посчитали, что "Взятие разности" тоже весьма полезно на практике. Я считаю, что теоретически все отлично, плюс можно попиариться, но практического широкого применения не вижу, более того, пытался применять "Взятие разности" - не получал эффективных результатов.
Как только у Вас возникнет конкретный "несекретный" пример (или пример можно придумать), в котором требуется применить "Взятие разности", то выложите его здесь. Мы его выполним и оценим результаты. Если результаты будут плохими, поищем другой пример.

К сожалению, не все проходит гладко на практике. Например, (для этого специально только-что выложил версию 6.2.1.5, в которой приоткрыл более автоматизированный способ вычисления связей ФЛ и связей ЮЛ: "Подменю золотого ключика" - "Ассемблер" - "Связи объектов" - ... Внешне все выглядит привлекательно: вводятся анкетные данные ФЛ или ЮЛ и всё, - но практические примеры приносят слабоватые результаты (над анкетой можно еще, конечно, поработать). Применение ассемблера на пакетах tungus1973 значительно эффективнее. Повторюсь - это не готовая функция, а ее экспериментальный вариант. Возможно, в дальнейшем она будет удалена.

tungus1973 написал:

[q]

Да, я соберу значительно меньше данных

[/q]

tungus1973 написал:

[q]

мы вновь приближаемся к принципу "Найти всё и с гарантией!"

[/q]

Явное противоречие. Много информации будет потеряно.

tungus1973 написал:

[q]

Можем рассмотреть такой пример.
Объект интереса: Николай Андреевич Карамзин, житель Екатеринбурга, 30 лет.
Поиск в Яндексе по полным фамилии, имени и отчеству выдал 39 страниц, на которых упоминается этот человек.
Задача: Найти странички, на которых этот гражданин упоминается в сочетаниях - Николай Карамзин или Карамзин Николай (т.е. без отчества).

[/q]

Какие проекты (пакеты) Вы составите? Что из чего будете вычитать?
Судя по первому топику этой темы, Вам достаточно вычитания на двух проектах - если что, то каждый из них может быть получен путем АО из нескольких проектов.

Я согласен с уважаемым tungus1973. То, что он описывает - значительно может облегчить поиск. Точнее - фильтрацию результатов. Возьмем, к примеру, губернатора Ненецкого автономного округа Игоря Федорова. Пример абсолютно с потолка, если что, и взят именно из-за распространенной фамилии и очень частого упоминания его имени в Интернете. Губер, все же, медийная персона. Если искать информацию о нем по полному ФИО - "Федоров Игорь Геннадьевич" - выборка будет довольно точной, но очень многое, где он упоминается только по ФИ - "Игорь Федоров" - в выдачу не попадет. Искать по ФИ - завалит "мусорными" ссылками. Для сравнения - по ФИО Гугл выдает 291 000 ссылок, а по ФИ - 1 350 000! Но, где-то среди этой разницы (1 350 000 - 291 000) - есть и полезная нам информация. Но как ее "достать"? Просмотреть весь массив? Понятно - там хватает дублей, их СС удалит, но и без них объем будет ого-го! Через "АВ" мы, действительно, могли бы (пошагово, к примеру, или пакетом) убрать "Сергеевичей", "Михайловичей", "Владимировичей", "Петровичей" и прочих не нужных нам Игорей Федоровых.

Alexei Mylnikov написал:

[q]

Искендер написал:

[q]

Через "АВ" мы, действительно, могли бы (пошагово, к примеру, или пакетом) убрать "Сергеевичей", "Михайловичей", "Владимировичей", "Петровичей" и прочих не нужных нам Игорей Федоровых.

[/q]

Да, согласен: это способ убрать из выдачи некоторые заведомо ненужные страницы, причем делать это можно "долго" и "упорно", чего на чистом Гугле не сделаешь, то есть можно добиться более точного результата. Сделать ее реально.Еще где-нибуть АВ может быть полезно?

[/q]

Думаю, что похожий пример смог бы привести уважаемый Дмитрий Петряшов. По какой-то товарной номенклатуре.

petryashov написал:

[q]

И кстати, Алексей, можно ли сделать некой черный список тех сайтов, которые СайтСпутник должен обходить стороной? Например, выкинуть все или некоторые грузинские сайты или все или часть музыкальных сайтов, содержащих информацию о Мишеле Легране?

[/q]

Своих фильтров над сниппетами в СайтСпутнике пока нет.

Замечание от 28.10.10.
В настоящее время уже есть. Смотрите на форуме здесь - forum.razved.info/index.php?t=1007

Снова возвращаюсь к теме "Аналитического вычитания".

Один из коллег СПКР попросил помочь в сборе информации.
Уже сейчас из задания ясно, что придется выполнять поиск в несколько этапов. Значит, одни и те же ссылки будут попадаться несколько раз. Хотелось бы облегчить задачу.

Вопрос к Alexei Mylnikov: можно в сделать в СайтСпутнике универсальный механизм "АО" "АВ"? Например, так.

Выполняем несколько поисковых пакетов, которые в СайтСпутнике записываются под универсальными системными номерами (эти номера уже сейчас автоматически присваиваются каждому новому запросу):

1. ....
2. ....
3. ....
4. АО 3-(1+2)

Четвертая строка - аналитическая операция над ссылками, собранными в пунктах 1, 2, 3. В данном случае обозначает, что нужно выполнить "Аналитическое объединение" над ссылками, собранными по строкам 1 и 2. Затем вычесть полученное из ссылок, собранных по строке 3.
Запись в строке 4 могла бы выглядеть и так "АО 3-1-2". Это не принципиально. Просто хотелось показать, что теоретически к таким записям можно было бы применять скобки как в математике.

Возможно ли реализовать этот способ?

В версии SiteSputnik 6.4.6 от 28.10.10 появилась обсуждаемая в данной теме операция.

Она получила название "Взятие разности", а не "Аналитическое вычитание", по следующим причинам.
1. Не вижу в этой операции аналитики, в отличии от "Аналитического объединения".
2. Операция "Взятие разности" имеется в теории множеств и полностью совпадает с тем, что сделано в SiteSputnik(е),

а именно, из МНОЖЕСТВА ссылок, найденных запросом А, она удаляет МНОЖЕСТВО ссылок, найденных запросом Б.
Другими словами, из запроса А, удаляются ссылки, найденные в запросе Б.
Под запросом здесь понимается любое поисковое задание, начиная от простого запроса и заканчивая очень сложным поисковым заданием, составленным при помощи ассемблера или пакетов запросов.

Качественно, "Взятие разности" похоже на ~~ в Яндеске и - в Гугле:
получив при помощи мощного поискового задания множество "не очень релевантных" ссылок, затем можно "выбивать" из него нерелевантные ссылки при помощи других запросов. Выше приводились примеры задач, в которых это может пригодиться.

Как прописать "Взятие разности".
1. Поставьте знак + в колонке "Вкл." для "Уменьшаемое".
2. Поставьте знак - в колонке "Вкл." для "Вычитаемого".
3. В подменю "Глобуса с линзой" выбираете: "Групповые операции поиска - Взятие разности".



Уменьшаемое - это то множество ссылок, из которого удаляем ссылки.
Вычитаемое - это те ссылки, которые удаляем из Уменьшаемого.
Разность - это оставшиеся ссылки.

Уменьшаемым и вычитаемым могут быть не только результаты поиска, но и само "Взятие разности" и "Аналитическое объединение".
"Взятие разности" к любому Уменьшаемому можно рекурсивно применить любое количество раз.

P.S.
Можно будет в будущем "наделать" много плюсиков и много минусиков (это уже не проблема), если "Взятие разности" будет достаточно хорошо востребовано.
Также можно будет создавать для контроля список "Удаленные ссылки" и так далее...

Спасибо, Алексей!

Похоже, мне "Взятие разности" нравиться больше, чем "Аналитическое объединение". Субъективное мнение.

Alexei Mylnikov написал:

[q]

1. Поставьте знак + в колонке "Вкл." для "Уменьшаемое".

[/q]

В моей версии программы нет колонки "Вкл.", знаки "+" и "-" я проставляю в колонке "Обновить".

Алексей Борисович, а можно в этой колонке ставить сразу несколько знаков "+" и несколько знаков "-"? Можно ли использовать скобки "(" и ")"?

"Взятие разности" реально пригодилось и мне. Описываю подробнее.
Я ежесуточно тестирую СайтСпутник, запуская из Планировшика задачу из 20 заданий, одно из которых выдает мне список новых страниц, с которых за прошедшие сутки сослались на два моих ресурса: sitesputnik.ru и ab.vlink.ru. Для этого использовался следующий пакет запросов:

link:http://sitesputnik.ru/ -site:sitesputnik.ru || Yahoo=100
link:http://sitesputnik.ru/ -site:sitesputnik.ru || ПС->Altavista=100
link:http://www.sitesputnik.ru/ -site:www.sitesputnik.ru || Yahoo=100
link:http://www.sitesputnik.ru/ -site:www.sitesputnik.ru || ПС->Altavista=100
link="http://sitesputnik.ru/" || Yandex.Блоги=100
link:sitesputnik.ru || Google.Блоги=100
link="http://www.sitesputnik.ru/" || Yandex.Блоги=100
link:www.sitesputnik.ru || Google.Блоги=100
link:http://ab.vlink.ru/ -site:ab.vlink.ru || Yahoo=100
link:http://ab.vlink.ru/ -site:ab.vlink.ru || ПС->Altavista=100
link:http://www.ab.vlink.ru/ -site:www.ab.vlink.ru || Yahoo=100
link:http://www.ab.vlink.ru/ -site:www.ab.vlink.ru || ПС->Altavista=100
link="http://ab.vlink.ru/" || Yandex.Блоги=100
link:ab.vlink.ru || Google.Блоги=100
link="http://www.ab.vlink.ru/" || Yandex.Блоги=100
link:www.ab.vlink.ru || Google.Блоги=100


Недели две Yahoo (а АльтаВиста уже очень давно) перестал правильно выполнять свою работу:
link:http://sitesputnik.ru/ - работает правильно,
site:sitesputnik.ru - работает правильно, а
link:http://sitesputnik.ru/ -site:sitesputnik.ru - работает неправильно, точнее вообще не приносит ни одной ссылки.

Четыре дня назад я написал в Yahoo о найденной ошибке, но конструкция так и не работает.

Для того, чтобы получить список нужных мне страниц, я выполнил два пакета:

link:http://sitesputnik.ru/ || Yahoo=100
link:http://sitesputnik.ru/ || ПС->Altavista=100
link:http://www.sitesputnik.ru/ || Yahoo=100
link:http://www.sitesputnik.ru/ || ПС->Altavista=100
link="http://sitesputnik.ru/" || Yandex.Блоги=100
link:sitesputnik.ru || Google.Блоги=100
link="http://www.sitesputnik.ru/" || Yandex.Блоги=100
link:www.sitesputnik.ru || Google.Блоги=100
link:http://ab.vlink.ru/ || Yahoo=100
link:http://ab.vlink.ru/ || ПС->Altavista=100
link:http://www.ab.vlink.ru/ || Yahoo=100
link:http://www.ab.vlink.ru/ || ПС->Altavista=100
link="http://ab.vlink.ru/" || Yandex.Блоги=100
link:ab.vlink.ru || Google.Блоги=100
link="http://www.ab.vlink.ru/" || Yandex.Блоги=100
link:www.ab.vlink.ru || Google.Блоги=100

и

site:sitesputnik.ru || Yahoo=100
site:sitesputnik.ru || ПС->Altavista=100
site:www.sitesputnik.ru || Yahoo=100
site:www.sitesputnik.ru || ПС->Altavista=100
site:ab.vlink.ru || Yahoo=100
site:ab.vlink.ru || ПС->Altavista=100
site:www.ab.vlink.ru || Yahoo=100
site:www.ab.vlink.ru || ПС->Altavista=100


Затем из первого результата, вычил второй (вместо 2-го пакета можно было построить две карты сайта и вычесть их из первого пакета) и получил то, что искал в чистом виде.

Далее ежедневно выполняю только первый пакет и смотрю список "Новые". Принадлежащих sitesputnik.ru и ab.vlink.ru страниц в нем не будет. Будут только появившиеся за прошедшие сутки новые страницы, содержащие ссылку на один из моих сайтов.