Форум Сообщества Практиков Конкурентной разведки (СПКР)

Alexei Mylnikov написал:

[q]

А если действоать по принципу золотой середины, то думаю надо сделать так.
1. Первичный поиск.
2. Выбираются несколько сайтов на вторичный поиск.
3. Запускается робот на выполнение вторичного поиска по выбранным сайтам.

[/q]

Принято в отношении "Неприятности №2" ("Аналитическое объединение"). Не автомат, конечно, но работать можно.

А как быть с "Неприятностью 1" (пропуск важной информации в сгруппированных ссылках) и "Неприятностью 3" (по нескольку раз просматривать дублирующиеся ссылки)?

Alexei Mylnikov написал:

[q]

Это устраняет все три "неприятности", включая пропуск важной информации и просмотр дублей ссылок.

[/q]

Не устраняет. Вводит необходимость ручной работы там, где запросто можно сэкономить время автоматизацией.

Сейчас в СайтСпутнике реализован поиск в ширину - найти при первом поиске как можно больше сайтов.
Сбор сгруппированных ссылок дает глубину - собрать релевантные ссылки с одного сайта.
Применение одновременно двух подходов дает максимум нужной информации, обеспечивая поиск в ширину и в глубину одновременно. При этом часть "бороды" в виде дублирующихся ссылок программа уберет сама, уменьшая наше время на просмотр найденного.

Имея под рукой ПРОГРАММУ, как-то стрёмно по окончании ее работы вручную щелкать на ссылки и проверять, не потерялось ли что-то.

Подпрограмма сбора сгруппированных ссылок не сложная, ее аналог уже реализован в мастере подключения поисковиков. В нем мы вручную указываем на ссылку следующей страницы поисковика, а можно точно также вручную указать на ссылку с группами страниц ("Еще с сайта" и ее аналоги).

Наконец, поиском "в ширину" можно управлять. Уменьшая глубину и ширину поиска для распространенных объектов, мы уменьшаем "бороду". Увеличивая глубину и ширину поиска мы увеличиваем количество полезных ссылок для малораспространенных объектов. Например, можно по желанию пользователя ограничивать количество просматриваемых страниц в группах "Еще с сайта". Можно вообще отключать эту функцию через Настройки, если пользователь решил, что она ему будет только мешать. Тогда он сможет потом вручную покопать сгруппированные ссылки.
Но, заметьте! У пользователя появляется ВЫБОР и он сам может управлять глубиной поисков.

Таким образом, поиск в ширину и глубину приближает программу к заявленному: "Найти Всё и с Гарантией!", и облегчает работу, убирая дубли из найденного.

Обдумываю эргономическую и техническую составляющую вторичного поиска. Согласен, что "рыть" нужно глубже.

Для: Alexei Mylnikov
Отличная новость!!!

Планируется ли в будущем реализовать:
- сбор сгруппированных ссылок с других поисковиков?
- специальную функцию сбора сгруппированных ссылок в Мастере подключения поисковиков?
- регулирование глубины сбора сгруппированных ссылок? Например,
. || Yandex=7.2 ^^ Сбор ссылок с поисковика на 7 страниц в глубину и из сгруппированных ссылок на 2 страницы в глубину

Alexei Mylnikov написал:

[q]

Сначала выполняется обычный поиск, в процессе которого накапливаются поиски по "Еще с сайта", которые запускаются без каких-либо вопросов сразу по окончании обычного поиска и обеспечивают существенно более полный сбор ссылок.

[/q]

А в каком порядке собираются ссылки:
1. Сначала все ссылки с указанного количества страниц поисковика, затем все сгруппированные ссылки с найденных ссылок?
2. Сначала все ссылки с первой страницы поисковика, затем все сгруппированные ссылки с нее. Потом все ссылки со второй страницы поисковика и все сгруппированные ссылки на 2й странице и т.д.?
3. Первая ссылка, затем все сгруппированные с ней ссылки, вторая ссылка, затем все сгруппированные с ней ссылки, и т.д. до конца первой страницы. Затем то же самое на второй странице?

К "правильному ручному поиску", наверное будет ближе алгоритм 3.
С точки зрения скорости работы, возможно оптимальным будет алгоритм 2.
Про алгоритм 1 пока ничего не могу сказать.