Форум Сообщества Практиков Конкурентной разведки (СПКР)

Версия для печати

- Форум Сообщества Практиков Конкурентной разведки (СПКР) http://forum.razved.info/
-- Приемы работы с программой СайтСпутник (SiteSputnik) http://forum.razved.info//index.php?f=38
--- Веб-Карта сайта, ресурса, папки, искомого объекта. http://forum.razved.info//index.php?t=209

-- Алексей Мыльников написал 16 июля 2009 23:36
Карта сайта, ресурса или папки (далее просто карта сайта).
В интернете собираются ссылки, принадлежащие сайту. Иерархическая структура этих ссылок есть веб-карта сайта.
Ссылки собираются при помощи нескольких поисковиков, а именно: Google, Яндекс, Yahoo, MSN (Live Search, Bing), Altavista.
Пользователю достаточно набрать имя сайта, остальное сделает СайтСпутник.

Есть два варианта построения карты сайта: стандартная и углубленная.

Стандартный вариант.
Выполняется один пакет из пяти запросов: по одному на каждый поисковик. Для Гугля, например, применяется запрос "site:ab.vlink.ru". После двоеточия имя cайта, для которого строится карта. Стандартного варианта, по моим оценкам, вполне достаточно для сайтов, содержащих до 200-300 ссылок.

Углубленный вариант.
Выполняется до 2100 пакетов, каждый из которых содержит по пять запросов: по одному на каждый поисковик. Первым пакетом идет пакет, рассмотренный при описании Стандартного варианта. Для каждого найденного ресурса или папки, принадлежащего сайту, например, ab.vlink.ru/FFF, создается и выполняется очередной пакет из пяти запросов. Результаты его выполнения будут объединены с результатами, полученными при выполнении предыдущих пакетов.

Указанным способом SiteSputnik "вгрызается" в сайт, пятью поисковиками "обыскивает" каждый ресурс и каждую его папку и приносит практически все ссылки, видимые из интернета. На их основе он строит карту сайта углубленную.
Имею опыт построения карт сайтов размером около 50000 ссылок.
Сайт, для которого таким образом формируется карта, остается в полном "неведении", так как вся информация берется только из поисковиков.

Карта искомого объекта.
Это иерархическая структура ссылок, удовлетворяющих запросу или пакету запросов (о пакетах есть отдельный раздел на этом форуме). Другими словами, Вы выполнили запрос или пакет запросов и получили множество ссылок. Иерархическая структура этих ссылок есть веб-карта искомого объекта.

Подробнее здесь - ab.vlink.ru/FFF/Help/SSInstr/SSMapSite.htm.

-- CI-KP написал 16 июля 2009 23:56

Alexei Mylnikov написал:

[q]
Сайт, для которого таким образом формируется карта, остается в полном "неведении", так как вся информация берется только из поисковиков.
[/q]

СайтСпутник открывает страницы кэша или просто берет в поисковике ссылку и сниппеты?

-- Алексей Мыльников написал 17 июля 2009 0:23
Кеш здесь не берется, только ссылка.
Разработан алгоритм сбора для конкретной ссылки кешей из нескольких поисковиков (Яндекса, Гугля и Яху), но не приступал к его реализации - сомневаюсь в ликвидности такой функции.

-- CI-KP написал 17 июля 2009 7:58

Alexei Mylnikov написал:

[q]
Кеш здесь не берется, только ссылка.
Разработан алгоритм сбора для конкретной ссылки кешей из нескольких поисковиков (Яндекса, Гугля и Яху), но не приступал к его реализации - сомневаюсь в ликвидности такой функции.
[/q]

ОК. Спасибо.