Форум Сообщества Практиков Конкурентной разведки (СПКР)

Карта сайта, ресурса или папки (далее просто карта сайта).
В интернете собираются ссылки, принадлежащие сайту. Иерархическая структура этих ссылок есть веб-карта сайта.
Ссылки собираются при помощи нескольких поисковиков, а именно: Google, Яндекс, Yahoo, MSN (Live Search, Bing), Altavista.
Пользователю достаточно набрать имя сайта, остальное сделает СайтСпутник.

Есть два варианта построения карты сайта: стандартная и углубленная.

Стандартный вариант.
Выполняется один пакет из пяти запросов: по одному на каждый поисковик. Для Гугля, например, применяется запрос "site:ab.vlink.ru". После двоеточия имя cайта, для которого строится карта. Стандартного варианта, по моим оценкам, вполне достаточно для сайтов, содержащих до 200-300 ссылок.

Углубленный вариант.
Выполняется до 2100 пакетов, каждый из которых содержит по пять запросов: по одному на каждый поисковик. Первым пакетом идет пакет, рассмотренный при описании Стандартного варианта. Для каждого найденного ресурса или папки, принадлежащего сайту, например, ab.vlink.ru/FFF, создается и выполняется очередной пакет из пяти запросов. Результаты его выполнения будут объединены с результатами, полученными при выполнении предыдущих пакетов.

Указанным способом SiteSputnik "вгрызается" в сайт, пятью поисковиками "обыскивает" каждый ресурс и каждую его папку и приносит практически все ссылки, видимые из интернета. На их основе он строит карту сайта углубленную.
Имею опыт построения карт сайтов размером около 50000 ссылок.
Сайт, для которого таким образом формируется карта, остается в полном "неведении", так как вся информация берется только из поисковиков.

Карта искомого объекта.
Это иерархическая структура ссылок, удовлетворяющих запросу или пакету запросов (о пакетах есть отдельный раздел на этом форуме). Другими словами, Вы выполнили запрос или пакет запросов и получили множество ссылок. Иерархическая структура этих ссылок есть веб-карта искомого объекта.

Подробнее здесь - ab.vlink.ru/FFF/Help/SSInstr/SSMapSite.htm.

Кеш здесь не берется, только ссылка.
Разработан алгоритм сбора для конкретной ссылки кешей из нескольких поисковиков (Яндекса, Гугля и Яху), но не приступал к его реализации - сомневаюсь в ликвидности такой функции.