Форум Сообщества Практиков Конкурентной разведки (СПКР)

SiteSputnik - версия Invisible для работы с "Невидимым Интернетом"


"Программа для допроса Интернета" - SiteSputnik (СайтСпутник) обзавелась очень полезным дополнением - модулем для работы с Невидимым Интернетом. Этот модуль позволяет увидеть доступные для любого пользователя страницы сайта, которые, в силу каких-то причин, оказались не проиндексированы поисковыми машинами.


Это одинаково полезно, как при получении информации с сайтов, которые представляют интерес для исследователя, так и для аудита собственных сайтов. Все, что СайтСпутник Invisible делает, может проделать пользователь и вручную. Но СайтСпутник значительно ускоряет этот процесс и делает его более точным.

Покажу работу SiteSputnik Invisible на примере сайта родного мне ВУЗа - Уральского Федерального университета (УрФУ, ранее он назывался УГТУ-УПИ).

Для того, чтобы продемонстрировать работу SiteSputnik Invisible, сначала делаю поиск документов в формате pdf на сайте Университета. Никакого скрытого смысла в этом нет, просто таких файлов обычно намного меньше чем html-страниц, и это сэкономит мне время.

Все картинки кликабельны.

Итак, запрос в Google: site:ustu.ru filetype:pdf

Среди результатов я выбрал адрес "cae.ustu.ru/download/ansys3.pdf "
Потому что, как учит Андрей Масалович, логично предположить, что есть и адреса вида "cae.ustu.ru/download/ansys1.pdf" или "cae.ustu.ru/download/ansys4.pdf"



Далее запускаю СайтСпутник в обычном режиме, и составляю карту "сайта" с адресом "cae.ustu.ru/download". Тоже для экономии времени.



Получается такая карта на основании страниц, известным различным поисковым машинам (СайтСпутник убрал всю дублирующуюся информацию и показал каждый адрес только один раз):



Затем даю СайтСпутнику задание по карте сайта найти невидимые поисковикам, но доступные людям ссылки:



И он находит такую ссылку:



Всё.

Общие положения по работе с невидимым интернетом в программе SiteSputnik Invisible таковы.

1. Работа начинается с материализации видимого интернета - построения карты сайта, ресурса или папки (КС).
КС - это иерархическая структура, построенная из ссылок, собранных основными поисковиками.
Она строится СайтСпутник(ом) автоматически по имени КС.
КС - это "наращиваемый" плацдарм для поиска невидимых ссылок и размещенной на них информации.

2. Сам поиск невидимых ссылок стартует с этого плацдарма и ведется при помощи следующих четырех
базовых функций: паук (спайдер); в окрестности видимой ссылки или папки по "образу и подобию";
в папках открытых и папках, вложенных в открытые папки; с использованием специальных словарей.
Их применение на КС (на множестве ссылок и папок) значительно более эффективно, чем применение
на одной или нескольких ссылках.

3. Под "наращиваемостью" плацдарма понимается добавление в него (в карту сайта) найденных невидимых ссылок.
Также в карту сайта могут быть добавлены ссылки, найденные другими способами (вне СайтСпутника), например,
при помощи спецзапросов на Google, Yahoo и других поисковиках.
Повторное применение базовых функций на "нарощенной" КС позволяет найти новые невидимые ссылки.
Например, если Вы нашли папку "Files" при помоши паука, то можно проверить ее на открытость или применить
словарный поиск и найти, например, ссылку "Files\price2009.htm",
с которой рационально запустить паука и/или применить базовую функцию поиска в её окрестности по "образу и подобию".
Найдя очередные новые ссылки или папки, можно применить к ним любые базовые функции.
Такой рекурсивный поиск можно применять многократно.

4. Это робот для поиска в невидимом интернете. Он обеспечивает совсем другой уровень автоматизации труда аналитика
информационных ресурсов, освобождает его от большого объема черновой работы.

Продробнее - sitesputnik.ru/Help/SSInvisible.htm

Написал небольшой обзор по использованию версии Invisible. Надеюсь он будет полезен и интересен.

Ознакомиться можно здесь

Сюда статью не размещаю, ибо большая и много картинок :)

У этой статьи есть еще и первая часть, ознакомиться с ней можно здесь

Vinni написал:

[q]

Кстати, есть возможность использовать безобидные примеры ... и потренироваться на них.

[/q]

Например cia.org, fbi.gov..

vbl написал:

[q]

а как заставить СайтСпутник работать, например, через Ананимаус?

[/q]

Управление сетевыми настройками в закладке "Интернет".

По умолчанию SS работает через IE, настройками которого можно управлять прямо из SS - кнопка "Свойства обозревателя".
По идее можно использовать другой браузер - чекбокс "Браузер, установленный по умолчанию", но у меня несмотря на то, что по умолчанию установлен FF, все равно стал использоваться IE.

В "Свойствах обозревателя" есть закладка "Connection", а там кнопка "LAN settings" - там в разделе "Proxy server" можно указать адрес и порт прокси-сервера.

Либо, можно воспользоваться самим SS и на закладке "Интернет" в разделе "Свой неавторизованный прокси-сервер" щелкнуть по чекбоксу "Использовать" и указать адрес и порт прокси-сервера.

Кто, посещал спецкурсы на этом форуме, знают, что речь идет о веб-прокси (http proxy).

Есть разнообразные способы найти публичный веб-прокси - надо лишь подумать и погуглить

Можно также воспользоваться и тем же TOR.
После его установки и включения на компьютере появляется локальный прокси-сервер на 127.0.0.1 порт 8118.