Версия для печати
- Форум Сообщества Практиков Конкурентной разведки (СПКР) http://forum.razved.info/
-- Софт для конкурентной разведки http://forum.razved.info//index.php?f=7
--- SiteSputnik Invisible для работы с "Невидимым Интернетом" http://forum.razved.info//index.php?t=1172
-- CI-KP написал 29 сентября 2010 23:04
SiteSputnik - версия Invisible для работы с "Невидимым Интернетом" (http://yushchuk.livejournal.com/257324.html)
"Программа для допроса Интернета" - SiteSputnik (http://razvedka-internet.ru/Site-Sputnik-Kupit.html) (СайтСпутник (http://sitesputnik.ru/)) обзавелась очень полезным дополнением - модулем для работы с Невидимым Интернетом. Этот модуль позволяет увидеть доступные для любого пользователя страницы сайта, которые, в силу каких-то причин, оказались не проиндексированы поисковыми машинами.
Это одинаково полезно, как при получении информации с сайтов, которые представляют интерес для исследователя, так и для аудита собственных сайтов. Все, что СайтСпутник Invisible делает, может проделать пользователь и вручную. Но СайтСпутник значительно ускоряет этот процесс и делает его более точным.
Покажу работу SiteSputnik Invisible на примере сайта родного мне ВУЗа - Уральского Федерального университета (УрФУ, ранее он назывался УГТУ-УПИ).
Для того, чтобы продемонстрировать работу SiteSputnik Invisible, сначала делаю поиск документов в формате pdf на сайте Университета. Никакого скрытого смысла в этом нет, просто таких файлов обычно намного меньше чем html-страниц, и это сэкономит мне время.
Все картинки кликабельны.
Итак, запрос в Google: site:ustu.ru filetype:pdf (http://www.google.ru/search?as_q=&hl=ru&newwindow=1&num=10&btnG=%D0%9F%D0%BE%D0%B8%D1%81%D0%BA+%D0%B2+Google&as_epq=&as_oq=&as_eq=&lr=&cr=&as_ft=i&as_filetype=pdf&as_qdr=all&as_occt=any&as_dt=i&as_sitesearch=ustu.ru&as_rights=&safe=images)
Среди результатов я выбрал адрес "cae.ustu.ru/download/ansys3.pdf "
Потому что, как учит Андрей Масалович (http://dobryi-leshii.livejournal.com/7779.html), логично предположить, что есть и адреса вида "cae.ustu.ru/download/ansys1.pdf" или "cae.ustu.ru/download/ansys4.pdf"
(http://pics.livejournal.com/yushchuk/pic/001a4yxk.jpg)
Далее запускаю СайтСпутник в обычном режиме, и составляю карту "сайта" с адресом "cae.ustu.ru/download". Тоже для экономии времени.
(http://pics.livejournal.com/yushchuk/pic/001a6ey5.jpg)
Получается такая карта на основании страниц, известным различным поисковым машинам (СайтСпутник убрал всю дублирующуюся информацию и показал каждый адрес только один раз):
(http://pics.livejournal.com/yushchuk/pic/001a7xzh.jpg)
Затем даю СайтСпутнику задание по карте сайта найти невидимые поисковикам, но доступные людям ссылки:
(http://pics.livejournal.com/yushchuk/pic/001a8q0x.jpg)
И он находит такую ссылку:
(http://pics.livejournal.com/yushchuk/pic/001a9wbg.jpg)
Всё.
-- CI-KP написал 30 сентября 2010 0:13
SiteSputnik - версия Invisible для работы с "Невидимым Интернетом". Пример 2. (http://yushchuk.livejournal.com/257653.html)
Пример в продолжение темы о версии СайтСпутник для работы с "Невидимым Интернетом" - SiteSputnik Invisible.
Техника подробно описана в предыдущем посте. Поэтому лишь покажу, насколько большее количество документов можно получить, если не забывать проверять Невидимый интернет - вручную или с помощью СайтСпутника. Для примера взял сайт Парламента Грузии. Точнее, его часть о межправительственных соглашениях: www.parliament.ge/files/international-acts/agreements/
Все картинки кликабельны.
Составляю карту сайта в СайтСпутнике:
(http://pics.livejournal.com/yushchuk/pic/001aaggq.jpg)
Это часть, которую поисковики проиндексировали:
(http://pics.livejournal.com/yushchuk/pic/001abtq4.jpg)
А это - часть, которой поисковые машины не видят, но которая свободно доступна любому пользователю Сети. Найдена модулем Invisible СайтСпутника:
(http://pics.livejournal.com/yushchuk/pic/001acrek.jpg)
Чтобы было понятно, какого рода документы в невидимой части можно найти. дам перевод части одного из них Gooogle-переводчиком:
(http://pics.livejournal.com/yushchuk/pic/001adpfw.jpg)
-- Алексей Мыльников написал 30 сентября 2010 0:42
Общие положения по работе с невидимым интернетом в программе SiteSputnik Invisible таковы.
1. Работа начинается с материализации видимого интернета - построения карты сайта, ресурса или папки (КС).
КС - это иерархическая структура, построенная из ссылок, собранных основными поисковиками.
Она строится СайтСпутник(ом) автоматически по имени КС.
КС - это "наращиваемый" плацдарм для поиска невидимых ссылок и размещенной на них информации.
2. Сам поиск невидимых ссылок стартует с этого плацдарма и ведется при помощи следующих четырех
базовых функций: паук (спайдер); в окрестности видимой ссылки или папки по "образу и подобию";
в папках открытых и папках, вложенных в открытые папки; с использованием специальных словарей.
Их применение на КС (на множестве ссылок и папок) значительно более эффективно, чем применение
на одной или нескольких ссылках.
3. Под "наращиваемостью" плацдарма понимается добавление в него (в карту сайта) найденных невидимых ссылок.
Также в карту сайта могут быть добавлены ссылки, найденные другими способами (вне СайтСпутника), например,
при помощи спецзапросов на Google, Yahoo и других поисковиках.
Повторное применение базовых функций на "нарощенной" КС позволяет найти новые невидимые ссылки.
Например, если Вы нашли папку "Files" при помоши паука, то можно проверить ее на открытость или применить
словарный поиск и найти, например, ссылку "Files\price2009.htm",
с которой рационально запустить паука и/или применить базовую функцию поиска в её окрестности по "образу и подобию".
Найдя очередные новые ссылки или папки, можно применить к ним любые базовые функции.
Такой рекурсивный поиск можно применять многократно.
4. Это робот для поиска в невидимом интернете. Он обеспечивает совсем другой уровень автоматизации труда аналитика
информационных ресурсов, освобождает его от большого объема черновой работы.
Продробнее - sitesputnik.ru/Help/SSInvisible.htm
-- Vinni написал 1 октября 2010 10:12
[q]
Ни для одной из своих базовых функций SiteSputnik не "маскирует" IP пользователя. Назначение программы не "подглядывание в замочную скважину", а углубление поиска, выполненного основными поисковиками (Deep Web - глубокий веб).
[/q]
Хочется только напомнить о возможности анонимизации IP пользователя (http://forum.razved.info/index.php?t=112)
Сейчас существует ряд недорогих платных анонимайзеров - Steganos, Relakks и т.д.
И наконец существует бесплатный TOR (127.0.0.1:8118).
Не стоит про них забывать 
-- vbl написал 7 октября 2010 21:45
Написал небольшой обзор по использованию версии Invisible. Надеюсь он будет полезен и интересен.
Ознакомиться можно здесь (http://www.informnn.ru/HTML/publikacii/stati/SiteSputnik-kak-instrument-Internet-razvedki-2.html)
Сюда статью не размещаю, ибо большая и много картинок :)
У этой статьи есть еще и первая часть, ознакомиться с ней можно здесь (http://www.informnn.ru/HTML/publikacii/stati/SiteSputnik-kak-instrument-Internet-razvedki.html)
-- Vinni написал 8 октября 2010 12:10
Борис, хорошие статьи!
Но есть пару замечаний:
1) надо на картинках в первой части либо название сайта везде замазывать, либо совсем этого не делать 
2) надо бы в конце второй части упомянуть, что программа напрямую получает доступ к сайтам, а не использует поисковики, и в ряде случаев рекомендуется все-таки использовать прокси, как я уже писал.
Кстати, есть возможность использовать безобидные примеры - можно взять сайты учебных заведений, например СпбГУ (_ttp://www.spbu.ru/) и потренироваться на них.
-- Ed написал 8 октября 2010 12:23
Vinni написал:[q]
Кстати, есть возможность использовать безобидные примеры ... и потренироваться на них. [/q]
Например cia.org, fbi.gov..
-- vbl написал 8 октября 2010 12:26
Vinni написал:[q]
Борис, хорошие статьи![/q]
Спасибо, я старался 
Vinni написал:[q]
1) надо на картинках в первой части либо название сайта везде замазывать, либо совсем этого не делать [/q]
Если Вы про те две замазанные строчки, так они не имеют никакого отношения к сайту, на примерах которого была написана статья. А изучаемый сайт мы и не стремились скрывать. Ничего особенного мы там не делали
Vinni написал:[q]
2) надо бы в конце второй части упомянуть, что программа напрямую получает доступ к сайтам, а не использует поисковики, и в ряде случаев рекомендуется все-таки использовать прокси, как я уже писал. [/q]
хммм... про доступ вроде и так понятно, хотя можно и отдельно это оговорить
По поводу прокси. Со Стеганосом и ему подобными все понятно, а как заставить СайтСпутник работать, например, через Ананимаус?
-- Vinni написал 8 октября 2010 14:01
vbl написал:[q]
а как заставить СайтСпутник работать, например, через Ананимаус? [/q]
Управление сетевыми настройками в закладке "Интернет".
По умолчанию SS работает через IE, настройками которого можно управлять прямо из SS - кнопка "Свойства обозревателя".
По идее можно использовать другой браузер - чекбокс "Браузер, установленный по умолчанию", но у меня несмотря на то, что по умолчанию установлен FF, все равно стал использоваться IE.
В "Свойствах обозревателя" есть закладка "Connection", а там кнопка "LAN settings" - там в разделе "Proxy server" можно указать адрес и порт прокси-сервера.
Либо, можно воспользоваться самим SS и на закладке "Интернет" в разделе "Свой неавторизованный прокси-сервер" щелкнуть по чекбоксу "Использовать" и указать адрес и порт прокси-сервера.
Кто, посещал спецкурсы на этом форуме, знают, что речь идет о веб-прокси (http proxy).
Есть разнообразные способы найти публичный веб-прокси - надо лишь подумать и погуглить 
Можно также воспользоваться и тем же TOR.
После его установки и включения на компьютере появляется локальный прокси-сервер на 127.0.0.1 порт 8118.
-- vbl написал 8 октября 2010 14:11
Vinni написал:[q]
Управление сетевыми настройками в закладке "Интернет".[/q]
Спасибо, понятно.
Этот форум работает на скрипте Intellect Board
© 2004-2007, 4X_Pro, Объединенный Открытый Проект