SiteSputnik Invisible для работы с "Невидимым Интернетом"

Форум Сообщества Практиков Конкурентной разведки (СПКР)

Конкурентная разведка, Бизнес-разведка, Корпоративная разведка,
Деловая разведка по открытым источникам в бизнесе.
Работаем строго в рамках закона.

Дезинформация и активные мероприятия в бизнесе
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Софт для конкурентной разведки »   SiteSputnik Invisible для работы с "Невидимым Интернетом"
RSS

SiteSputnik Invisible для работы с "Невидимым Интернетом"

<<Назад  Вперед>>Печать
 
CI-KP
Администратор

Откуда: Екатеринбург
Всего сообщений: 5565
Рейтинг пользователя: 24


Ссылка


Дата регистрации на форуме:
15 мая 2009
SiteSputnik - версия Invisible для работы с "Невидимым Интернетом"


"Программа для допроса Интернета" - SiteSputnik (СайтСпутник) обзавелась очень полезным дополнением - модулем для работы с Невидимым Интернетом. Этот модуль позволяет увидеть доступные для любого пользователя страницы сайта, которые, в силу каких-то причин, оказались не проиндексированы поисковыми машинами.


Это одинаково полезно, как при получении информации с сайтов, которые представляют интерес для исследователя, так и для аудита собственных сайтов. Все, что СайтСпутник Invisible делает, может проделать пользователь и вручную. Но СайтСпутник значительно ускоряет этот процесс и делает его более точным.

Покажу работу SiteSputnik Invisible на примере сайта родного мне ВУЗа - Уральского Федерального университета (УрФУ, ранее он назывался УГТУ-УПИ).

Для того, чтобы продемонстрировать работу SiteSputnik Invisible, сначала делаю поиск документов в формате pdf на сайте Университета. Никакого скрытого смысла в этом нет, просто таких файлов обычно намного меньше чем html-страниц, и это сэкономит мне время.

Все картинки кликабельны.

Итак, запрос в Google: site:ustu.ru filetype:pdf

Среди результатов я выбрал адрес "cae.ustu.ru/download/ansys3.pdf "
Потому что, как учит Андрей Масалович, логично предположить, что есть и адреса вида "cae.ustu.ru/download/ansys1.pdf" или "cae.ustu.ru/download/ansys4.pdf"



Далее запускаю СайтСпутник в обычном режиме, и составляю карту "сайта" с адресом "cae.ustu.ru/download". Тоже для экономии времени.



Получается такая карта на основании страниц, известным различным поисковым машинам (СайтСпутник убрал всю дублирующуюся информацию и показал каждый адрес только один раз):



Затем даю СайтСпутнику задание по карте сайта найти невидимые поисковикам, но доступные людям ссылки:



И он находит такую ссылку:



Всё.

---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru
Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь.
CI-KP
Администратор

Откуда: Екатеринбург
Всего сообщений: 5565
Рейтинг пользователя: 24


Ссылка


Дата регистрации на форуме:
15 мая 2009
SiteSputnik - версия Invisible для работы с "Невидимым Интернетом". Пример 2.

Пример в продолжение темы о версии СайтСпутник для работы с "Невидимым Интернетом" - SiteSputnik Invisible.

Техника подробно описана в предыдущем посте. Поэтому лишь покажу, насколько большее количество документов можно получить, если не забывать проверять Невидимый интернет - вручную или с помощью СайтСпутника. Для примера взял сайт Парламента Грузии. Точнее, его часть о межправительственных соглашениях: www.parliament.ge/files/international-acts/agreements/

Все картинки кликабельны.

Составляю карту сайта в СайтСпутнике:


Это часть, которую поисковики проиндексировали:



А это - часть, которой поисковые машины не видят, но которая свободно доступна любому пользователю Сети. Найдена модулем Invisible СайтСпутника:


Чтобы было понятно, какого рода документы в невидимой части можно найти. дам перевод части одного из них Gooogle-переводчиком:

---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru
Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь.
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 877
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
Общие положения по работе с невидимым интернетом в программе SiteSputnik Invisible таковы.

1. Работа начинается с материализации видимого интернета - построения карты сайта, ресурса или папки (КС).
КС - это иерархическая структура, построенная из ссылок, собранных основными поисковиками.
Она строится СайтСпутник(ом) автоматически по имени КС.
КС - это "наращиваемый" плацдарм для поиска невидимых ссылок и размещенной на них информации.

2. Сам поиск невидимых ссылок стартует с этого плацдарма и ведется при помощи следующих четырех
базовых функций: паук (спайдер); в окрестности видимой ссылки или папки по "образу и подобию";
в папках открытых и папках, вложенных в открытые папки; с использованием специальных словарей.
Их применение на КС (на множестве ссылок и папок) значительно более эффективно, чем применение
на одной или нескольких ссылках.

3. Под "наращиваемостью" плацдарма понимается добавление в него (в карту сайта) найденных невидимых ссылок.
Также в карту сайта могут быть добавлены ссылки, найденные другими способами (вне СайтСпутника), например,
при помощи спецзапросов на Google, Yahoo и других поисковиках.
Повторное применение базовых функций на "нарощенной" КС позволяет найти новые невидимые ссылки.
Например, если Вы нашли папку "Files" при помоши паука, то можно проверить ее на открытость или применить
словарный поиск и найти, например, ссылку "Files\price2009.htm",
с которой рационально запустить паука и/или применить базовую функцию поиска в её окрестности по "образу и подобию".
Найдя очередные новые ссылки или папки, можно применить к ним любые базовые функции.
Такой рекурсивный поиск можно применять многократно.

4. Это робот для поиска в невидимом интернете. Он обеспечивает совсем другой уровень автоматизации труда аналитика
информационных ресурсов, освобождает его от большого объема черновой работы.

Продробнее - sitesputnik.ru/Help/SSInvisible.htm

Vinni
Администратор

Всего сообщений: 2136
Рейтинг пользователя: 22


Ссылка


Дата регистрации на форуме:
5 июня 2009
[q]

Ни для одной из своих базовых функций SiteSputnik не "маскирует" IP пользователя. Назначение программы не "подглядывание в замочную скважину", а углубление поиска, выполненного основными поисковиками (Deep Web - глубокий веб).
[/q]


Хочется только напомнить о возможности анонимизации IP пользователя

Сейчас существует ряд недорогих платных анонимайзеров - Steganos, Relakks и т.д.
И наконец существует бесплатный TOR (127.0.0.1:8118).

Не стоит про них забывать :cool:
vbl
Модератор форума

Откуда: Нижний Новгород
Всего сообщений: 179
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
10 июня 2009
Написал небольшой обзор по использованию версии Invisible. Надеюсь он будет полезен и интересен.

Ознакомиться можно здесь

Сюда статью не размещаю, ибо большая и много картинок :)

У этой статьи есть еще и первая часть, ознакомиться с ней можно здесь

---
Non progredi est regredi

http://www.informnn.ru
Информационная рассылка "Конкурентная разведка. Сам себе разведчик" - http://subscribe.ru/catalog/tech.razvedka
Vinni
Администратор

Всего сообщений: 2136
Рейтинг пользователя: 22


Ссылка


Дата регистрации на форуме:
5 июня 2009
Борис, хорошие статьи!

Но есть пару замечаний:
1) надо на картинках в первой части либо название сайта везде замазывать, либо совсем этого не делать :wink:
2) надо бы в конце второй части упомянуть, что программа напрямую получает доступ к сайтам, а не использует поисковики, и в ряде случаев рекомендуется все-таки использовать прокси, как я уже писал.


Кстати, есть возможность использовать безобидные примеры - можно взять сайты учебных заведений, например СпбГУ (_ttp://www.spbu.ru/) и потренироваться на них. :cool:
Ed
Модератор форума

Всего сообщений: 1782
Рейтинг пользователя: 28


Ссылка


Дата регистрации на форуме:
7 июня 2009

Vinni написал:
[q]

Кстати, есть возможность использовать безобидные примеры ... и потренироваться на них.
[/q]

Например cia.org, fbi.gov..
vbl
Модератор форума

Откуда: Нижний Новгород
Всего сообщений: 179
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
10 июня 2009

Vinni написал:
[q]
Борис, хорошие статьи!
[/q]


Спасибо, я старался :smile:


Vinni написал:
[q]
1) надо на картинках в первой части либо название сайта везде замазывать, либо совсем этого не делать :wink:
[/q]


Если Вы про те две замазанные строчки, так они не имеют никакого отношения к сайту, на примерах которого была написана статья. А изучаемый сайт мы и не стремились скрывать. Ничего особенного мы там не делали :wink:


Vinni написал:
[q]
2) надо бы в конце второй части упомянуть, что программа напрямую получает доступ к сайтам, а не использует поисковики, и в ряде случаев рекомендуется все-таки использовать прокси, как я уже писал.
[/q]


хммм... про доступ вроде и так понятно, хотя можно и отдельно это оговорить

По поводу прокси. Со Стеганосом и ему подобными все понятно, а как заставить СайтСпутник работать, например, через Ананимаус?

---
Non progredi est regredi

http://www.informnn.ru
Информационная рассылка "Конкурентная разведка. Сам себе разведчик" - http://subscribe.ru/catalog/tech.razvedka
Vinni
Администратор

Всего сообщений: 2136
Рейтинг пользователя: 22


Ссылка


Дата регистрации на форуме:
5 июня 2009

vbl написал:
[q]
а как заставить СайтСпутник работать, например, через Ананимаус?
[/q]


Управление сетевыми настройками в закладке "Интернет".

По умолчанию SS работает через IE, настройками которого можно управлять прямо из SS - кнопка "Свойства обозревателя".
По идее можно использовать другой браузер - чекбокс "Браузер, установленный по умолчанию", но у меня несмотря на то, что по умолчанию установлен FF, все равно стал использоваться IE.

В "Свойствах обозревателя" есть закладка "Connection", а там кнопка "LAN settings" - там в разделе "Proxy server" можно указать адрес и порт прокси-сервера.

Либо, можно воспользоваться самим SS и на закладке "Интернет" в разделе "Свой неавторизованный прокси-сервер" щелкнуть по чекбоксу "Использовать" и указать адрес и порт прокси-сервера.

Кто, посещал спецкурсы на этом форуме, знают, что речь идет о веб-прокси (http proxy).

Есть разнообразные способы найти публичный веб-прокси - надо лишь подумать и погуглить :preved:

Можно также воспользоваться и тем же TOR. :wink:
После его установки и включения на компьютере появляется локальный прокси-сервер на 127.0.0.1 порт 8118.




vbl
Модератор форума

Откуда: Нижний Новгород
Всего сообщений: 179
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
10 июня 2009

Vinni написал:
[q]
Управление сетевыми настройками в закладке "Интернет".
[/q]


Спасибо, понятно. :smile:


---
Non progredi est regredi

http://www.informnn.ru
Информационная рассылка "Конкурентная разведка. Сам себе разведчик" - http://subscribe.ru/catalog/tech.razvedka
<<Назад  Вперед>>Печать
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Софт для конкурентной разведки »   SiteSputnik Invisible для работы с "Невидимым Интернетом"
RSS

Последние RSS
Англоязычный интерфейс программы "Сайт Спутник"
Учебник по конкурентной разведке
Конкурентная разведка: маркетинг рисков и возможностей
Книга "История частной разведки США"
Книга "Нетворкинг для разведчиков"
Поиск и сбор информации в интернете в программе СайтСпутник
Новые видеоуроки по программе СайтСпутник для начинающих
Технологическая разведка
SiteSputnik. Мониторинг Телеграм
СайтСпутник: возврат к ранее установленной версии
SiteSputnik. Доступ к результатам работы из браузера
Анализ URL
Браузер для анонимной работы
Топливно-энергетический комплекс
Профессиональные сообщества СБ
Несколько Проектов в одном, выполнение Проектов по частям
SiteSputnik-Bot: Боты в программе СайтСпутник
К вопросу о телеграм
SiteSputnik: Автозамены до и после Рубрикации или Перевода
Демо-доступ к ИАС социальных сетей

Самые активные 20 тем RSS