Предложения по Invisible

Форум Сообщества Практиков Конкурентной разведки (СПКР)

Конкурентная разведка, Бизнес-разведка, Корпоративная разведка,
Деловая разведка по открытым источникам в бизнесе.
Работаем строго в рамках закона.

Дезинформация и активные мероприятия в бизнесе
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Предложения по программе для допроса Интернета СайтСпутник »   Предложения по Invisible
RSS

Предложения по Invisible

<<Назад  Вперед>>Печать
 
petryashov
Администратор

Откуда: Москва
Всего сообщений: 490
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009
В процессе тестирования поиска в невидимом Интернете столкнулся с несколькими сложностями, в результате чего появились предложения:

1. При использовании "Поиска в окрестности" в случае выбора большого диапазона цифр (11111-99999) программа корректно обходит ссылки, но затем рано или поздно "зависает", после чего выдает сообщение типа "работа с NewRef прервана по лимиту времени (30 сек.). " и дальнейшее сканирование заканчивается. Лимит можно увеличить, но радикально ситуацию это не изменит. Можно ли как-то сделать так, чтобы программа не прекращала работу, а по истечении лимита времени на открытие ссылки просто переходила к следующей?

2. В результате проведенного мной эксперимента на диапазоне в 10 ссылок (все они были "невидимыми") и последовательного открытия каждой из них в браузере выяснилось, что 6 из них выдавали ошибку "Доступ запрещен" (403), две из них осуществляли переадресацию на другую страницу, а две оставшиеся предлагали скачать файл. Последний результат вдохновил, а вот перспектива открывать каждую из ссылок вручную не особенно обрадовала. В этой связи, можно ли в карту сайта добавить столбец, в котором отображался бы результат сканирования этой страницы? Варианты: ошибка 404; ошибка 403; файл; переадресация и т.п. Понятно, что это снизит скорость построения Карты сайта, но зато это избавит от необходимости трат времени на просмотр несуществующих или закрытых страниц.

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 826
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
По пункту 1. Спасибо. Поправил в версии 8.2.4.4 копает до конца.

По пункту 2.

Это хорошо, что Вы нашли 10 невидимых ссылок. Это не мало для такой работы.

При поиске в невидимом интернете могут возникнуть две ситуации.

А. Невидимых ссылок одна или несколько, тогда достаточно ручной работы или средств СайтСпутника, обеспечивающих неручную работу, а именно, выбираете: подменю "Золотого ключика" - "Операции над списком" - "Отметить все пункты" и отмечаете все пункты (визуально маленькие серые шарики заменяются на зеленые) и оптом открываете их в СайтСпутнике или во внешнем браузере.

При открытии в СайтСпутнике в колонке "Комментарий" Вы увидите "403 Forbidden" или "404 Not Found" и, соответственно, поймете, что ссылка закрыта или не существует.

Б. Невидимых ссылок очень много, то есть, сайт с "большими проблемами", тогда СайтСпутник найдет эти ссылки, Вы их экспортируйте в отдельный файл, затем импортируете найденные ссылки в специальные приложения.

Задача SiteSputbik Invisible найти невидимые ссылки. А качалок, программ для копирования сайтов, программ локального поиска (а он тоже может потребоваться), FTP-explorer для хождения по ссылкам и папкам, хороших браузеров, достаточно много. Их надо использовать в подобных случаях в зависимости от ситуации, добыв при помощи СайтСпутника невидимые ссылки.

Vinni
Администратор

Всего сообщений: 2710
Рейтинг пользователя: 22


Ссылка


Дата регистрации на форуме:
5 июня 2009

Алексей Мыльников написал:
[q]
При открытии в СайтСпутнике в колонке "Комментарий" Вы увидите "403 Forbidden" или "404 Not Found" и, соответственно, поймете, что ссылка закрыта или не существует.
[/q]


А смысл включать такие недоступные ссылки в результаты? :minus:
Интересны только те ссылки, которые доступны. :wink:

Кстати, в профессиональных сканерах веб-уязвимостей, которые тоже сканируют веб-сайты, часто делается проверка на то, как возвращается информация на данном сайте о том, что страница недоступна.
Дело в том, что в ряде CMS (например Drupal) возвращается код 200, а не 404 и либо посылается заголовок Location, переадресующий в корень сайта, либо просто возвращается страница с ошибкой
Поэтому сканеры сначала посылают запрос к явно несуществующей странице и анализируют ответ на такой запрос (соответственно учитывают его результаты при сканировании)

Vinni
Администратор

Всего сообщений: 2710
Рейтинг пользователя: 22


Ссылка


Дата регистрации на форуме:
5 июня 2009
Дмитрий, кстати, а DirBuster (_ttps://www.owasp.org/index.php/Category:OWASP_DirBuster_Project) не пробовали в работе?
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 826
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

Vinni написал:
[q]
А смысл включать такие недоступные ссылки в результаты? :minus:
Интересны только те ссылки, которые доступны. :wink:
[/q]

Речь идет о проверке на доступность и существование. Далее можно включить, можно и не включить. Смысл включить: сегодня недоступна, через какое-то время доступна. Если это недоступная папка, то в ней могут быть доступные невидимые ссылки. Существует такая-то ссылка, но она недоступна - это тоже информация.

Vinni написал:
[q]
Кстати, в профессиональных сканерах веб-уязвимостей, которые тоже сканируют веб-сайты, часто делается проверка на то, как возвращается информация на данном сайте о том, что страница недоступна.
Дело в том, что в ряде CMS (например Drupal) возвращается код 200, а не 404 и либо посылается заголовок Location, переадресующий в корень сайта, либо просто возвращается страница с ошибкой
Поэтому сканеры сначала посылают запрос к явно несуществующей странице и анализируют ответ на такой запрос (соответственно учитывают его результаты при сканировании)
[/q]

Нормальный способ. Делаю похожие операции.

ara_367519
Долгожитель форума

Откуда: г. Пенза
Всего сообщений: 802
Рейтинг пользователя: 14


Ссылка


Дата регистрации на форуме:
4 дек. 2012
В процессе работы с данным блоком наряду с полезностью, обратил внимание на отсутствие такой вот функции.. которую хотелось бы видеть в программе.. опишу ситуацию и проблему - при исследовании ресурса, программа выполняет построение КС (карты сайта).. после чего изучаем структуру сайта.. при неоходимости запускаем поиск невидимых ссылок при помощи spider, но он как известно запускается с карты сайта.. в случае, если собралось более 1000 ссылок - запуск данного модуля иногда становится проблематичным - как по времени, так и по иным причинам.. ясно, что поиск должен вестись более целенаправленно.. так вот - изучая несколько ресурсов отметил для себя что нужные файлы, как правило, имееют сходный адрес..и соответственно хотелось бы поиск при помощи spider вести именно с них.. для этого можно было бы (если возможно) сделать фильтрацию КС и выборку необходимых файлов по "маске".. чтобы как-то оптимизировать работу.. и после отрабатывать именно их.. Возможно ли такое выполнить либо как-то обойти данную проблему? :hi:

---
истина где-то рядом...
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 826
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

ara_367519 написал:
[q]
Возможно ли такое выполнить либо как-то обойти данную проблему? :hi:
[/q]

    Можно поступить следующим образом.

    1. Построить карту не всего сайта, а его ресурса или папки, например, такую:

    res.namesite.ru\Folder


    2. Выполнить пакет, например:

    site:namesite.ru inurl:help || Yandex=7
    site:namesite.ru inurl:help || Google=8
    site:namesite.ru inurl:help || MSN=7
    а затем выполнить для списка "Объединение": "Подменю Золотого ключика - Операции над списком - Построить карту".


    3. Применить белый и черный список (ниже применен только белый список):

    site:namesite.ru ++email || Yandex=7
    site:namesite.ru ++email || Google=8
    site:namesite.ru ++email || MSN=7
    а затем выполнить для списка "Объединение": "Подменю Золотого ключика - Операции над списком - Построить карту".


    4. Можно смешать 2,3 и 4 возможности:

    site:namesite.ru\Folder inurl:help ++email || Yandex=7
    site:namesite.ru\Folder inurl:help ++email || Google=8
    site:namesite.ru\Folder inurl:help ++email || MSN=7
    а затем выполнить для списка "Объединение": "Подменю Золотого ключика - Операции над списком - Построить карту".

    Можете доработать (усовершенствовать) эти пакеты, добавив поисковики и запросы, затем можете сделать универсальный пакет с параметрами и обращаться к нему, указывая имя ресурса и фильтров.

    В пунктах 2-4 мы воспользовались тем, что СайтСпутник умеет строить не только карту сайта, но и карту проекта или карту пакета запросов, другими словами, формирует последовательность карт сайтов, ресурсов и папок, из ссылок, найденных в Проекте. Карта сайта - это частный случай такой структуры.


    Поскольку в настоящее время SiteSputnik Invisible реализован для поиска невидимых ссылок для сайта на базе его карты, являющейся материализацией видимого интернета, то "обманите" СайтСпутник следующим образом: отредактируйте ячейку "Запрос, пакет" в верхней табличке, указав в ней имя карты сайта. Для п.4 в этой ячейке следует ввести:

    Карта namesite.ru\Folder

    В этом случае все базовые функции поиска невидимых ссылок будут работать.

    Очень интересное замечание.
    В СайтСпутнике уже заложен подход к поиску невидимых ссылок по Проекту (по пакету запросов). Осталось реализовать работу базовых функций с карты проекта, а не только с карты сайта. Не делаю этого, потому что опыт применения СайтСпутник Инвизибл, показал, что наоборот надо развиваться в сторону некоторого сужения стартовой площадки, а не к её расширению. Ваше предложение, уважаемый ara_367519, ещё одно подтверждение этого опыта. Но, при необходимости, поиск в невидимом интернете по Проекту (по пакету запросов) реализовать реально. Саму концепцию такого поиска я только что представил.


<<Назад  Вперед>>Печать
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Предложения по программе для допроса Интернета СайтСпутник »   Предложения по Invisible
RSS

Последние RSS
Open Source Intelligence (OSINT) Tools and Resources Handbook
Top tips on gathering information about companies by using free online sources
Новое на блоге HRразведка
Безопасность данных в MS Access
Слово как улика
20 Recon and Intel Gathering Tools used by InfoSec Professionals
What’s Changed?
10 альтернативных поисковиков
Ситуационный центр главы Республики Коми
Развёртывание ситуационных центров на базе технологии Avalanche
Как принимать сложные решения. Советы бывшего оперативника ЦРУ.
Открытая информация о "Новичке" из сети интернет.
Ген. директор "ОЗХО" Ахмет Узюмдж о "Новичке" и хим. атаке в Сирии
Онлайн-сервисы для Twitter
Коллекция для Twitter
Приложение Opera VPN закрывается
О работе разведки
Deep web и 11 поисковиков по нему
Об изначальной "лживости" любых документов
Обновление на блоге HRазведка

Самые активные 20 тем RSS
Стандартные источники информации в СайтСпутнике
Слово как улика
Open Source Intelligence (OSINT) Tools and Resources Handbook