Предложения по Invisible

Форум Сообщества Практиков Конкурентной разведки (СПКР)

Конкурентная разведка, Бизнес-разведка, Корпоративная разведка,
Деловая разведка по открытым источникам в бизнесе.
Работаем строго в рамках закона.

Дезинформация и активные мероприятия в бизнесе
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Предложения по программе для допроса Интернета СайтСпутник »   Предложения по Invisible
RSS

Предложения по Invisible

<<Назад  Вперед>>Печать
 
petryashov
Администратор

Откуда: Москва
Всего сообщений: 490
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009
В процессе тестирования поиска в невидимом Интернете столкнулся с несколькими сложностями, в результате чего появились предложения:

1. При использовании "Поиска в окрестности" в случае выбора большого диапазона цифр (11111-99999) программа корректно обходит ссылки, но затем рано или поздно "зависает", после чего выдает сообщение типа "работа с NewRef прервана по лимиту времени (30 сек.). " и дальнейшее сканирование заканчивается. Лимит можно увеличить, но радикально ситуацию это не изменит. Можно ли как-то сделать так, чтобы программа не прекращала работу, а по истечении лимита времени на открытие ссылки просто переходила к следующей?

2. В результате проведенного мной эксперимента на диапазоне в 10 ссылок (все они были "невидимыми") и последовательного открытия каждой из них в браузере выяснилось, что 6 из них выдавали ошибку "Доступ запрещен" (403), две из них осуществляли переадресацию на другую страницу, а две оставшиеся предлагали скачать файл. Последний результат вдохновил, а вот перспектива открывать каждую из ссылок вручную не особенно обрадовала. В этой связи, можно ли в карту сайта добавить столбец, в котором отображался бы результат сканирования этой страницы? Варианты: ошибка 404; ошибка 403; файл; переадресация и т.п. Понятно, что это снизит скорость построения Карты сайта, но зато это избавит от необходимости трат времени на просмотр несуществующих или закрытых страниц.

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 833
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
По пункту 1. Спасибо. Поправил в версии 8.2.4.4 копает до конца.

По пункту 2.

Это хорошо, что Вы нашли 10 невидимых ссылок. Это не мало для такой работы.

При поиске в невидимом интернете могут возникнуть две ситуации.

А. Невидимых ссылок одна или несколько, тогда достаточно ручной работы или средств СайтСпутника, обеспечивающих неручную работу, а именно, выбираете: подменю "Золотого ключика" - "Операции над списком" - "Отметить все пункты" и отмечаете все пункты (визуально маленькие серые шарики заменяются на зеленые) и оптом открываете их в СайтСпутнике или во внешнем браузере.

При открытии в СайтСпутнике в колонке "Комментарий" Вы увидите "403 Forbidden" или "404 Not Found" и, соответственно, поймете, что ссылка закрыта или не существует.

Б. Невидимых ссылок очень много, то есть, сайт с "большими проблемами", тогда СайтСпутник найдет эти ссылки, Вы их экспортируйте в отдельный файл, затем импортируете найденные ссылки в специальные приложения.

Задача SiteSputbik Invisible найти невидимые ссылки. А качалок, программ для копирования сайтов, программ локального поиска (а он тоже может потребоваться), FTP-explorer для хождения по ссылкам и папкам, хороших браузеров, достаточно много. Их надо использовать в подобных случаях в зависимости от ситуации, добыв при помощи СайтСпутника невидимые ссылки.

Vinni
Администратор

Всего сообщений: 2711
Рейтинг пользователя: 22


Ссылка


Дата регистрации на форуме:
5 июня 2009

Алексей Мыльников написал:
[q]
При открытии в СайтСпутнике в колонке "Комментарий" Вы увидите "403 Forbidden" или "404 Not Found" и, соответственно, поймете, что ссылка закрыта или не существует.
[/q]


А смысл включать такие недоступные ссылки в результаты? :minus:
Интересны только те ссылки, которые доступны. :wink:

Кстати, в профессиональных сканерах веб-уязвимостей, которые тоже сканируют веб-сайты, часто делается проверка на то, как возвращается информация на данном сайте о том, что страница недоступна.
Дело в том, что в ряде CMS (например Drupal) возвращается код 200, а не 404 и либо посылается заголовок Location, переадресующий в корень сайта, либо просто возвращается страница с ошибкой
Поэтому сканеры сначала посылают запрос к явно несуществующей странице и анализируют ответ на такой запрос (соответственно учитывают его результаты при сканировании)

Vinni
Администратор

Всего сообщений: 2711
Рейтинг пользователя: 22


Ссылка


Дата регистрации на форуме:
5 июня 2009
Дмитрий, кстати, а DirBuster (_ttps://www.owasp.org/index.php/Category:OWASP_DirBuster_Project) не пробовали в работе?
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 833
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

Vinni написал:
[q]
А смысл включать такие недоступные ссылки в результаты? :minus:
Интересны только те ссылки, которые доступны. :wink:
[/q]

Речь идет о проверке на доступность и существование. Далее можно включить, можно и не включить. Смысл включить: сегодня недоступна, через какое-то время доступна. Если это недоступная папка, то в ней могут быть доступные невидимые ссылки. Существует такая-то ссылка, но она недоступна - это тоже информация.

Vinni написал:
[q]
Кстати, в профессиональных сканерах веб-уязвимостей, которые тоже сканируют веб-сайты, часто делается проверка на то, как возвращается информация на данном сайте о том, что страница недоступна.
Дело в том, что в ряде CMS (например Drupal) возвращается код 200, а не 404 и либо посылается заголовок Location, переадресующий в корень сайта, либо просто возвращается страница с ошибкой
Поэтому сканеры сначала посылают запрос к явно несуществующей странице и анализируют ответ на такой запрос (соответственно учитывают его результаты при сканировании)
[/q]

Нормальный способ. Делаю похожие операции.

ara_367519
Долгожитель форума

Откуда: г. Пенза
Всего сообщений: 808
Рейтинг пользователя: 14


Ссылка


Дата регистрации на форуме:
4 дек. 2012
В процессе работы с данным блоком наряду с полезностью, обратил внимание на отсутствие такой вот функции.. которую хотелось бы видеть в программе.. опишу ситуацию и проблему - при исследовании ресурса, программа выполняет построение КС (карты сайта).. после чего изучаем структуру сайта.. при неоходимости запускаем поиск невидимых ссылок при помощи spider, но он как известно запускается с карты сайта.. в случае, если собралось более 1000 ссылок - запуск данного модуля иногда становится проблематичным - как по времени, так и по иным причинам.. ясно, что поиск должен вестись более целенаправленно.. так вот - изучая несколько ресурсов отметил для себя что нужные файлы, как правило, имееют сходный адрес..и соответственно хотелось бы поиск при помощи spider вести именно с них.. для этого можно было бы (если возможно) сделать фильтрацию КС и выборку необходимых файлов по "маске".. чтобы как-то оптимизировать работу.. и после отрабатывать именно их.. Возможно ли такое выполнить либо как-то обойти данную проблему? :hi:

---
истина где-то рядом...
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 833
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

ara_367519 написал:
[q]
Возможно ли такое выполнить либо как-то обойти данную проблему? :hi:
[/q]

    Можно поступить следующим образом.

    1. Построить карту не всего сайта, а его ресурса или папки, например, такую:

    res.namesite.ru\Folder


    2. Выполнить пакет, например:

    site:namesite.ru inurl:help || Yandex=7
    site:namesite.ru inurl:help || Google=8
    site:namesite.ru inurl:help || MSN=7
    а затем выполнить для списка "Объединение": "Подменю Золотого ключика - Операции над списком - Построить карту".


    3. Применить белый и черный список (ниже применен только белый список):

    site:namesite.ru ++email || Yandex=7
    site:namesite.ru ++email || Google=8
    site:namesite.ru ++email || MSN=7
    а затем выполнить для списка "Объединение": "Подменю Золотого ключика - Операции над списком - Построить карту".


    4. Можно смешать 2,3 и 4 возможности:

    site:namesite.ru\Folder inurl:help ++email || Yandex=7
    site:namesite.ru\Folder inurl:help ++email || Google=8
    site:namesite.ru\Folder inurl:help ++email || MSN=7
    а затем выполнить для списка "Объединение": "Подменю Золотого ключика - Операции над списком - Построить карту".

    Можете доработать (усовершенствовать) эти пакеты, добавив поисковики и запросы, затем можете сделать универсальный пакет с параметрами и обращаться к нему, указывая имя ресурса и фильтров.

    В пунктах 2-4 мы воспользовались тем, что СайтСпутник умеет строить не только карту сайта, но и карту проекта или карту пакета запросов, другими словами, формирует последовательность карт сайтов, ресурсов и папок, из ссылок, найденных в Проекте. Карта сайта - это частный случай такой структуры.


    Поскольку в настоящее время SiteSputnik Invisible реализован для поиска невидимых ссылок для сайта на базе его карты, являющейся материализацией видимого интернета, то "обманите" СайтСпутник следующим образом: отредактируйте ячейку "Запрос, пакет" в верхней табличке, указав в ней имя карты сайта. Для п.4 в этой ячейке следует ввести:

    Карта namesite.ru\Folder

    В этом случае все базовые функции поиска невидимых ссылок будут работать.

    Очень интересное замечание.
    В СайтСпутнике уже заложен подход к поиску невидимых ссылок по Проекту (по пакету запросов). Осталось реализовать работу базовых функций с карты проекта, а не только с карты сайта. Не делаю этого, потому что опыт применения СайтСпутник Инвизибл, показал, что наоборот надо развиваться в сторону некоторого сужения стартовой площадки, а не к её расширению. Ваше предложение, уважаемый ara_367519, ещё одно подтверждение этого опыта. Но, при необходимости, поиск в невидимом интернете по Проекту (по пакету запросов) реализовать реально. Саму концепцию такого поиска я только что представил.


<<Назад  Вперед>>Печать
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Предложения по программе для допроса Интернета СайтСпутник »   Предложения по Invisible
RSS

Последние RSS
SiteSputnik. Об одном подходе к мониторингу Телеграм
Безопасность при работе на ПК
Книги о критическом мышлении
Наказывать за вмешательство в частную жизнь, Верховный суд
CI Academic Materials
CiMi.CON Evolution USA
Поиск в КЭШ поисковиков по запросу и пакету запросов
СайтСпутник: Многоязычность, Юникод, MS ACCESS
Новый курс OSINT от АИС
Год тюрьмы за отказ удалять
Книга "Строим доверие по методикам спецслужб"
аналог "Консультанта" о зарубежном законодательстве
Открытые данные ФНС
Получаем информацию по VIN
Competitive-Market Intelligence Conference, Berlin 2018
Не все VPN-сервисы одинаково полезны
«Яндекс» научился выдавать в поиске не скрытые Google-документы. Правда лавочку
War and marketing: 1937 July 7th vs. 2018 July 1st
Историческое. Агентурная разведка
Open Source Intelligence (OSINT) Tools and Resources Handbook

Самые активные 20 тем RSS
Мелочи