Версия для печати
- Форум Сообщества Практиков Конкурентной разведки (СПКР) http://forum.razved.info/
-- Предложения по программе для допроса Интернета СайтСпутник http://forum.razved.info//index.php?f=40
--- Предложения по Invisible http://forum.razved.info//index.php?t=3543
-- petryashov написал 18 января 2013 19:12
В процессе тестирования поиска в невидимом Интернете столкнулся с несколькими сложностями, в результате чего появились предложения:
1. При использовании "Поиска в окрестности" в случае выбора большого диапазона цифр (11111-99999) программа корректно обходит ссылки, но затем рано или поздно "зависает", после чего выдает сообщение типа "работа с NewRef прервана по лимиту времени (30 сек.). " и дальнейшее сканирование заканчивается. Лимит можно увеличить, но радикально ситуацию это не изменит. Можно ли как-то сделать так, чтобы программа не прекращала работу, а по истечении лимита времени на открытие ссылки просто переходила к следующей?
2. В результате проведенного мной эксперимента на диапазоне в 10 ссылок (все они были "невидимыми") и последовательного открытия каждой из них в браузере выяснилось, что 6 из них выдавали ошибку "Доступ запрещен" (403), две из них осуществляли переадресацию на другую страницу, а две оставшиеся предлагали скачать файл. Последний результат вдохновил, а вот перспектива открывать каждую из ссылок вручную не особенно обрадовала. В этой связи, можно ли в карту сайта добавить столбец, в котором отображался бы результат сканирования этой страницы? Варианты: ошибка 404; ошибка 403; файл; переадресация и т.п. Понятно, что это снизит скорость построения Карты сайта, но зато это избавит от необходимости трат времени на просмотр несуществующих или закрытых страниц.
-- Алексей Мыльников написал 19 января 2013 1:48
По пункту 1. Спасибо. Поправил в версии 8.2.4.4 копает до конца.
По пункту 2.
Это хорошо, что Вы нашли 10 невидимых ссылок. Это не мало для такой работы.
При поиске в невидимом интернете могут возникнуть две ситуации.
А. Невидимых ссылок одна или несколько, тогда достаточно ручной работы или средств СайтСпутника, обеспечивающих неручную работу, а именно, выбираете: подменю "Золотого ключика" - "Операции над списком" - "Отметить все пункты" и отмечаете все пункты (визуально маленькие серые шарики заменяются на зеленые) и оптом открываете их в СайтСпутнике или во внешнем браузере.
При открытии в СайтСпутнике в колонке "Комментарий" Вы увидите "403 Forbidden" или "404 Not Found" и, соответственно, поймете, что ссылка закрыта или не существует.
Б. Невидимых ссылок очень много, то есть, сайт с "большими проблемами", тогда СайтСпутник найдет эти ссылки, Вы их экспортируйте в отдельный файл, затем импортируете найденные ссылки в специальные приложения.
Задача SiteSputbik Invisible найти невидимые ссылки. А качалок, программ для копирования сайтов, программ локального поиска (а он тоже может потребоваться), FTP-explorer для хождения по ссылкам и папкам, хороших браузеров, достаточно много. Их надо использовать в подобных случаях в зависимости от ситуации, добыв при помощи СайтСпутника невидимые ссылки.
-- Vinni написал 19 января 2013 11:59
Алексей Мыльников написал:[q]
При открытии в СайтСпутнике в колонке "Комментарий" Вы увидите "403 Forbidden" или "404 Not Found" и, соответственно, поймете, что ссылка закрыта или не существует. [/q]
А смысл включать такие недоступные ссылки в результаты? 
Интересны только те ссылки, которые доступны. 
Кстати, в профессиональных сканерах веб-уязвимостей, которые тоже сканируют веб-сайты, часто делается проверка на то, как возвращается информация на данном сайте о том, что страница недоступна.
Дело в том, что в ряде CMS (например Drupal) возвращается код 200, а не 404 и либо посылается заголовок Location, переадресующий в корень сайта, либо просто возвращается страница с ошибкой
Поэтому сканеры сначала посылают запрос к явно несуществующей странице и анализируют ответ на такой запрос (соответственно учитывают его результаты при сканировании)
-- Vinni написал 19 января 2013 12:03
Дмитрий, кстати, а DirBuster (_ttps://www.owasp.org/index.php/Category:OWASP_DirBuster_Project) не пробовали в работе?
-- Алексей Мыльников написал 19 января 2013 12:42
Vinni написал:[q]
А смысл включать такие недоступные ссылки в результаты?
Интересны только те ссылки, которые доступны.
[/q]
Речь идет о проверке на доступность и существование. Далее можно включить, можно и не включить. Смысл включить: сегодня недоступна, через какое-то время доступна. Если это недоступная папка, то в ней могут быть доступные невидимые ссылки. Существует такая-то ссылка, но она недоступна - это тоже информация.
Vinni написал:[q]
Кстати, в профессиональных сканерах веб-уязвимостей, которые тоже сканируют веб-сайты, часто делается проверка на то, как возвращается информация на данном сайте о том, что страница недоступна.
Дело в том, что в ряде CMS (например Drupal) возвращается код 200, а не 404 и либо посылается заголовок Location, переадресующий в корень сайта, либо просто возвращается страница с ошибкой
Поэтому сканеры сначала посылают запрос к явно несуществующей странице и анализируют ответ на такой запрос (соответственно учитывают его результаты при сканировании)[/q]
Нормальный способ. Делаю похожие операции.
-- ara_367519 написал 16 января 2014 12:16
В процессе работы с данным блоком наряду с полезностью, обратил внимание на отсутствие такой вот функции.. которую хотелось бы видеть в программе.. опишу ситуацию и проблему - при исследовании ресурса, программа выполняет построение КС (карты сайта).. после чего изучаем структуру сайта.. при неоходимости запускаем поиск невидимых ссылок при помощи spider, но он как известно запускается с карты сайта.. в случае, если собралось более 1000 ссылок - запуск данного модуля иногда становится проблематичным - как по времени, так и по иным причинам.. ясно, что поиск должен вестись более целенаправленно.. так вот - изучая несколько ресурсов отметил для себя что нужные файлы, как правило, имееют сходный адрес..и соответственно хотелось бы поиск при помощи spider вести именно с них.. для этого можно было бы (если возможно) сделать фильтрацию КС и выборку необходимых файлов по "маске".. чтобы как-то оптимизировать работу.. и после отрабатывать именно их.. Возможно ли такое выполнить либо как-то обойти данную проблему? 
-- Алексей Мыльников написал 16 января 2014 16:16
ara_367519 написал:[q]
Возможно ли такое выполнить либо как-то обойти данную проблему? [/q]
Можно поступить следующим образом.
1. Построить карту не всего сайта, а его ресурса или папки, например, такую:
res.namesite.ru\Folder
2. Выполнить пакет, например:
site:namesite.ru inurl:help || Yandex=7
site:namesite.ru inurl:help || Google=8
site:namesite.ru inurl:help || MSN=7
а затем выполнить для списка "Объединение": "Подменю Золотого ключика - Операции над списком - Построить карту".
3. Применить белый и черный список (ниже применен только белый список):
site:namesite.ru ++email || Yandex=7
site:namesite.ru ++email || Google=8
site:namesite.ru ++email || MSN=7
а затем выполнить для списка "Объединение": "Подменю Золотого ключика - Операции над списком - Построить карту".
4. Можно смешать 2,3 и 4 возможности:
site:namesite.ru\Folder inurl:help ++email || Yandex=7
site:namesite.ru\Folder inurl:help ++email || Google=8
site:namesite.ru\Folder inurl:help ++email || MSN=7
а затем выполнить для списка "Объединение": "Подменю Золотого ключика - Операции над списком - Построить карту".
Можете доработать (усовершенствовать) эти пакеты, добавив поисковики и запросы, затем можете сделать универсальный пакет с параметрами и обращаться к нему, указывая имя ресурса и фильтров.
В пунктах 2-4 мы воспользовались тем, что СайтСпутник умеет строить не только карту сайта, но и карту проекта или карту пакета запросов, другими словами, формирует последовательность карт сайтов, ресурсов и папок, из ссылок, найденных в Проекте. Карта сайта - это частный случай такой структуры.
Поскольку в настоящее время SiteSputnik Invisible реализован для поиска невидимых ссылок для сайта на базе его карты, являющейся материализацией видимого интернета, то "обманите" СайтСпутник следующим образом: отредактируйте ячейку "Запрос, пакет" в верхней табличке, указав в ней имя карты сайта. Для п.4 в этой ячейке следует ввести:
Карта namesite.ru\Folder
В этом случае все базовые функции поиска невидимых ссылок будут работать.
Очень интересное замечание.
В СайтСпутнике уже заложен подход к поиску невидимых ссылок по Проекту (по пакету запросов). Осталось реализовать работу базовых функций с карты проекта, а не только с карты сайта. Не делаю этого, потому что опыт применения СайтСпутник Инвизибл, показал, что наоборот надо развиваться в сторону некоторого сужения стартовой площадки, а не к её расширению. Ваше предложение, уважаемый ara_367519, ещё одно подтверждение этого опыта. Но, при необходимости, поиск в невидимом интернете по Проекту (по пакету запросов) реализовать реально. Саму концепцию такого поиска я только что представил.
Этот форум работает на скрипте Intellect Board
© 2004-2007, 4X_Pro, Объединенный Открытый Проект