Форум Сообщества Практиков Конкурентной разведки (СПКР)

В процессе тестирования поиска в невидимом Интернете столкнулся с несколькими сложностями, в результате чего появились предложения:

1. При использовании "Поиска в окрестности" в случае выбора большого диапазона цифр (11111-99999) программа корректно обходит ссылки, но затем рано или поздно "зависает", после чего выдает сообщение типа "работа с NewRef прервана по лимиту времени (30 сек.). " и дальнейшее сканирование заканчивается. Лимит можно увеличить, но радикально ситуацию это не изменит. Можно ли как-то сделать так, чтобы программа не прекращала работу, а по истечении лимита времени на открытие ссылки просто переходила к следующей?

2. В результате проведенного мной эксперимента на диапазоне в 10 ссылок (все они были "невидимыми") и последовательного открытия каждой из них в браузере выяснилось, что 6 из них выдавали ошибку "Доступ запрещен" (403), две из них осуществляли переадресацию на другую страницу, а две оставшиеся предлагали скачать файл. Последний результат вдохновил, а вот перспектива открывать каждую из ссылок вручную не особенно обрадовала. В этой связи, можно ли в карту сайта добавить столбец, в котором отображался бы результат сканирования этой страницы? Варианты: ошибка 404; ошибка 403; файл; переадресация и т.п. Понятно, что это снизит скорость построения Карты сайта, но зато это избавит от необходимости трат времени на просмотр несуществующих или закрытых страниц.

Алексей Мыльников написал:

[q]

При открытии в СайтСпутнике в колонке "Комментарий" Вы увидите "403 Forbidden" или "404 Not Found" и, соответственно, поймете, что ссылка закрыта или не существует.

[/q]

А смысл включать такие недоступные ссылки в результаты?
Интересны только те ссылки, которые доступны.

Кстати, в профессиональных сканерах веб-уязвимостей, которые тоже сканируют веб-сайты, часто делается проверка на то, как возвращается информация на данном сайте о том, что страница недоступна.
Дело в том, что в ряде CMS (например Drupal) возвращается код 200, а не 404 и либо посылается заголовок Location, переадресующий в корень сайта, либо просто возвращается страница с ошибкой
Поэтому сканеры сначала посылают запрос к явно несуществующей странице и анализируют ответ на такой запрос (соответственно учитывают его результаты при сканировании)

Vinni написал:

[q]

А смысл включать такие недоступные ссылки в результаты?
Интересны только те ссылки, которые доступны.

[/q]

Речь идет о проверке на доступность и существование. Далее можно включить, можно и не включить. Смысл включить: сегодня недоступна, через какое-то время доступна. Если это недоступная папка, то в ней могут быть доступные невидимые ссылки. Существует такая-то ссылка, но она недоступна - это тоже информация.

Vinni написал:

[q]

Кстати, в профессиональных сканерах веб-уязвимостей, которые тоже сканируют веб-сайты, часто делается проверка на то, как возвращается информация на данном сайте о том, что страница недоступна.
Дело в том, что в ряде CMS (например Drupal) возвращается код 200, а не 404 и либо посылается заголовок Location, переадресующий в корень сайта, либо просто возвращается страница с ошибкой
Поэтому сканеры сначала посылают запрос к явно несуществующей странице и анализируют ответ на такой запрос (соответственно учитывают его результаты при сканировании)

[/q]

Нормальный способ. Делаю похожие операции.

ara_367519 написал:

[q]

Возможно ли такое выполнить либо как-то обойти данную проблему?

[/q]

Можно поступить следующим образом.

1. Построить карту не всего сайта, а его ресурса или папки, например, такую:

res.namesite.ru\Folder


2. Выполнить пакет, например:

site:namesite.ru inurl:help || Yandex=7
site:namesite.ru inurl:help || Google=8
site:namesite.ru inurl:help || MSN=7
а затем выполнить для списка "Объединение": "Подменю Золотого ключика - Операции над списком - Построить карту".


3. Применить белый и черный список (ниже применен только белый список):

site:namesite.ru ++email || Yandex=7
site:namesite.ru ++email || Google=8
site:namesite.ru ++email || MSN=7
а затем выполнить для списка "Объединение": "Подменю Золотого ключика - Операции над списком - Построить карту".


4. Можно смешать 2,3 и 4 возможности:

site:namesite.ru\Folder inurl:help ++email || Yandex=7
site:namesite.ru\Folder inurl:help ++email || Google=8
site:namesite.ru\Folder inurl:help ++email || MSN=7
а затем выполнить для списка "Объединение": "Подменю Золотого ключика - Операции над списком - Построить карту".

Можете доработать (усовершенствовать) эти пакеты, добавив поисковики и запросы, затем можете сделать универсальный пакет с параметрами и обращаться к нему, указывая имя ресурса и фильтров.

В пунктах 2-4 мы воспользовались тем, что СайтСпутник умеет строить не только карту сайта, но и карту проекта или карту пакета запросов, другими словами, формирует последовательность карт сайтов, ресурсов и папок, из ссылок, найденных в Проекте. Карта сайта - это частный случай такой структуры.


Поскольку в настоящее время SiteSputnik Invisible реализован для поиска невидимых ссылок для сайта на базе его карты, являющейся материализацией видимого интернета, то "обманите" СайтСпутник следующим образом: отредактируйте ячейку "Запрос, пакет" в верхней табличке, указав в ней имя карты сайта. Для п.4 в этой ячейке следует ввести:

Карта namesite.ru\Folder

В этом случае все базовые функции поиска невидимых ссылок будут работать.

Очень интересное замечание.
В СайтСпутнике уже заложен подход к поиску невидимых ссылок по Проекту (по пакету запросов). Осталось реализовать работу базовых функций с карты проекта, а не только с карты сайта. Не делаю этого, потому что опыт применения СайтСпутник Инвизибл, показал, что наоборот надо развиваться в сторону некоторого сужения стартовой площадки, а не к её расширению. Ваше предложение, уважаемый ara_367519, ещё одно подтверждение этого опыта. Но, при необходимости, поиск в невидимом интернете по Проекту (по пакету запросов) реализовать реально. Саму концепцию такого поиска я только что представил.