http://forum.razved.info//index.php?t=3543 ru http://forum.razved.info//index.php?t=3543&p=47606#pp47606 http://forum.razved.info//index.php?t=3543&p=47606#pp47606 <br>ara_367519 написал:<blockquote><div style="height:1px;width:1px;overflow:hidden">[q]</div>Возможно ли такое выполнить либо как-то обойти данную проблему? <img src="http://forum.razved.info//smiles/hi.gif" align=absmiddle alt=":hi:"><div style="height:1px;width:1px;overflow:hidden">[/q]</div></blockquote><ul><br />Можно поступить следующим образом.<br /><br />1. Построить карту не всего сайта, а его ресурса или папки, например, такую:<br /><br /><font color="blue">res.namesite.ru\Folder</font><br /><br /><br />2. Выполнить пакет, например:<br /><font color="blue"><br />site:namesite.ru inurl:help || Yandex=7 <br />site:namesite.ru inurl:help || Google=8 <br />site:namesite.ru inurl:help || MSN=7<br /></font>а затем выполнить для списка "Объединение": "Подменю Золотого ключика - Операции над списком - Построить карту".<br /><br /><br />3. Применить белый и черный список (ниже применен только белый список):<br /><font color="blue"><br />site:namesite.ru ++email || Yandex=7 <br />site:namesite.ru ++email || Google=8 <br />site:namesite.ru ++email || MSN=7<br /></font>а затем выполнить для списка "Объединение": "Подменю Золотого ключика - Операции над списком - Построить карту".<br /><br /><br />4. Можно смешать 2,3 и 4 возможности:<br /><font color="blue"><br />site:namesite.ru\Folder inurl:help ++email || Yandex=7 <br />site:namesite.ru\Folder inurl:help ++email || Google=8 <br />site:namesite.ru\Folder inurl:help ++email || MSN=7<br /></font>а затем выполнить для списка "Объединение": "Подменю Золотого ключика - Операции над списком - Построить карту".<br /><br />Можете доработать (усовершенствовать) эти пакеты, добавив поисковики и запросы, затем можете сделать универсальный пакет с параметрами и обращаться к нему, указывая имя ресурса и фильтров.<br /><br />В пунктах 2-4 мы воспользовались тем, что СайтСпутник умеет строить не только карту сайта, но и <b>карту проекта</b> или <b>карту пакета запросов</b>, другими словами, формирует последовательность карт сайтов, ресурсов и папок, из ссылок, найденных в Проекте. Карта сайта - это частный случай такой структуры.<br /><br /><br />Поскольку в настоящее время <b>SiteSputnik Invisible</b> реализован для поиска невидимых ссылок для сайта на базе его карты, являющейся материализацией видимого интернета, то "обманите" СайтСпутник следующим образом: отредактируйте ячейку "Запрос, пакет" в верхней табличке, указав в ней имя карты сайта. Для п.4 в этой ячейке следует ввести: <br /><font color="blue"><br />Карта namesite.ru\Folder<br /></font><br />В этом случае все базовые функции поиска невидимых ссылок будут работать.<br /><br /><u>Очень интересное замечание</u>.<br />В <b>СайтСпутнике</b> уже заложен подход к поиску невидимых ссылок по Проекту (по пакету запросов). Осталось реализовать работу базовых функций с карты проекта, а не только с карты сайта. Не делаю этого, потому что опыт применения <b>СайтСпутник Инвизибл</b>, показал, что наоборот надо развиваться в сторону некоторого сужения стартовой площадки, а не к её расширению. Ваше предложение, уважаемый <b>ara_367519</b>, ещё одно подтверждение этого опыта. Но, при необходимости, поиск в невидимом интернете по Проекту (по пакету запросов) реализовать реально. Саму концепцию такого поиска я только что представил.<br /></ul><br /> Алексей Мыльников Thu, 16 Jan 2014 16:16:20 +0400 http://forum.razved.info//index.php?t=3543&p=47590#pp47590 http://forum.razved.info//index.php?t=3543&p=47590#pp47590 В процессе работы с данным блоком наряду с полезностью, обратил внимание на отсутствие такой вот функции.. которую хотелось бы видеть в программе.. опишу ситуацию и проблему - при исследовании ресурса, программа выполняет построение КС (карты сайта).. после чего изучаем структуру сайта.. при неоходимости запускаем поиск невидимых ссылок при помощи spider, но он как известно запускается с карты сайта.. в случае, если собралось более 1000 ссылок - запуск данного модуля иногда становится проблематичным - как по времени, так и по иным причинам.. ясно, что поиск должен вестись более целенаправленно.. так вот - изучая несколько ресурсов отметил для себя что нужные файлы, как правило, имееют сходный адрес..и соответственно хотелось бы поиск при помощи spider вести именно с них.. для этого можно было бы (если возможно) сделать фильтрацию КС и выборку необходимых файлов по "маске".. чтобы как-то оптимизировать работу.. и после отрабатывать именно их.. Возможно ли такое выполнить либо как-то обойти данную проблему? <img src="http://forum.razved.info//smiles/hi.gif" align=absmiddle alt=":hi:"> ara_367519 Thu, 16 Jan 2014 12:16:39 +0400 http://forum.razved.info//index.php?t=3543&p=37009#pp37009 http://forum.razved.info//index.php?t=3543&p=37009#pp37009 <br>Vinni написал:<blockquote><div style="height:1px;width:1px;overflow:hidden">[q]</div>А смысл включать такие недоступные ссылки в результаты? <img src="http://forum.razved.info//smiles/minus.gif" align=absmiddle alt=":minus:"><br />Интересны только те ссылки, которые доступны. <img src="http://forum.razved.info//smiles/wink.gif" align=absmiddle alt=":wink:"><br /> <div style="height:1px;width:1px;overflow:hidden">[/q]</div></blockquote><br />Речь идет о проверке на доступность и существование. Далее можно включить, можно и не включить. Смысл включить: сегодня недоступна, через какое-то время доступна. Если это недоступная папка, то в ней могут быть доступные невидимые ссылки. Существует такая-то ссылка,<b> но она недоступна</b> - это тоже информация.<br /><br>Vinni написал:<blockquote><div style="height:1px;width:1px;overflow:hidden">[q]</div>Кстати, в профессиональных сканерах веб-уязвимостей, которые тоже сканируют веб-сайты, часто делается проверка на то, как возвращается информация на данном сайте о том, что страница недоступна.<br />Дело в том, что в ряде CMS (например Drupal) возвращается код 200, а не 404 и либо посылается заголовок Location, переадресующий в корень сайта, либо просто возвращается страница с ошибкой<br />Поэтому сканеры сначала посылают запрос к явно несуществующей странице и анализируют ответ на такой запрос (соответственно учитывают его результаты при сканировании)<div style="height:1px;width:1px;overflow:hidden">[/q]</div></blockquote><br />Нормальный способ. Делаю похожие операции. Алексей Мыльников Sat, 19 Jan 2013 12:42:58 +0400 http://forum.razved.info//index.php?t=3543&p=37008#pp37008 http://forum.razved.info//index.php?t=3543&p=37008#pp37008 Дмитрий, кстати, а DirBuster (_ttps://www.owasp.org/index.php/Category:OWASP_DirBuster_Project) не пробовали в работе? <br /> Vinni Sat, 19 Jan 2013 12:03:11 +0400 http://forum.razved.info//index.php?t=3543&p=37007#pp37007 http://forum.razved.info//index.php?t=3543&p=37007#pp37007 <br>Алексей Мыльников написал:<blockquote><div style="height:1px;width:1px;overflow:hidden">[q]</div>При открытии в СайтСпутнике в колонке "Комментарий" Вы увидите "403 Forbidden" или "404 Not Found" и, соответственно, поймете, что ссылка закрыта или не существует. <div style="height:1px;width:1px;overflow:hidden">[/q]</div></blockquote><br /><br />А смысл включать такие недоступные ссылки в результаты? <img src="http://forum.razved.info//smiles/minus.gif" align=absmiddle alt=":minus:"> <br />Интересны только те ссылки, которые доступны. <img src="http://forum.razved.info//smiles/wink.gif" align=absmiddle alt=":wink:"> <br /><br />Кстати, в профессиональных сканерах веб-уязвимостей, которые тоже сканируют веб-сайты, часто делается проверка на то, как возвращается информация на данном сайте о том, что страница недоступна.<br />Дело в том, что в ряде CMS (например Drupal) возвращается код 200, а не 404 и либо посылается заголовок Location, переадресующий в корень сайта, либо просто возвращается страница с ошибкой<br />Поэтому сканеры сначала посылают запрос к явно несуществующей странице и анализируют ответ на такой запрос (соответственно учитывают его результаты при сканировании)<br /><br /> Vinni Sat, 19 Jan 2013 11:59:35 +0400 http://forum.razved.info//index.php?t=3543&p=37004#pp37004 http://forum.razved.info//index.php?t=3543&p=37004#pp37004 <u>По пункту 1.</u> Спасибо. Поправил в версии 8.2.4.4 копает до конца. <br /><br /><u>По пункту 2.</u> <br /><br />Это хорошо, что Вы нашли 10 невидимых ссылок. Это не мало для такой работы.<br /><br />При поиске в невидимом интернете могут возникнуть две ситуации. <br /><br /><b>А. Невидимых ссылок одна или несколько</b>, тогда достаточно ручной работы или средств СайтСпутника, обеспечивающих неручную работу, а именно, выбираете: подменю "Золотого ключика" - "Операции над списком" - "Отметить все пункты" и отмечаете все пункты (визуально маленькие серые шарики заменяются на зеленые) и оптом открываете их в СайтСпутнике или во внешнем браузере.<br /> <br />При открытии в СайтСпутнике в колонке "Комментарий" Вы увидите "403 Forbidden" или "404 Not Found" и, соответственно, поймете, что ссылка закрыта или не существует. <br /><br /><b>Б. Невидимых ссылок очень много</b>, то есть, сайт с "большими проблемами", тогда СайтСпутник найдет эти ссылки, Вы их экспортируйте в отдельный файл, затем импортируете найденные ссылки в специальные приложения. <br /><br />Задача <b>SiteSputbik Invisible</b> найти невидимые ссылки. А качалок, программ для копирования сайтов, программ локального поиска (а он тоже может потребоваться), FTP-explorer для хождения по ссылкам и папкам, хороших браузеров, достаточно много. Их надо использовать в подобных случаях в зависимости от ситуации, добыв при помощи СайтСпутника невидимые ссылки. Алексей Мыльников Sat, 19 Jan 2013 01:48:43 +0400 http://forum.razved.info//index.php?t=3543&p=37003#pp37003 http://forum.razved.info//index.php?t=3543&p=37003#pp37003 В процессе тестирования поиска в невидимом Интернете столкнулся с несколькими сложностями, в результате чего появились предложения:<br /><br />1. При использовании "Поиска в окрестности" в случае выбора большого диапазона цифр (11111-99999) программа корректно обходит ссылки, но затем рано или поздно "зависает", после чего выдает сообщение типа "работа с NewRef прервана по лимиту времени (30 сек.). " и дальнейшее сканирование заканчивается. Лимит можно увеличить, но радикально ситуацию это не изменит. Можно ли как-то сделать так, чтобы программа не прекращала работу, а по истечении лимита времени на открытие ссылки просто переходила к следующей?<br /><br />2. В результате проведенного мной эксперимента на диапазоне в 10 ссылок (все они были "невидимыми") и последовательного открытия каждой из них в браузере выяснилось, что 6 из них выдавали ошибку "Доступ запрещен" (403), две из них осуществляли переадресацию на другую страницу, а две оставшиеся предлагали скачать файл. Последний результат вдохновил, а вот перспектива открывать каждую из ссылок вручную не особенно обрадовала. В этой связи, можно ли в карту сайта добавить столбец, в котором отображался бы результат сканирования этой страницы? Варианты: ошибка 404; ошибка 403; файл; переадресация и т.п. Понятно, что это снизит скорость построения Карты сайта, но зато это избавит от необходимости трат времени на просмотр несуществующих или закрытых страниц. petryashov Fri, 18 Jan 2013 19:12:58 +0400