Версия для печати

-   Форум Сообщества Практиков Конкурентной разведки (СПКР) http://forum.razved.info/
--  Приемы работы с программой СайтСпутник (SiteSputnik) http://forum.razved.info//index.php?f=38
--- SiteSputnik Invisible - новые возможности http://forum.razved.info//index.php?t=5866

SiteSputnik Invisible: Просмотр и поиск в Комментариях и скрытой части всего сайта

В СайтСпутник Инвизибл (http://sitesputnik.ru/Help/SSInvisible.htm) версии 9.1.8 от 28.06.16 появились функции просмотра и простого поиска в Комментариях и скрытой части всего сайта по одному щелчку мышки.

Обращение к функции: подменю "Золотого ключика" - Невидимый интернет - Комментарии и скрытое - Показать для всей "Загрузки"" (см. красную стрелочку):

(http://sitesputnik.ru/Help/Pic/F/Invisible_Comment_Load.jpg)

Настройки с вкладки +Invisible таковы:

(http://sitesputnik.ru/Help/Pic/F/Invisible_Comment_Options.jpg)

Обязательные лексемы и запрещённые лексемы перечисляются через знак "точка с запятой".


Суть функции "Комментарии и скрытое - Показать для всей "Загрузки"" такова. СайтСпутник просмотрит все ссылки из БД "Загрузки", связанные с исследуемым объектом, и составит список, в котором для каждой ссылки будут перечислены комментарии и другие невидимые её фрагменты.

Зачем это нужно - в Комментариях и скрытом может находиться "интересная" информация от паролей до реквизитов реального хозяина сайта, оставленные, например, программистами или Web-дезайнерами. Много на эту тему говорить не буду, на мой взгляд, такую информацию при работе с объектом обязательно нужно просмотреть.

Применить эту функцию при исследовании сайта можно следующим образом.

1. Строим карту сайта (см. зеленую стрелочку на 1-ой картинке).
2. Запускаем поиск ссылок Спайдером (синяя стрелочка).
3. Можно примерить другие функции поиска невидимых ссылок из этого меню.
4. Выполняем для всех найденных видимых и невидимых ссылок "Показать для всей "Загрузки" (красная стрелочка).

Пример фрагмента выдачи на картинке:

(http://sitesputnik.ru/Help/Pic/F/Invisible_Comment_Output.jpg)



На первой картинке есть ещё две функции просмотра отдельных страниц. Они доступны даже из демки (смотрите в меню по серой стрелке).

SiteSputnik Invisible: открытые FTP и папки

В SiteSputnik Invisible (http://sitesputnik.ru/Help/SSInvisible.htm) версии 9.2.5 от 24.12.16 добавлена функция проверки FTP на открытость (спасибо ara_367519 за ссылку: habrahabr.ru/post/317780/).

Обращение к ней следующее: "Подменю Золотого ключика - Невидимый интернет - Папки открытые - Применить открытие FTP" (см. картинку ниже (красная галочка)).

(http://sitesputnik.ru/Help/Pic/F/FTP_Open.jpg)


Можно также поискать открытый FTP и папки открытые через поисковики: "Подменю Золотого ключика - Невидимый интернет - Папки открытые - Применить поисковики - Поиск автоматический".

Если кому интересно знать "кухню" такого поиска, то он (поиск) выполняется по следующему пакету запросов (пример приведен для сайта mnppsaturn.ru):

site:mnppsaturn.ru -inurl:htm -inurl:html intitle:"index of" "Parent Directory" || Google=100
site:mnppsaturn.ru -inurl:htm -inurl:html +intitle:"index of" +"Parent Directory" || Yahoo=100
site:mnppsaturn.ru -inurl:htm -inurl:html intitle:"index of" "Parent Directory" || Yandex=100 ^^Exit>0
site:mnppsaturn.ru -inurl:htm -inurl:html intitle:"index of" "index of" || Google=100
site:mnppsaturn.ru -inurl:htm -inurl:html +intitle:"index of" +"index of" || Yahoo=100
site:mnppsaturn.ru -inurl:htm -inurl:html intitle:"index of" "index of" || Yandex=100 ^^Exit>0
site:mnppsaturn.ru -inurl:htm -inurl:html intitle:"index of" || Google=100
site:mnppsaturn.ru -inurl:htm -inurl:html +intitle:"index of" || Yahoo=100
site:mnppsaturn.ru -inurl:htm -inurl:html intitle:"index of" || Yandex=100

Пояснения.
Здесь 3 тройки запросов. Каждая следующая тройка - это менее точные (менее строгие) запросы. Оператор ^^Exit>0 (это чисто вспомогательный оператор СайтСпутника), который прекращает вызов следующих за ним запросов, если предыдущие запросы что-то нашли. Так достигается более релевантный ответ (если он есть) на запросы. Если ответа нет, то выполняются менее точные (строгие) запросы.
В каждой тройке одинаковые запросы к Гуглю (он лучше работает по таким запросам), Яндексу и Яху.

Ещё один пример, выполненный 24.12.16 через поисковики - поиск папок открытых для сайта microsoft.com. Он принес следующие результаты:

https://packages.microsoft.com/repos/azurecore/pool/main/libm/
https://packages.microsoft.com/repos/azurecore/pool/main/libs/
https://packages.microsoft.com/repos/azurecore/pool/main/
https://packages.microsoft.com/repos/azurecore/pool/main/r/
https://packages.microsoft.com/repos/azurecore-test/dists/
https://packages.microsoft.com/repos/azurecore/pool/main/libb/
https://packages.microsoft.com/repos/azurecore/pool/main/i/
https://packages.microsoft.com/repos/servicefabric/
https://packages.microsoft.com/repos/azurecore/pool/main/o/
https://packages.microsoft.com/repos/azurecore-devel/pool/main/a/
https://packages.microsoft.com/repos/azurecore-test/
https://packages.microsoft.com/repos/sonic/pool/main/
https://packages.microsoft.com/repos/servicefabric/dists/
https://packages.microsoft.com/repos/dotnet/pool/main/
https://packages.microsoft.com/repos/servicefabric/dists/trusty/
https://packages.microsoft.com/repos/dotnet-rc/dists/trusty/
https://packages.microsoft.com/repos/servicefabric/dists/trusty/main/
https://packages.microsoft.com/repos/servicefabric/pool/
https://packages.microsoft.com/repos/dotnet-release/dists/trusty/
https://packages.microsoft.com/repos/mssql-ubuntu-vivid-preview/dists/
https://packages.microsoft.com/repos/azure-cli/dists/
https://packages.microsoft.com/yumrepos/mssql-rhel7-preview/
https://packages.microsoft.com/repos/mssql-ubuntu-vivid-preview/
research.microsoft.com/en-us/um/people/helenw/thesis/figs/
https://packages.microsoft.com/yumrepos/mssql-rhel6-preview/
https://packages.microsoft.com/repos/mssql-ubuntu-vivid-preview/dists/vivid/
https://packages.microsoft.com/repos/dotnet-release/dists/trusty/main/
https://packages.microsoft.com/repos/mssql-ubuntu-preview/dists/xenial/main/
https://packages.microsoft.com/repos/mssql-ubuntu-vivid-preview/pool/main/u/
https://packages.microsoft.com/repos/azurecore-test/dists/xenial/main/
https://packages.microsoft.com/repos/dotnet-release/dists/xenial/main/
https://packages.microsoft.com/repos/dotnet-rc/pool/main/d/
https://packages.microsoft.com/repos/azurecore/dists/trusty/
https://packages.microsoft.com/repos/dotnet-rc/pool/main/t/
https://packages.microsoft.com/repos/dotnet/dists/trusty/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-dev-1.0.0-preview3-003826/
https://packages.microsoft.com/repos/mssql-ubuntu-test/dists/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-dev-1.0.0-preview3-003830/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-dev-1.0.0-preview3-003872/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-hostfxr-1.0.2-beta-000596-00/
https://packages.microsoft.com/repos/dotnet/pool/main/d/
https://packages.microsoft.com/repos/xdb/
https://packages.microsoft.com/repos/dotnet-release/dists/
https://packages.microsoft.com/repos/azure-cli/
https://packages.microsoft.com/repos/azurecore/pool/main/b/
https://packages.microsoft.com/repos/azurecore/pool/main/libe/
https://packages.microsoft.com/repos/azurecore/pool/main/libg/
https://packages.microsoft.com/repos/dotnet/pool/main/t/testpackage-dotnet/
https://packages.microsoft.com/yumrepos/mssql-rhel6-preview/repodata/
https://packages.microsoft.com/repos/dotnet/dists/xenial/main/binary-amd64/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-dev-1.0.0-rc2-002374/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-sharedframework-microsoft.netcore.app-1.0.0-rc2-23911/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-sharedframework-microsoft.netcore.app-1.0.0-rc2-23925/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-dev-1.0.0-preview3-003798/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-dev-1.0.0-rc2-002457/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-dev-1.0.0-rc2-002657/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-dev-1.0.0-rc2-002498/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-hostfxr-1.0.2-beta-000555-00/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-hostfxr-1.0.2-beta-000559-00/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-hostfxr-1.0.2-beta-000587-00/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-hostfxr-1.1.0-preview1-000984-00/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-hostfxr-1.1.0-preview1-001086-00/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-hostfxr-1.1.0-preview1-000962-00/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-dev-1.0.0-preview2-003093/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-dev-1.0.0-preview1-002697/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-dev-1.0.0-preview3-003170/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-hostfxr-1.1.0-preview1-000980-00/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-dev-1.0.0-beta-002109/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-sharedframework-microsoft.netcore.app-1.1.0-preview1-001056-00/
https://packages.microsoft.com/repos/sonic/pool/main/s/sonic-common-utils/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-sharedframework-microsoft.netcore.app-1.1.0-preview1-001088-00/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-sharedframework-microsoft.netcore.app-1.1.0-preview1-001071-00/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-hostfxr-1.1.0-preview1-001028-00/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-sharedframework-microsoft.netcore.app-1.0.0-rc2-3002547/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-dev-1.0.0-beta-002252/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-dev-1.0.0-beta-002275/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-dev-1.0.0-beta-002188/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-dev-1.0.0-featmsbuild-003330/
https://packages.microsoft.com/yumrepos/mssql-sles12-preview/repodata/
https://packages.microsoft.com/repos/dotnet-dev/pool/main/
https://packages.microsoft.com/repos/azure-cli/dists/wheezy/
https://packages.microsoft.com/repos/mssql-ubuntu-preview/dists/
https://packages.microsoft.com/repos/xdb/dists/
https://packages.microsoft.com/repos/dotnet-rc/pool/main/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-dev-1.0.0-preview3-003852/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-hostfxr-1.1.0-preview1-000947-00/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-sharedframework-microsoft.netcore.app-1.1.0-preview1-001030-00/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-sharedframework-microsoft.netcore.app-1.2.0-beta-001000-00/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-dev-1.0.0-beta-002218/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-sharedframework-microsoft.netcore.app-1.0.0-rc2-23931/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-dev-1.0.0-beta-002074/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-dev-1.0.0-rc2-002609/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-dev-1.0.0-feature-msbuild-003182/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-sharedframework-microsoft.netcore.app-1.1.0-preview1-001092-00/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-dev-1.0.0-preview1-002701/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-sharedframework-microsoft.netcore.app-1.0.0-rc2-23924/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-dev-1.0.0-featmsbuild-003455/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-dev-1.0.0-preview2-003121/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-sharedframework-microsoft.netcore.app-1.0.0-rc2-3002579/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-dev-1.0.0-preview3-003699/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-dev-1.0.0-preview2-003071/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-sharedframework-microsoft.netcore.app-1.0.0-rc2-3002673/
https://packages.microsoft.com/repos/mssql-ubuntu-test/pool/main/m/msodbcsql/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-dev-1.0.0-beta-002256/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-sharedframework-microsoft.netcore.app-1.1.0-preview1-001057-00/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-sharedframework-microsoft.netcore.app-1.0.0-rc2-3002496/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-hostfxr-1.2.0-beta-001002-00/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-sharedframework-microsoft.netcore.app-1.1.0-beta-000923-00/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-dev-1.0.0-featmsbuild-003437/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-sharedframework-microsoft.netcore.app-1.0.0-rc2-3002471/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-sharedframework-microsoft.netcore.app-1.2.0-beta-001006-00/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-dev-1.0.0-preview3-003244/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-hostfxr-1.1.0-preview1-000974-00/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-dev-1.0.0-rc2-002583/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-hostfxr-1.2.0-beta-000996-00/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-sharedframework-microsoft.netcore.app-1.0.0-rc2-3002490/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-dev-1.0.0-beta-002171/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-hostfxr-1.1.0-preview1-001063-00/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-sharedframework-microsoft.netcore.app-1.0.0-rc2-3002543/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-sharedframework-microsoft.netcore.app-1.0.2-servicing-004549-00/
https://packages.microsoft.com/repos/dotnet/pool/main/d/dotnet-dev-1.0.0-beta-002194/
https://packages.microsoft.com/repos/dotnet-rc/dists/trusty/main/
research.microsoft.com/en-us/um/people/helenw/thesis/
https://packages.microsoft.com/repos/dotnet-rc/
https://packages.microsoft.com/repos/sonic/
https://packages.microsoft.com/repos/dotnet-dev/


Обновитесь. Тестировать можно на SiteSputnik 9.2.5 или выше.

SiteSputnik Invisible: новое в функции Спецзапросы к сайту

В SiteSputnik Invisible (http://sitesputnik.ru/Help/SSInvisible.htm) версии 9.2.6 от 09.01.17 усовершенствована функция "Спецзапросы к сайту".

Обращение к ней: "Подменю Золотого ключика - Невидимый интернет - Спецзапросы к сайту" (см. картинки выше в данной теме), далее появляется окошко в котором Вы вводите имя сайта (можно ввести имя ресурса или папки сайта, тогда поиск будет выполняться для них).

Функция была написана по результатам обсуждения здесь на этом форуме (http://forum.razved.info/index.php?t=3365&p=35196#pp35196).

В настоящей версии пакет с параметрами, при помощи которого она реализована, выглядит так как на ссылке (http://sitesputnik.ru/Files/Intresting_Href.txt) (вникать в это совсем не обязательно, но маленькое пояснение сделаю:
символы <1> при выполнении поиска заменяются на введенное Вами при обращение к функции имя сайта,
символы <3> - на глубину поиска в Источнике, (она по умолчанию равна 12 страницам),
символы <2> - это список имен офисных и других не HTML-файлов).

В обновленный поиск Добавлено:
- ещё несколько специальных запросов,
- кроме Гугля применены ещё Яндекс, Яху и Bing (MSN).
- всего через эту функцию теперь производится сразу около 100 запросов, причем запросов к Яндексу меньше, но они более ёмкие из-за понимания Яндексом скобочной структуры в запросах.

Если есть предложения по расширению списка "интересных" запросов - присылайте сюда на форум или на мой e-mail. Добавлю в спецпакет в СайтСпутник. Можете сами "молча" добавить свои запросы в указанный выше пакет (в программе он размещен в файле "Condition Forms\Интересные ссылки", но сделайте копию этого файла, потому что при обновлении его содержание заменяется на обновлённое стандартное).

Удобство этой функции состоит в следующем.
- не нужно помнить особенности и тонкости языков запросов: Гугля, Яндекса, Яху, Бинга;
- не нужно помнить ключевые слова (сами интересные запросы) и набирать их несколько раз;
- не придется просматривать несколько раз одни и те же ссылки, приносимые разными запросами и/или разными поисковиками,
- Вы не забудите сделать какой-либо нужный запрос к какому-либо поисковику.

При этом Вы не осуществите Ни одного обращения к исследуемому сайту.

Замечание.
Тип файла в Гугле, Яху, Бинге прописывается в конструкции filetype:, а в Яндексе - mime:.
В СайтСпутнике можете для Яндекса тоже применять filetype:, если будете создавать свои спецзапросы или любые другие запросы. Это позволяет сделать пакеты запросов и более ёмкими, и более компактными.


Частный случай собственных последних наблюдений за работой поисковиков на спецзапросах:
Гугль и Яндекс приносят примерно одинаковое количество ссылок, которое примерно на 20-30% больше, чем Яху и Бинг,
Гугль приносит примерно 40% от общего числа уникальных ссылок, найденных всеми четырьмя поисковиками.
Это говорит о том, что рационально применить несколько поисковиков при поиске "интересных" ссылок, а не только Гугль.





---

Этот форум работает на скрипте Intellect Board
© 2004-2007, 4X_Pro, Объединенный Открытый Проект