Форум Сообщества Практиков Конкурентной разведки (СПКР) » Софт для конкурентной разведки » SiteSputnik Invisible для работы с "Невидимым Интернетом" |
<<Назад Вперед>> | Страницы: 1 * | Печать |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 877 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
Общие положения по работе с невидимым интернетом в программе SiteSputnik Invisible таковы. 1. Работа начинается с материализации видимого интернета - построения карты сайта, ресурса или папки (КС). КС - это иерархическая структура, построенная из ссылок, собранных основными поисковиками. Она строится СайтСпутник(ом) автоматически по имени КС. КС - это "наращиваемый" плацдарм для поиска невидимых ссылок и размещенной на них информации. 2. Сам поиск невидимых ссылок стартует с этого плацдарма и ведется при помощи следующих четырех базовых функций: паук (спайдер); в окрестности видимой ссылки или папки по "образу и подобию"; в папках открытых и папках, вложенных в открытые папки; с использованием специальных словарей. Их применение на КС (на множестве ссылок и папок) значительно более эффективно, чем применение на одной или нескольких ссылках. 3. Под "наращиваемостью" плацдарма понимается добавление в него (в карту сайта) найденных невидимых ссылок. Также в карту сайта могут быть добавлены ссылки, найденные другими способами (вне СайтСпутника), например, при помощи спецзапросов на Google, Yahoo и других поисковиках. Повторное применение базовых функций на "нарощенной" КС позволяет найти новые невидимые ссылки. Например, если Вы нашли папку "Files" при помоши паука, то можно проверить ее на открытость или применить словарный поиск и найти, например, ссылку "Files\price2009.htm", с которой рационально запустить паука и/или применить базовую функцию поиска в её окрестности по "образу и подобию". Найдя очередные новые ссылки или папки, можно применить к ним любые базовые функции. Такой рекурсивный поиск можно применять многократно. 4. Это робот для поиска в невидимом интернете. Он обеспечивает совсем другой уровень автоматизации труда аналитика информационных ресурсов, освобождает его от большого объема черновой работы. Продробнее - sitesputnik.ru/Help/SSInvisible.htm |
Vinni
Администратор
Всего сообщений: 2136 Рейтинг пользователя: 22 Ссылка Дата регистрации на форуме: 5 июня 2009 |
Профиль | Игнорировать
NEW! Сообщение отправлено: 1 октября 2010 10:12 Сообщение отредактировано: 1 октября 2010 10:13
Хочется только напомнить о возможности анонимизации IP пользователя Сейчас существует ряд недорогих платных анонимайзеров - Steganos, Relakks и т.д. И наконец существует бесплатный TOR (127.0.0.1:8118). Не стоит про них забывать |
vbl
Модератор форума
Откуда: Нижний Новгород Всего сообщений: 179 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 10 июня 2009 |
Написал небольшой обзор по использованию версии Invisible. Надеюсь он будет полезен и интересен. Ознакомиться можно здесь Сюда статью не размещаю, ибо большая и много картинок :) У этой статьи есть еще и первая часть, ознакомиться с ней можно здесь ---
Non progredi est regredi http://www.informnn.ru Информационная рассылка "Конкурентная разведка. Сам себе разведчик" - http://subscribe.ru/catalog/tech.razvedka |
Vinni
Администратор
Всего сообщений: 2136 Рейтинг пользователя: 22 Ссылка Дата регистрации на форуме: 5 июня 2009 |
Борис, хорошие статьи! Но есть пару замечаний: 1) надо на картинках в первой части либо название сайта везде замазывать, либо совсем этого не делать 2) надо бы в конце второй части упомянуть, что программа напрямую получает доступ к сайтам, а не использует поисковики, и в ряде случаев рекомендуется все-таки использовать прокси, как я уже писал. Кстати, есть возможность использовать безобидные примеры - можно взять сайты учебных заведений, например СпбГУ (_ttp://www.spbu.ru/) и потренироваться на них. |
Ed
Модератор форума
Всего сообщений: 1782 Рейтинг пользователя: 28 Ссылка Дата регистрации на форуме: 7 июня 2009 |
Vinni написал:
Например cia.org, fbi.gov.. |
vbl
Модератор форума
Откуда: Нижний Новгород Всего сообщений: 179 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 10 июня 2009 |
Vinni написал: Борис, хорошие статьи! Спасибо, я старался Vinni написал: 1) надо на картинках в первой части либо название сайта везде замазывать, либо совсем этого не делать Если Вы про те две замазанные строчки, так они не имеют никакого отношения к сайту, на примерах которого была написана статья. А изучаемый сайт мы и не стремились скрывать. Ничего особенного мы там не делали Vinni написал: 2) надо бы в конце второй части упомянуть, что программа напрямую получает доступ к сайтам, а не использует поисковики, и в ряде случаев рекомендуется все-таки использовать прокси, как я уже писал. хммм... про доступ вроде и так понятно, хотя можно и отдельно это оговорить По поводу прокси. Со Стеганосом и ему подобными все понятно, а как заставить СайтСпутник работать, например, через Ананимаус? ---
Non progredi est regredi http://www.informnn.ru Информационная рассылка "Конкурентная разведка. Сам себе разведчик" - http://subscribe.ru/catalog/tech.razvedka |
Vinni
Администратор
Всего сообщений: 2136 Рейтинг пользователя: 22 Ссылка Дата регистрации на форуме: 5 июня 2009 |
vbl написал: а как заставить СайтСпутник работать, например, через Ананимаус? Управление сетевыми настройками в закладке "Интернет". По умолчанию SS работает через IE, настройками которого можно управлять прямо из SS - кнопка "Свойства обозревателя". По идее можно использовать другой браузер - чекбокс "Браузер, установленный по умолчанию", но у меня несмотря на то, что по умолчанию установлен FF, все равно стал использоваться IE. В "Свойствах обозревателя" есть закладка "Connection", а там кнопка "LAN settings" - там в разделе "Proxy server" можно указать адрес и порт прокси-сервера. Либо, можно воспользоваться самим SS и на закладке "Интернет" в разделе "Свой неавторизованный прокси-сервер" щелкнуть по чекбоксу "Использовать" и указать адрес и порт прокси-сервера. Кто, посещал спецкурсы на этом форуме, знают, что речь идет о веб-прокси (http proxy). Есть разнообразные способы найти публичный веб-прокси - надо лишь подумать и погуглить Можно также воспользоваться и тем же TOR. После его установки и включения на компьютере появляется локальный прокси-сервер на 127.0.0.1 порт 8118. |
vbl
Модератор форума
Откуда: Нижний Новгород Всего сообщений: 179 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 10 июня 2009 |
Vinni написал: Управление сетевыми настройками в закладке "Интернет". Спасибо, понятно. ---
Non progredi est regredi http://www.informnn.ru Информационная рассылка "Конкурентная разведка. Сам себе разведчик" - http://subscribe.ru/catalog/tech.razvedka |
<<Назад Вперед>> | Страницы: 1 * | Печать |
Форум Сообщества Практиков Конкурентной разведки (СПКР) » Софт для конкурентной разведки » SiteSputnik Invisible для работы с "Невидимым Интернетом" |
Самые активные 20 тем | |