Форум Сообщества Практиков Конкурентной разведки (СПКР)

Можно добавить сюда еще одну специфическую программу - Text Duplicate Killer (http://softodon.com/getsoft-704-text-duplicate-killer.html).. эта утилита предназначенная для удаления из текста повторяющихся строк (не обязательно смежных). В результате создается новый текстовый файл, в котором каждая строка встречается только один раз (пользовался для составления и правки словаря, в частности как для программы СайтСпутник invisible, так и ряда других)

Хочется всем представить, ну кто еще не знает один очень интересный браузер (portble) от OWASP - mantra, его возможности для КР и интернет серфинга (пентеста) просто вау очень хорошо подобранные расширения и дополнения, значительно облегчат работу в сети.. помогут как в поиске информации, так и значительно упростят проблемы анонимности работы)-http://www.getmantra.com

fellix13 написал:

[q]

пришлось заходить обходным путём))

[/q]

я вроде нормально зашел.. но, главное результат

Portia: графический интерфейс для скрапинга сайтов
Scrapy — популярный фреймворк для сбора данных с веб-сайтов (скрапинг). Написанный на Python, он позволяет сконфигурировать паука, выполняющего GET-запросы, парсить HTML-документы, искать нужные данные и экспортировать их в другой формат. Поддерживаются куки и сессии, аутентификация на сайтах, подмена user-agent, консоль для отладки, ведение логов, мониторинг через веб-интерфейс, управление через telnet-консоль и прочее.
Таким образом, с помощью Scrapy можно быстро извлечь нужную информацию с сайта или веб-страницы. Например, все адреса электронной почты, каталог товаров из интернет-магазина, прогноз погоды и прочее.
Scrapy выдает поток данных для обработки и использования в другом веб-приложении. В общем, исключительно полезный и мощный инструмент. Теперь работать с ним станет еще приятнее, не нужно даже изучать Python. Благодаря графическому интерфейсу Portia любой неподготовленный пользователь способен выделить нужную область на веб-странице — и запустить скрапер.
Видеофайл в формате mp4, 9,4 МБ
Разработчики планируют вскоре прикрутить графический интерфейс к веб-сервису Scrapinghub, при этом обеспечат полную совместимость с функцией автоскрапинга и прочими инструментами на платформе Scrapinghub.-http://www.xakep.ru/post/62310/default.asp...весьма занятная штука..

Хотелось бы представить еще вот такую прогу-TheHarvester — Поиск соседних доменов, сбор email
TheHarvester - вот что обязательно пригодится вам на самой начальной стадии аудита безопасности. Это небольшая утилита, написанная на python ищет полезную информацию, связанную с доменным именем в поисковых системах, различных сервисах и в DNS записях. TheHarvester поможет вам обнаружить:

email адреса на искомом домене
Другие домены на одном и том же сервере
Поддомены (методом DNS запроса и простого перебора по словарю)
Методы работы
Пассивные

Google: поисковая система - www.google.com
Google-profiles: поисковая система в Google profiles
Bing: microsoft поисковая система - www.bing.com
Bingapi: поисковая система от microsoft, используя API (вам нужно будет добавить свой API ключ в файл discovery/bingsearch.py file)
Pgp: сервер ключей PGP - pgp.rediris.es
Linkedin: поиск с помощью google, специализированный на выявлении пользователей Linkedin
Shodan: Поисковая система Shodan Computer, подробнее можно почитать здесь (http://www.shodanhq.com/)
Активные

DNS перебор: атака по словарю
DNS обратный запрос (reverce lookup): Это поможет обнаружить дополнительные хосты
DNS TDL расширение: перебор по словарю TLD

Ключи-опции программы:
-d: Домен, по которому будет осуществляться поиск или название компании
-b: Источник, в котором будет осуществлен поиск (Варианты: google, bing, bingapi, pgp, linkedin, google-profiles, people123, jigsaw, all)
-l: Лимит результатов, которые theharvester будет учитывать. К примеру, при лимите в 50 - будут просмотрены только первые 50 результатов поиска в google
-s: Номер результата, с которого необходимо начать поиск. При -s 50 и -l 100 будут изучены результаты с 50 по 100.
-v: Проверять hostname через DNS и искать виртульные хосты (vhosts)
-f: Сохранить результат в файл. Поддерживается HTML и XML формат
-n: Выполнять обратный запрос DNS (reverse lookup) по всем обнаруженным доменам
-c: Выполнить брутфорс (перебор) всех возможных поддоменов для домена. Словарь для перебора находится в вайле dns-names.txt
-e: Использовать конкретный NS сервер
Пример
Проведем разведку ibm.com. В качестве источников поиска, будем использовать сразу все (-b all) и ограничемся 200 результатми (-l 200)

./theHarvester.py -d ibm.com -b all -l 200

Результат:

[+] Emails found:
------------------
Frischknechtjfrisch@us.ibm.com
Agarwalsaurabhagarwal@in.ibm.com
fagin@almaden.ibm.com
vee@almaden.ibm.com
laura@almaden.ibm.com
lucian@almaden.ibm.com
fufiano@us.ibm.com
kabryson@us.ibm.com
mhson@kr.ibm.com
Janssen@de.ibm.com
reports@us.ibm.com

[+] Hosts found in search engines:
------------------------------------
23.5.132.45:www.ibm.com
198.4.83.38:almaden.ibm.com
129.42.42.133:www-947.ibm.com
170.225.15.24:publib.boulder.ibm.com
129.42.38.1:www-128.ibm.com
204.146.30.17:www-03.ibm.com
204.146.30.32:www-304.ibm.com
129.34.20.3:www.research.ibm.com
129.33.205.80:www-01.ibm.com
129.35.224.116:pic.dhe.ibm.com
23.52.45.35:www.ibm.com
204.146.30.17:www-03.ibm.com
129.34.20.3:www.research.ibm.com
170.225.15.45:www.redbooks.ibm.com
192.109.81.20:www.ecurep.ibm.com
170.225.15.19:techsupport.services.ibm.com
129.33.205.80:www-01.ibm.com
129.34.20.108:domino.research.ibm.com
129.42.42.133:www-947.ibm.com
129.34.20.140:researcher.ibm.com
194.196.36.25:www-05.ibm.com
170.225.15.24:publib.boulder.ibm.com
129.42.160.34:www-933.ibm.com
[+] Virtual hosts:
==================
198.4.83.38 www.almaden.ibm.com
198.4.83.38 www.qbic.almaden.ibm.com
198.4.83.38 ftp.almaden.ibm.com
198.4.83.38 alme1.almaden.ibm.com
198.4.83.38 198.4.83.38
129.42.42.133 www.ibm.com
129.42.42.133 www-947.ibm.com
170.225.15.24 publib.boulder.ibm.com
170.225.15.24 pic.dhe.ibm.com
170.225.15.24 www.ibm.com
170.225.15.24 www.redbooks.ibm.com
129.42.38.1 ibm.com
129.42.38.1 www.lotus.it
204.146.30.17 www.ibm.com
204.146.30.17 www-03.ibm.com
204.146.30.32 www.ibm.com
204.146.30.32 www-304.ibm.com
204.146.30.32 www-03.ibm.com
204.146.30.32 www-01.ibm.com
204.146.30.32 www-950.ibm.com
129.34.20.3 www.research.ibm.com
129.34.20.3 www.haifa.ibm.com
129.34.20.3 www.haifa.il.ibm.com
129.34.20.3 www.trl.ibm.com
129.34.20.3 researchweb.watson.ibm.com
129.34.20.3 www.almaden.ibm.com
129.34.20.3 www.ibm.com
129.33.205.80 www.ibm.com
129.33.205.80 www-01.ibm.com
129.35.224.116 pic.dhe.ibm.com
129.35.224.116 publib.boulder.ibm.com
170.225.15.45 www.redbooks.ibm.com
170.225.15.45 www.ibm.com
192.109.81.20 www.ecurep.ibm.com
170.225.15.19 techsupport.services.ibm.com
129.34.20.108 domino.watson.ibm.com
129.34.20.108 domino.research.ibm.com
129.34.20.108 www.research.ibm.com
129.34.20.140 researcher.watson.ibm.com
129.34.20.140 researcher.ibm.com
129.34.20.140 www.research.ibm.com
194.196.36.25 www.ibm.com
194.196.36.25 www-05.ibm.com
129.42.160.34 www-933.ibm.com
129.42.160.34 www.ibm.com
129.42.160.34 www-912.ibm.com
129.42.160.34 www-01.ibm.com

Отличный результат! Мы узнали много новых точек входа, которые могут быть защищены менее надежно или даже попросту заброшены (test.domain.com, old.domain.com).-http://lirvux.info/poisk-sosednij-domennov-sbor-email-theharvester/#more-49