Форум Сообщества Практиков Конкурентной разведки (СПКР)

Далее в четвертой главе идет описание технологий поиска информации, интересной для тестирования на проникновение, но не для КР

Но затем начинается описание простых скриптов на Perl для автоматизации анализа информации.
Сначала описывается задача поиска всех адресов электронной почты в каком-то домене и для начала приводится скрипт для выделения из файла (полученного в резльтате поиска) адресов электронной почты с помощью регулярного выражения

[q]

[a-zA-Z0-9._-]+@(([a-zA-Z0-9_-]{2,99}\.)+[a-zA-Z]{2,4})|((25[0-5]|2[0-
4]\d|1\d\d|[1-9]\d|[1-9])\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]\d|[1-9])\.(25[0-5]|2[0-
4]\d|1\d\d|[1-9]\d|[1-9])\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]\d|[1-9]))

[/q]

Другое регулярное выражение позволит найти URL в файле

[q]

[a-zA-Z]{3,4}[sS]?://((([\w\d\-]+\.)+[ a-zA-Z]{2,4})|((25[0-5]|2[0-4]\d|1\d\d|[1-
9]\d|[1-9])\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]\d|[1-9])\.(25[0-5]|2[0-4]\d|1\d\d|[1-
9]\d|[1-9])\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]\d|[1-9])))((\?|/)[\w/=+#_~&:;%\-\?\.]*)*

[/q]

и полезно для автоматизации выделения ссылок из результатов поисковой выдачи

Потом упоминается Google Desktop для поиска среди локальных файлов, найденных в результате поиска (привет Яндекс Десктопу )

Затем рассматривается шаг парсинга результатов.
Сначала описывается выделение из текста возможных вариантов написания e-mail и приведение их к каноническому виду с помощью регулярных выражений.
Потом описываются возможные варианты написания телефонных номеров.

Далее описываются примитивные варианты пост-обработки сниппетов как таковых или целых страниц.
В частности, описывается сортировка страниц по релевантности. Приводится пример определения релевантности как нахождения на странице адресов e-mail, максимально похожих на ФИО человека, который ищется (для России надо будет использовать английский аналог ФИО ). Похожесть строк определяется как число совпадающих триграмм

Далее кратко описывается предтеча Maltego система Evolution.

Для повышения интереса приводится пример (с обезличенными данными) о том, как вычислить сотрудников одной из спецслужб (т.н агентства с именами из трех букв).
Для начала ищутся телефонные номера на сайтах в домене xxx.gov. Потом берется строка с кодом города и АТС (исходя из предположения, что офисы агентства могут занимать почти всю номерную емкость АТС), которые упоминается в номерах и ищутся адреса e-mail, тел. номера и названия городов, находящиеся на тех же страницах, что и эта строка, в надежде на то, что кто-то из сотрудников указал свой личный email вместе со служебным номером телефона.
И такой человек находится Номер телефона указан как номер теннисного клуба, но он подозрительно похож на номера офиса агентства.

Другим примером является поиск Word-документов на сайтах какого-то агентства, выделение из их метаданных имени автора и поиск по этому имени профиля на LinkedIn.
Для автоматизации далее приводится скрипт на Perl для получения метаданных офисного документа по ссылке на него и еще один, который посылает в Гугл запрос на офисные документы на сайтах определенного домена, и вызывает первый скрипт для автоматического получения метаданных для каждой из найденных ссылок

Уважаемый Vinni,

Спасибо!

Воодушевленный коллегами, попробую продолжить.
Седьмая глава называется интригующе - "десять простых поисковых запросов в области безопасности, которые работают"
Для КР интересны не все запросы, поэтому привожу ниже меньшее количество

• site:домен.ru -site:www.домен.ru - позволяет установить какие сайты, кроме www есть в этом домене и посмотреть их страницы
• intitle:index.of - уже описанный поиск оглавлений директорий
• -ext:html -ext:htm -ext:shtml -ext:asp -ext:php - в сочетании с оператором site получает списко всех потенциально интересных файлов на сайте,
  кроме HTML-страниц (т.е. офисные документы и т.д.). Ее также стоит уточнять для уменьшения информационного шума.
• inurl:temp | inurl:tmp | inurl:backup | inurl:bak - находит временные файлы и директории, а также архивные копии файлов
  

Кроме этого, приводятся запросы, которые могут быть интересны для последующего сбора информации с помощью социальной инженерии
(рекомендую читать другую книгу Дж. Лонга - "NoTech hacking")

Восьмая глава также посвящена поиску вещей, интересных только хакерам.
Исключение составляет только информация о том, как искать сетевое оборудование, доступное через Интернет - прежде всего веб-камеры. В главе приведена большая таблица с запросами по поиску специфических моделей оборудования.