Форум Сообщества Практиков Конкурентной разведки (СПКР)

Там рассматривается анонимный доступ к нужным сайтам с помощью кэша Гугла (ссылки cached или "Сохраненная копия" для результатов поисковой выдачи).
Автор даже запускает сниффер и смотрит, куда будут обращения при просмотре кэшированной страницы на его машине.
Увы, при этом обнаруживается, что к интересующему сайту таки будут обращения за графическими файлами, на которые есть ссылка на странице (я сам регулярно вижу такие обращения в логах своего корпоративного внешнего веб-сервера).
Но не все потеряно - оказывается на заголовке кэшированной страницы сверху есть ссылка "Текстовая версия" и при ее просмотре никаких обращений к сайту не происходит.
Чтобы напрямую получить ссылку на текстовую версию кэшированной страницы достаточно добавить в конце URL кэшированной страницы &strip=1

В четвертой главе описывается, как искать файлы тех или иных типов с помощью операторов filetype: и inurl:
Например, для поиска конфигурационных файлов предлагается запрос "inurl:conf OR inurl:config OR inurl:cfg"
Для уменьшения информационного шума предлагается все та же техника редукции результатов поиска с помощью уточнений и/или запретов выдачи страниц с определенными словами.
Для удобства приводятся большие таблицы с запросами для поиска распространенных конгфигурационных файлов и файлов журналов популярных программ.

Потом автор переходит к более интересному вопросу - поиску офисных документов (Word, Excel и т.д.)
Хотя примитивный запрос вроде "inurl:xls OR inurl:doc OR inurl:mdb" не сильно эффективен (можно использовать как альтернативу оператор filetype), его как всегда можно улучшить, добавив требования к наличию конкретных слов в тексте документа (например, password). Интересным примером запроса является "filetype:xls username password email"

Далее приводятся другие интересные запросы, позволяющие обнаружить документы, потенциально содержащие конфиденциальную информацию:

[q]

filetype:xls username password email - пароли
filetype:xls inurl:”password.xls” - пароли
filetype:xls private приватные данные (на русском видимо стоит добавить слова "Конфиденциально" или "Коммерческая тайна")(используйте как базовый поиск)
Inurl:admin filetype:xls административные данные
filetype:xls inurl:contact - контактная информация, адреса e-mail
filetype:xls inurl:”email.xls” адреса E-mail, имена
allinurl: admin mdb административные бд
filetype:mdb inurl:users.mdb списки пользователей, адреса e-mail
Inurl:email filetype:mdb списки пользователей, адреса e-mail
Data filetype:mdb различные данные (используйте как базовый поиск)
Inurl:backup filetype:mdb архивные копии бд
Inurl:profiles filetype:mdb профили пользователей
Inurl:*db filetype:mdb различные данные (используйте как базовый поиск)

[/q]

Далее в четвертой главе идет описание технологий поиска информации, интересной для тестирования на проникновение, но не для КР

Но затем начинается описание простых скриптов на Perl для автоматизации анализа информации.
Сначала описывается задача поиска всех адресов электронной почты в каком-то домене и для начала приводится скрипт для выделения из файла (полученного в резльтате поиска) адресов электронной почты с помощью регулярного выражения

[q]

[a-zA-Z0-9._-]+@(([a-zA-Z0-9_-]{2,99}\.)+[a-zA-Z]{2,4})|((25[0-5]|2[0-
4]\d|1\d\d|[1-9]\d|[1-9])\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]\d|[1-9])\.(25[0-5]|2[0-
4]\d|1\d\d|[1-9]\d|[1-9])\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]\d|[1-9]))

[/q]

Другое регулярное выражение позволит найти URL в файле

[q]

[a-zA-Z]{3,4}[sS]?://((([\w\d\-]+\.)+[ a-zA-Z]{2,4})|((25[0-5]|2[0-4]\d|1\d\d|[1-
9]\d|[1-9])\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]\d|[1-9])\.(25[0-5]|2[0-4]\d|1\d\d|[1-
9]\d|[1-9])\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]\d|[1-9])))((\?|/)[\w/=+#_~&:;%\-\?\.]*)*

[/q]

и полезно для автоматизации выделения ссылок из результатов поисковой выдачи

Потом упоминается Google Desktop для поиска среди локальных файлов, найденных в результате поиска (привет Яндекс Десктопу )

Затем рассматривается шаг парсинга результатов.
Сначала описывается выделение из текста возможных вариантов написания e-mail и приведение их к каноническому виду с помощью регулярных выражений.
Потом описываются возможные варианты написания телефонных номеров.

Далее описываются примитивные варианты пост-обработки сниппетов как таковых или целых страниц.
В частности, описывается сортировка страниц по релевантности. Приводится пример определения релевантности как нахождения на странице адресов e-mail, максимально похожих на ФИО человека, который ищется (для России надо будет использовать английский аналог ФИО ). Похожесть строк определяется как число совпадающих триграмм

Далее кратко описывается предтеча Maltego система Evolution.

Для повышения интереса приводится пример (с обезличенными данными) о том, как вычислить сотрудников одной из спецслужб (т.н агентства с именами из трех букв).
Для начала ищутся телефонные номера на сайтах в домене xxx.gov. Потом берется строка с кодом города и АТС (исходя из предположения, что офисы агентства могут занимать почти всю номерную емкость АТС), которые упоминается в номерах и ищутся адреса e-mail, тел. номера и названия городов, находящиеся на тех же страницах, что и эта строка, в надежде на то, что кто-то из сотрудников указал свой личный email вместе со служебным номером телефона.
И такой человек находится Номер телефона указан как номер теннисного клуба, но он подозрительно похож на номера офиса агентства.

Другим примером является поиск Word-документов на сайтах какого-то агентства, выделение из их метаданных имени автора и поиск по этому имени профиля на LinkedIn.
Для автоматизации далее приводится скрипт на Perl для получения метаданных офисного документа по ссылке на него и еще один, который посылает в Гугл запрос на офисные документы на сайтах определенного домена, и вызывает первый скрипт для автоматического получения метаданных для каждой из найденных ссылок

Уважаемый Vinni,