Форум Сообщества Практиков Конкурентной разведки (СПКР) » Технологии работы и инструменты конкурентной разведки » Google для КР (перечитывая книгу Дж. Лонга) |
<<Назад Вперед>> | Страницы: 1 * 2 3 4 | Печать |
Vinni
Администратор
Всего сообщений: 2136 Рейтинг пользователя: 22 Ссылка Дата регистрации на форуме: 5 июня 2009 |
Профиль | Игнорировать
NEW! Сообщение отправлено: 8 ноября 2012 0:13 Сообщение отредактировано: 8 ноября 2012 0:37
Пятая глава развивает тему автоматизации поиска и анализа его результатов... Сначала выдвигается тезис о том, что поиск, как правило, состоит из следующих шагов (далее мой вольный перевод ):
и подробно описывается каждый шаг Шаг уточнения поискового запроса рассматривается сначала на примере получения списка адресов e-mail какого-то домена. При этом приводится список типовых модификаций e-mail для защиты от спама и способы проверки валидности выделенного адреса e-mail. Потом рассматриваются случаи поиска телефонных номеров и людей по ФИО. Для уменьшения числа результатов поиска предлагается оператор site: Шаг получения страниц с данными с сайтов начинается с вдумчивого разбора структуры URL поискового запроса в Гугле и рассмотрения всевозможных простых вариантов утилит вместо веб-браузера для получения результатов поисковой выдачи - netcat, lynx, curl и wget. Анализ тегов страницы с поисковой выдачей производится с помощью FireBug (плагина Firefox). С его помощью выявляются строки с тегами, обрамляющие сниппеты на странице с поисковой выдачей. После этого описывается скрипт на perl, вызывающий curl для получения этой страницы и выделяющий с помощью найденных строк с тегами сниппеты Потом скрипт усложняется и из сниппета выделяются заголовок страницы, ее URL и собственно цитата из текста, приведенная в сниппете |
Vinni
Администратор
Всего сообщений: 2136 Рейтинг пользователя: 22 Ссылка Дата регистрации на форуме: 5 июня 2009 |
Затем рассматривается шаг парсинга результатов. Сначала описывается выделение из текста возможных вариантов написания e-mail и приведение их к каноническому виду с помощью регулярных выражений. Потом описываются возможные варианты написания телефонных номеров. Далее описываются примитивные варианты пост-обработки сниппетов как таковых или целых страниц. В частности, описывается сортировка страниц по релевантности. Приводится пример определения релевантности как нахождения на странице адресов e-mail, максимально похожих на ФИО человека, который ищется (для России надо будет использовать английский аналог ФИО ). Похожесть строк определяется как число совпадающих триграмм Далее кратко описывается предтеча Maltego система Evolution. Для повышения интереса приводится пример (с обезличенными данными) о том, как вычислить сотрудников одной из спецслужб (т.н агентства с именами из трех букв). Для начала ищутся телефонные номера на сайтах в домене xxx.gov. Потом берется строка с кодом города и АТС (исходя из предположения, что офисы агентства могут занимать почти всю номерную емкость АТС), которые упоминается в номерах и ищутся адреса e-mail, тел. номера и названия городов, находящиеся на тех же страницах, что и эта строка, в надежде на то, что кто-то из сотрудников указал свой личный email вместе со служебным номером телефона. И такой человек находится Номер телефона указан как номер теннисного клуба, но он подозрительно похож на номера офиса агентства. Другим примером является поиск Word-документов на сайтах какого-то агентства, выделение из их метаданных имени автора и поиск по этому имени профиля на LinkedIn. Для автоматизации далее приводится скрипт на Perl для получения метаданных офисного документа по ссылке на него и еще один, который посылает в Гугл запрос на офисные документы на сайтах определенного домена, и вызывает первый скрипт для автоматического получения метаданных для каждой из найденных ссылок |
Vinni
Администратор
Всего сообщений: 2136 Рейтинг пользователя: 22 Ссылка Дата регистрации на форуме: 5 июня 2009 |
Потом рассматривается вариант более сложного анализа (тоже с помощью EVOLUTION - все делается с его помощью) - установление связей между людьми (на примере их адресов e-mail) Для этого предлагается сначала найти для каждого из этих адресов e-mail все страницы с их упоминанием и выделить из них адреса веб-сайтов, email и номера телефонов,а потом сравнить результаты, чтобы выявить общее в них. Если совпадений нет, то берется каждый элемент результатов, полученных на первом шаге (адрес email и т.д.) для первого и второго email и для него делается то же самое, а затем снова ищется сходство между результатами и так до победного конца ... Шестая глава для нас неинтересна, поэтому опустим ее |
CI-KP
Администратор
Откуда: Екатеринбург Всего сообщений: 5565 Рейтинг пользователя: 24 Ссылка Дата регистрации на форуме: 15 мая 2009 |
Уважаемый Vinni, ---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь. |
Николаич
Модератор форума
Откуда: г. Ростов-на-Дону Всего сообщений: 755 Рейтинг пользователя: 24 Ссылка Дата регистрации на форуме: 7 июня 2009 |
Присоединяюсь! |
Игорь Нежданов
Модератор форума
Прагматик Откуда: Советский Союз Всего сообщений: 1025 Рейтинг пользователя: 13 Ссылка Дата регистрации на форуме: 7 июня 2009 |
Спасибо! ---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ... Лаборатория Перспективных Разработок |
fellix13
Член СПКР
Откуда: Екатеринбург Всего сообщений: 530 Рейтинг пользователя: 10 Ссылка Дата регистрации на форуме: 24 дек. 2010 |
Эх, кто тут последний покурить за углом..) |
Vinni
Администратор
Всего сообщений: 2136 Рейтинг пользователя: 22 Ссылка Дата регистрации на форуме: 5 июня 2009 |
Профиль | Игнорировать
NEW! Сообщение отправлено: 8 ноября 2012 16:57 Сообщение отредактировано: 8 ноября 2012 17:02
Воодушевленный коллегами, попробую продолжить. Седьмая глава называется интригующе - "десять простых поисковых запросов в области безопасности, которые работают" Для КР интересны не все запросы, поэтому привожу ниже меньшее количество
Кроме этого, приводятся запросы, которые могут быть интересны для последующего сбора информации с помощью социальной инженерии (рекомендую читать другую книгу Дж. Лонга - "NoTech hacking") Восьмая глава также посвящена поиску вещей, интересных только хакерам. Исключение составляет только информация о том, как искать сетевое оборудование, доступное через Интернет - прежде всего веб-камеры. В главе приведена большая таблица с запросами по поиску специфических моделей оборудования. |
Vinni
Администратор
Всего сообщений: 2136 Рейтинг пользователя: 22 Ссылка Дата регистрации на форуме: 5 июня 2009 |
Девятая глава посвящена поиску имен пользователей, их паролей и другой конфиденциальной информации. В ней приводятся большое число примеров запросов для поиска имен пользователей. Ниже приведены самые универсальные запросы
В некоторых случаях списки имен пользователей можно соборать с помощью программ статистики посещения сайтов. Например, следующий запрос требуется для нахождения страниц Webalizer-а - +intext:webalizer +intext:”Total Usernames” +intext:”Usage Statistics for”. Для поиска паролей также предлагается большое число запросов, ориентированных на конкретные программы. Ниже приведены самые универсальные из них
При этом рекомендуется помнить, что вместо английских слов в файлах могут употребляться их национальные аналоги (пароль, пользователь ти т.д.), поэтому надо и искать и их |
Игорь Нежданов
Модератор форума
Прагматик Откуда: Советский Союз Всего сообщений: 1025 Рейтинг пользователя: 13 Ссылка Дата регистрации на форуме: 7 июня 2009 |
Ждем с нетерпением.... :) ---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ... Лаборатория Перспективных Разработок |
<<Назад Вперед>> | Страницы: 1 * 2 3 4 | Печать |
Форум Сообщества Практиков Конкурентной разведки (СПКР) » Технологии работы и инструменты конкурентной разведки » Google для КР (перечитывая книгу Дж. Лонга) |
Самые активные 20 тем | |