Форум Сообщества Практиков Конкурентной разведки (СПКР)

Версия для печати

- Форум Сообщества Практиков Конкурентной разведки (СПКР) http://forum.razved.info/
-- Предложения по программе для допроса Интернета СайтСпутник http://forum.razved.info//index.php?f=40
--- Маскировка интересов компании http://forum.razved.info//index.php?t=4651

-- tungus1973 написал 21 апреля 2014 16:57
Недавно показывал работу СайтСпутника в одной компании. Аналитики задали вопросы по возможностям анонимизации и поделились своими проблемами. Будучи крупной компанией и имея не менее крупных и денежных конкурентов, заказчик столкнулся с недобросовестной конкуренцией. Один из конкурентов купил Интернет-провайдера, предоставлявшего заказчику доступ в Интернет, и тем самым получил возможность перехватывать весь Интернет-трафик. Вероятно читались все незашифрованные сообщения (т.е. кроме почты), а также анализировались запросы на Интернет-поисковиках (из которых можно понять планы и опасения компании).

Сотрудники заказчика впали в здоровую паранойю. Для решения проблемы сменили провайдера, а аналитики стали использовать сотовые модемы. Однако полученный горький опыт заставил их задуматься и об анонимизации СайтСпутника. Поскольку СайтСпутник работает с большим потоком данных, то на его работу существенным образом влияет скорость Интернет-соединения. Использование сотовых модемов, прокси-серверов и TOR замедляют работу программы. Кроме того, чисто технически перехват возможен и с ними.

Как один из способов защиты аналитики сейчас используют перемешивание запросов - на 1 целевой запрос давать несколько ложных. Такой подход можно реализовать и в СайтСпутнике - включил в пакет лишние строчки, а программа автоматом сделает эти лишние запросы. К примеру, интересуешься изготовлением изделий из пластмассы, так можно параллельно запрашивать изготовление изделий из композитов, из аллюминия, из меди, ...
Проблема в том, что такие запросы будут приносить много мусора и занимать ресурсы компьютера на обработку материалов - выделение контента, распределение по рубрикам и т.д. ("Ньюс"-версия).

Можно ли для решения указанной проблемы, принудительно отключать выкачивание, обработку и рубрикацию некоторых запросов в пакетах СайтСпутника? Насколько это сложно?

-- Vinni написал 21 апреля 2014 17:32

tungus1973 написал:

[q]
Сотрудники заказчика впали в здоровую паранойю.
[/q]

Не, ну понятно, что паранойи мало не бывает.
Но в данном случае ПМСМ для конкурента проще купить какого-нибудь сотрудника, чем перехватывать сотовые модемы :binocular:

Опять же есть достаточно быстрые анонимайзеры с большой географией серверов по всему миру.

tungus1973 написал:

[q]
Как один из способов защиты аналитики сейчас используют перемешивание запросов - на 1 целевой запрос давать несколько ложных.
[/q]

А вот от каких атак можно таким образом защититься? От подкупленных сотрудников поисковиков, которые сливают информацию о поисковых запросах :binocular:

Вот если мониторятся не поисковики, а профильные форумы и т.д., да - это вполне актуально.
Но не проще ли написать небольшого бота (с таким же UA ), который регулярно будет опрашивать мусорными запросами нужные источники и читать поисковую выдачу, но больше ничего не делать?

-- Алексей Мыльников написал 22 апреля 2014 6:56

Vinni написал:

[q]
Но не проще ли написать небольшого бота (с таким же UA ), который регулярно будет опрашивать мусорными запросами нужные источники и читать поисковую выдачу, но больше ничего не делать?
[/q]

Совсем не обзательно писать боты. Составляется задача из нескольких пакетов запросов на ненужные темы и запускается через Планировщик задач в рамках СайтСпутника. Кстати, между ненужными проектами можно вставить и нужный проект.

tungus1973 написал:

[q]
Можно ли для решения указанной проблемы, принудительно отключать выкачивание, обработку и рубрикацию некоторых запросов в пакетах СайтСпутника? Насколько это сложно?
[/q]

Совсем не сложно: отключить - это не разработать. В версии 8.7.1 от 22.04.14 можно делать следующее.

Ложная цель типа 1.
Если запрос в Проекте начинается со знака *, то он (без звездочки) реально выполняется, но в выдачу ничего не попадает. Это позволит замаскровать в Проекте нужные запросы при помощи ненужных.

Ложная цель типа 2.
Если запрос в Проекте начинается с двух **, то они отбрасываются, запрос реально выполняется, найденные ссылки попадают в выдачу и скачиваются. На этом обработка заканчивается - в Рубрики ничего не попадает. Это позволяет замаскировать нужную информацию (ссылки и источники). В частности, полезно при перехвате всего трафика.

Саму Рубрикацию (правила отбора нужной информации) прятать не надо. Она и так никому не видна.

Наглядный пример для маскировки в рамках одного проекта.

*АНБ США || Yandex=7 ^^ Ложная цель типа 1 - в Яндексе реально выполняется поиск, а в выдачу ничего не попадает
**Сноуден || Google=7 ^^ Ложная цель типа 2 - реальный поиск в Гугле, реальное скачивание 70 ссылок и всё.

-- tungus1973 написал 22 апреля 2014 8:17
Спасибо, Алексей Борисович! :hi:

-- Искендер написал 22 апреля 2014 11:02
Вот меня тоже интересует вопрос, частично задетый уважаемым Винни - а смысл маскировки запросов в СайтСпутнике? Насколько возможно компании (пусть даже и крупной) получать информацию о запросах поисковикам? Ну, положим, Яндекс, Мейл - к ним подход, в силу географии, более-менее понятен, хотя сама возможность получения такой информации для меня не очевидна. А всё прочее? "Импортное"?

-- tungus1973 написал 22 апреля 2014 11:52
Получать информацию о запросах сотрудников конкурента к поисковикам может любая компания. Разница только в объёмах сведений.

1. Спишитесь с сотрудником компании-конкурента (техподдержка, жалоба, предложение и т.д.).
2. В заголовке письма найдите IP-адрес компании.
3. Через сервисы типа "WhoIs" посмотрите, какой адресный диапазон принадлежит компании.
4. Задайте в поисковиках запросы с IP-адрсами, заключёнными в кавычки, вида: "000.000.000.000". Примите во внимание, что IP-адрес может записываться как с предшествующими нолями, так и без них, т.е. "14.159.1.25" = "014.159.001.025".
5. Посмотрите, какие странички интересовали сотрудников компании. (Это будет не 100% запросов к поисковикам, а максимум 5-10%, но и это, уверяю Вас, весьма информативно).

P.S. Оформив пакет в СайтСпутнике и поставив его на мониторинг, Вы будете регулярно получать новости об интересах конкурента. :wink:

-- Алексей Мыльников написал 22 апреля 2014 12:14
Добавление к сообщению tungus1973.

1. При перехвате трафика можно проанализировать и импортое, и отечественное.
2. СайтСпутник часто применяют напрямую к сайтам (подключение источников) для более оперативного и полного снятия информации.

-- Искендер написал 22 апреля 2014 12:19

tungus1973 написал:

[q]
Получать информацию о запросах сотрудников конкурента к поисковикам может любая компания. Разница только в объёмах сведений.
[/q]

Ага, вот как. Спасибо, не знал. Но это, опять же, далеко не все поисковики предоставляют, как я понимаю? С зарубежными не все так просто, как с российскими?

tungus1973 написал:

[q]
3. Через сервисы типа "WhoIs" посмотрите, какой адресный диапазон принадлежит компании.
4. Задайте в поисковиках запросы с IP-адрсами, заключёнными в кавычки, вида: "000.000.000.000". Примите во внимание, что IP-адрес может записываться как с предшествующими нолями, так и без них, т.е. "14.159.1.25" = "014.159.001.025".
5. Посмотрите, какие странички интересовали сотрудников компании. (Это будет не 100% запросов к поисковикам, а максимум 5-10%, но и это, уверяю Вас, весьма информативно).
[/q]

Прикрытие IP (прокси, анонимайзер), разве, не спасёт отца русской демократии?

-- tungus1973 написал 22 апреля 2014 12:21
Дополню свой предыдущий пост.

Начинать прозвонку IP-адресов лучше с тех адресов, которые засветились в почте, так как часто бывает, что весь Интернет-трафик выходит с одного защищённого IP-адреса, на котором стоит хороший брандмауэр. Но остальное адресное пространство IP тоже следует проверить.

-- tungus1973 написал 22 апреля 2014 12:25

Искендер написал:

[q]
Прикрытие IP (прокси, анонимайзер), разве, не спасёт отца русской демократии?
[/q]

Отнюдь, не все сотрудники компаний ходят в Интернет серез анонимайзеры. Но поскольку КР занимается наиболее важными темами, от которых буквально зависит долгожительство компании, то этот трафик нужно защищать обязательно.

Грубо говоря, чтобы защитить всю компанию, нужно ВЕСЬ Интернет-трафик выводить через анонимайзеры. Иначе по запросам рядовых сотрудников всё равно можно понять планы и опасения компании. Но анонимизируют весь трафик лишь РЕДКИЕ компании.

-- Искендер написал 22 апреля 2014 12:40

tungus1973 написал:

[q]
Отнюдь, не все сотрудники компаний ходят в Интернет серез анонимайзеры.
[/q]

Оно понятно. Но коль у компании возникает обоснованная паранойя, следствием которой становится колдунство над "фальшивыми" пакетами в СайтСпутнике, не будет ли более простым решением работа через тот же VPN? Ну, хотя бы тем же специалистам, которые используют в своей работе СайтСпутник?

-- tungus1973 написал 22 апреля 2014 12:47

Искендер написал:

[q]
Но это, опять же, далеко не все поисковики предоставляют, как я понимаю?
[/q]

Тут дело не в поисковиках, а в дырявых сайтах. Сайт сейчас может создать любой желающий, а защитить его умеет не каждый.
Некоторые администраторы сайты не защищают страниц статистики, на которых написано с какого IP-адреса пришёл посетитель и с какого реферера (например, нашёл страницу через поисковик).
При этом реферер поисковика содержит страницу с запросом, по характеру которого можно понять, чем интересовался посетитель, а по просмотренной странице сайта можно уточнить, что конкретно его заинтересовало.
Поисковики просто индексируют такие странички, как и любые другие. И показывают нам всё, что на них есть.

Если у компании выход в Интернет осуществляется с нескольких IP-адресов, можно понять интересы и опасения конкретных подразделений конкурента.

-- tungus1973 написал 22 апреля 2014 12:51

Искендер написал:

[q]
Но коль у компании возникает обоснованная паранойя, следствием которой становится колдунство над "фальшивыми" пакетами в СайтСпутнике, не будет ли более простым решением работа через тот же VPN?
[/q]

Будет. До того момента, пока Вы не получите письмо от конкурента и не увидите в нём IP-адрес VPN. После этого Ваши запросы к поисковикам, но уже с IP-адресом VPN снова начнут приносить плоды. :wink:

Защититься можно, арендовав анонимайзер, который будет часто подменять Ваш IP-адрес.
Но кроме этого способа у Вас теперь есть также возможность перемешать запросы в СайтСпутнике, что вместе даёт ещё большую защиту. :smile:

-- Искендер написал 22 апреля 2014 13:02

tungus1973 написал:

[q]
Защититься можно, арендовав анонимайзер ,который будет часто подменять Ваш IP-адрес.
[/q]

Ну да, само собой.

-- Vinni написал 22 апреля 2014 13:36
Да - паранойи мало не бывает. :good:

А теперь давайте на каком-нибудь примере посмотрим, как работает это "колдунство" с запросами типа "000.000.000.000" :evil:

Ну, хотя бы для того же украинского Приватбанка, с его сеткой класса С - _ttp://whois.domaintools.com/217.117.65.247
Тогда запрос будет, видимо, такой - "217.117.65."
И что такого полезного он нам скажет? :evil:

-- tungus1973 написал 22 апреля 2014 13:56
Ну, например, можно найти вот такие вещи: Результаты в Яндексе1 (http://yandex.ru/yandsearch?clid=1909644&lr=2&text=%22IP%22+%26%26+%28%22217.117.65.%22+|+%22217.117.065.%22%29+~~+%28%D0%9F%D1%80%D0%B8%D0%B2%D0%B0%D1%82%D0%B1%D0%B0%D0%BD%D0%BA+|+PRIVATBANK%29&site=pravda.com.ua), Результаты в Яндексе2 (http://yandex.ru/yandsearch?clid=1909644&lr=2&text=%22IP%22+%26%26+%28%22217.117.65.%22+|+%22217.117.065.%22%29+~~+%28%D0%9F%D1%80%D0%B8%D0%B2%D0%B0%D1%82%D0%B1%D0%B0%D0%BD%D0%BA+|+PRIVATBANK%29&site=epravda.com.ua), Результаты в Яндексе 3 (http://yandex.ru/yandsearch?clid=1909644&lr=2&text=%22IP%22+%26%26+%28%22217.117.65.%22+|+%22217.117.065.%22%29+~~+%28%D0%9F%D1%80%D0%B8%D0%B2%D0%B0%D1%82%D0%B1%D0%B0%D0%BD%D0%BA+|+PRIVATBANK%29&site=otzyv.ru), Результаты в Яндексе 4 (http://yandex.ru/yandsearch?clid=1909644&lr=2&text=%22IP%22+%26%26+%28%22217.117.65.%22+%7C+%22217.117.065.%22%29+~~+%28%D0%9F%D1%80%D0%B8%D0%B2%D0%B0%D1%82%D0%B1%D0%B0%D0%BD%D0%BA+%7C+PRIVATBANK%29&site=zakoni.com.ua), ...

Иногда везёт найти и что-то более стоящее...
(К сожалению примеров админских страничек со статистикой сайта сейчас под рукой нет.)

-- Искендер написал 22 апреля 2014 14:09

tungus1973 написал:

[q]
Тут дело не в поисковиках, а в дырявых сайтах. Сайт сейчас может создать любой желающий, а защитить его умеет не каждый.
Некоторые администраторы сайты не защищают страниц статистики, на которых написано с какого IP-адреса пришёл посетитель и с какого реферера (например, нашёл страницу через поисковик).
[/q]

С этим тоже вопросов нет. Но ответ может быть получен и из кешированной страницы. Т.е., запрос останется невидим для админа сайта.

-- tungus1973 написал 22 апреля 2014 14:31

Искендер написал:

[q]
Но ответ может быть получен и из кешированной страницы. Т.е., запрос останется невидим для админа сайта.
[/q]

Конечно.
Я привёл "бюджетный вариант", с помощью которого иногда можно узнать какую-то информацию, очень малую, но всё же. Это не 100% гарантированный приём, а лишь иллюстрация того, что узнать о запросах конкурента технически возможно.
Компания-заказчик, о которой я рассказывал в самом первом топике, столкнулась с вопиющим случаем перехвата всего трафика. Там, понятное дело, могли узнать вообще всё.

-- Искендер написал 22 апреля 2014 14:44

tungus1973 написал:

[q]
Компания-заказчик, о которой я рассказывал в самом первом топике, столкнулась с вопиющим случаем перехвата всего трафика. Там, понятное дело, могли узнать вообще всё.
[/q]

Ага. А известны ли случаи получения информации от самого поисковика? От компании, которая является его владельцем? На основе легального договора или через "стимулируемых" сотрудников?

-- tungus1973 написал 22 апреля 2014 15:14

Искендер написал:

[q]
А известны ли случаи получения информации от самого поисковика?
[/q]

Лично мне такие случаи неизвестны. Хотя это возможно технически и юридически (по запросу от правоохранительных органов).

-- Искендер написал 22 апреля 2014 16:09
Понятно. Спасибо! :hi:

tungus1973 написал:

[q]
Хотя это возможно технически и юридически (по запросу от правоохранительных органов).
[/q]

Это тоже понятно, но явно не наш случай.

-- tungus1973 написал 28 июля 2014 18:53
Приведённый мной алгоритм разбирали сегодня с Семёнычем.
Нашли красноречивый пример _www.iaaldcee.hu/statcountex/ips.asp
Пройдя по ссылке, вы увидите список IP-адресов, с которых на сайт заходили пользователи. Если нажать на ссылку-IP-адрес, то откроется страничка, на которой можно посмотреть, по какому запросу заходил посетитель или с какого сайта.

Например, для посетителя с IP 70.25.15.153 откроется страничка _http://www.iaaldcee.hu/statcountex/ips.asp?ip=70.25.15.153 , на которой видно, что посетитель нашёл этот сайт, запросив у Google "agricultural university of tirana" ( _https://www.google.ca/search?q=agricultural%20university%20of%20tirana&hl=en&lr=&start=80&sa=N&gws_rd=ssl ).

Таким образом задача поиска по IP-адресу сводится к тому, чтобы найти такие же странички статистики сайта, на которых будет видно, по каким ещё сайтам ходил пользователь или какие запросы делал в поисковиках.

-- Sergey написал 29 июля 2014 12:29

tungus1973 написал:

[q]
Пройдя по ссылке, вы увидите список IP-адресов, с которых на сайт заходили пользователи
[/q]

А про какой сайт идет речь? Это универсальный алгоритм или только для какого-то отдельного сайта?

-- tungus1973 написал 29 июля 2014 18:27

Sergey написал:

[q]
А про какой сайт идет речь?
[/q]

Про сайт _http://www.iaaldcee.hu/

Sergey написал:

[q]
Это универсальный алгоритм или только для какого-то отдельного сайта?
[/q]

Универсальный. См. посты с самого начала.