Форум Сообщества Практиков Конкурентной разведки (СПКР)

Недавно показывал работу СайтСпутника в одной компании. Аналитики задали вопросы по возможностям анонимизации и поделились своими проблемами. Будучи крупной компанией и имея не менее крупных и денежных конкурентов, заказчик столкнулся с недобросовестной конкуренцией. Один из конкурентов купил Интернет-провайдера, предоставлявшего заказчику доступ в Интернет, и тем самым получил возможность перехватывать весь Интернет-трафик. Вероятно читались все незашифрованные сообщения (т.е. кроме почты), а также анализировались запросы на Интернет-поисковиках (из которых можно понять планы и опасения компании).

Сотрудники заказчика впали в здоровую паранойю. Для решения проблемы сменили провайдера, а аналитики стали использовать сотовые модемы. Однако полученный горький опыт заставил их задуматься и об анонимизации СайтСпутника. Поскольку СайтСпутник работает с большим потоком данных, то на его работу существенным образом влияет скорость Интернет-соединения. Использование сотовых модемов, прокси-серверов и TOR замедляют работу программы. Кроме того, чисто технически перехват возможен и с ними.

Как один из способов защиты аналитики сейчас используют перемешивание запросов - на 1 целевой запрос давать несколько ложных. Такой подход можно реализовать и в СайтСпутнике - включил в пакет лишние строчки, а программа автоматом сделает эти лишние запросы. К примеру, интересуешься изготовлением изделий из пластмассы, так можно параллельно запрашивать изготовление изделий из композитов, из аллюминия, из меди, ...
Проблема в том, что такие запросы будут приносить много мусора и занимать ресурсы компьютера на обработку материалов - выделение контента, распределение по рубрикам и т.д. ("Ньюс"-версия).

Можно ли для решения указанной проблемы, принудительно отключать выкачивание, обработку и рубрикацию некоторых запросов в пакетах СайтСпутника? Насколько это сложно?

Vinni написал:

[q]

Но не проще ли написать небольшого бота (с таким же UA ), который регулярно будет опрашивать мусорными запросами нужные источники и читать поисковую выдачу, но больше ничего не делать?

[/q]

Совсем не обзательно писать боты. Составляется задача из нескольких пакетов запросов на ненужные темы и запускается через Планировщик задач в рамках СайтСпутника. Кстати, между ненужными проектами можно вставить и нужный проект.

tungus1973 написал:

[q]

Можно ли для решения указанной проблемы, принудительно отключать выкачивание, обработку и рубрикацию некоторых запросов в пакетах СайтСпутника? Насколько это сложно?

[/q]

Совсем не сложно: отключить - это не разработать. В версии 8.7.1 от 22.04.14 можно делать следующее.

Ложная цель типа 1.
Если запрос в Проекте начинается со знака *, то он (без звездочки) реально выполняется, но в выдачу ничего не попадает. Это позволит замаскровать в Проекте нужные запросы при помощи ненужных.

Ложная цель типа 2.
Если запрос в Проекте начинается с двух **, то они отбрасываются, запрос реально выполняется, найденные ссылки попадают в выдачу и скачиваются. На этом обработка заканчивается - в Рубрики ничего не попадает. Это позволяет замаскировать нужную информацию (ссылки и источники). В частности, полезно при перехвате всего трафика.

Саму Рубрикацию (правила отбора нужной информации) прятать не надо. Она и так никому не видна.

Наглядный пример для маскировки в рамках одного проекта.

*АНБ США || Yandex=7 ^^ Ложная цель типа 1 - в Яндексе реально выполняется поиск, а в выдачу ничего не попадает
**Сноуден || Google=7 ^^ Ложная цель типа 2 - реальный поиск в Гугле, реальное скачивание 70 ссылок и всё.

Вот меня тоже интересует вопрос, частично задетый уважаемым Винни - а смысл маскировки запросов в СайтСпутнике? Насколько возможно компании (пусть даже и крупной) получать информацию о запросах поисковикам? Ну, положим, Яндекс, Мейл - к ним подход, в силу географии, более-менее понятен, хотя сама возможность получения такой информации для меня не очевидна. А всё прочее? "Импортное"?

Добавление к сообщению tungus1973.

1. При перехвате трафика можно проанализировать и импортое, и отечественное.
2. СайтСпутник часто применяют напрямую к сайтам (подключение источников) для более оперативного и полного снятия информации.

Дополню свой предыдущий пост.

Начинать прозвонку IP-адресов лучше с тех адресов, которые засветились в почте, так как часто бывает, что весь Интернет-трафик выходит с одного защищённого IP-адреса, на котором стоит хороший брандмауэр. Но остальное адресное пространство IP тоже следует проверить.

tungus1973 написал:

[q]

Отнюдь, не все сотрудники компаний ходят в Интернет серез анонимайзеры.

[/q]

Оно понятно. Но коль у компании возникает обоснованная паранойя, следствием которой становится колдунство над "фальшивыми" пакетами в СайтСпутнике, не будет ли более простым решением работа через тот же VPN? Ну, хотя бы тем же специалистам, которые используют в своей работе СайтСпутник?

Искендер написал:

[q]

Но коль у компании возникает обоснованная паранойя, следствием которой становится колдунство над "фальшивыми" пакетами в СайтСпутнике, не будет ли более простым решением работа через тот же VPN?

[/q]

Будет. До того момента, пока Вы не получите письмо от конкурента и не увидите в нём IP-адрес VPN. После этого Ваши запросы к поисковикам, но уже с IP-адресом VPN снова начнут приносить плоды.

Защититься можно, арендовав анонимайзер, который будет часто подменять Ваш IP-адрес.
Но кроме этого способа у Вас теперь есть также возможность перемешать запросы в СайтСпутнике, что вместе даёт ещё большую защиту.

Да - паранойи мало не бывает.

А теперь давайте на каком-нибудь примере посмотрим, как работает это "колдунство" с запросами типа "000.000.000.000"
Ну, хотя бы для того же украинского Приватбанка, с его сеткой класса С - _ttp://whois.domaintools.com/217.117.65.247
Тогда запрос будет, видимо, такой - "217.117.65."
И что такого полезного он нам скажет?

tungus1973 написал:

[q]

Тут дело не в поисковиках, а в дырявых сайтах. Сайт сейчас может создать любой желающий, а защитить его умеет не каждый.
Некоторые администраторы сайты не защищают страниц статистики, на которых написано с какого IP-адреса пришёл посетитель и с какого реферера (например, нашёл страницу через поисковик).

[/q]

С этим тоже вопросов нет. Но ответ может быть получен и из кешированной страницы. Т.е., запрос останется невидим для админа сайта.

tungus1973 написал:

[q]

Компания-заказчик, о которой я рассказывал в самом первом топике, столкнулась с вопиющим случаем перехвата всего трафика. Там, понятное дело, могли узнать вообще всё.

[/q]

Ага. А известны ли случаи получения информации от самого поисковика? От компании, которая является его владельцем? На основе легального договора или через "стимулируемых" сотрудников?

Понятно. Спасибо!


tungus1973 написал:

[q]

Хотя это возможно технически и юридически (по запросу от правоохранительных органов).

[/q]

Это тоже понятно, но явно не наш случай.

tungus1973 написал:

[q]

Пройдя по ссылке, вы увидите список IP-адресов, с которых на сайт заходили пользователи

[/q]

А про какой сайт идет речь? Это универсальный алгоритм или только для какого-то отдельного сайта?