Форум Сообщества Практиков Конкурентной разведки (СПКР)

Недавно показывал работу СайтСпутника в одной компании. Аналитики задали вопросы по возможностям анонимизации и поделились своими проблемами. Будучи крупной компанией и имея не менее крупных и денежных конкурентов, заказчик столкнулся с недобросовестной конкуренцией. Один из конкурентов купил Интернет-провайдера, предоставлявшего заказчику доступ в Интернет, и тем самым получил возможность перехватывать весь Интернет-трафик. Вероятно читались все незашифрованные сообщения (т.е. кроме почты), а также анализировались запросы на Интернет-поисковиках (из которых можно понять планы и опасения компании).

Сотрудники заказчика впали в здоровую паранойю. Для решения проблемы сменили провайдера, а аналитики стали использовать сотовые модемы. Однако полученный горький опыт заставил их задуматься и об анонимизации СайтСпутника. Поскольку СайтСпутник работает с большим потоком данных, то на его работу существенным образом влияет скорость Интернет-соединения. Использование сотовых модемов, прокси-серверов и TOR замедляют работу программы. Кроме того, чисто технически перехват возможен и с ними.

Как один из способов защиты аналитики сейчас используют перемешивание запросов - на 1 целевой запрос давать несколько ложных. Такой подход можно реализовать и в СайтСпутнике - включил в пакет лишние строчки, а программа автоматом сделает эти лишние запросы. К примеру, интересуешься изготовлением изделий из пластмассы, так можно параллельно запрашивать изготовление изделий из композитов, из аллюминия, из меди, ...
Проблема в том, что такие запросы будут приносить много мусора и занимать ресурсы компьютера на обработку материалов - выделение контента, распределение по рубрикам и т.д. ("Ньюс"-версия).

Можно ли для решения указанной проблемы, принудительно отключать выкачивание, обработку и рубрикацию некоторых запросов в пакетах СайтСпутника? Насколько это сложно?

Vinni написал:

[q]

Но не проще ли написать небольшого бота (с таким же UA ), который регулярно будет опрашивать мусорными запросами нужные источники и читать поисковую выдачу, но больше ничего не делать?

[/q]

Совсем не обзательно писать боты. Составляется задача из нескольких пакетов запросов на ненужные темы и запускается через Планировщик задач в рамках СайтСпутника. Кстати, между ненужными проектами можно вставить и нужный проект.

tungus1973 написал:

[q]

Можно ли для решения указанной проблемы, принудительно отключать выкачивание, обработку и рубрикацию некоторых запросов в пакетах СайтСпутника? Насколько это сложно?

[/q]

Совсем не сложно: отключить - это не разработать. В версии 8.7.1 от 22.04.14 можно делать следующее.

Ложная цель типа 1.
Если запрос в Проекте начинается со знака *, то он (без звездочки) реально выполняется, но в выдачу ничего не попадает. Это позволит замаскровать в Проекте нужные запросы при помощи ненужных.

Ложная цель типа 2.
Если запрос в Проекте начинается с двух **, то они отбрасываются, запрос реально выполняется, найденные ссылки попадают в выдачу и скачиваются. На этом обработка заканчивается - в Рубрики ничего не попадает. Это позволяет замаскировать нужную информацию (ссылки и источники). В частности, полезно при перехвате всего трафика.

Саму Рубрикацию (правила отбора нужной информации) прятать не надо. Она и так никому не видна.

Наглядный пример для маскировки в рамках одного проекта.

*АНБ США || Yandex=7 ^^ Ложная цель типа 1 - в Яндексе реально выполняется поиск, а в выдачу ничего не попадает
**Сноуден || Google=7 ^^ Ложная цель типа 2 - реальный поиск в Гугле, реальное скачивание 70 ссылок и всё.

Вот меня тоже интересует вопрос, частично задетый уважаемым Винни - а смысл маскировки запросов в СайтСпутнике? Насколько возможно компании (пусть даже и крупной) получать информацию о запросах поисковикам? Ну, положим, Яндекс, Мейл - к ним подход, в силу географии, более-менее понятен, хотя сама возможность получения такой информации для меня не очевидна. А всё прочее? "Импортное"?

Добавление к сообщению tungus1973.

1. При перехвате трафика можно проанализировать и импортое, и отечественное.
2. СайтСпутник часто применяют напрямую к сайтам (подключение источников) для более оперативного и полного снятия информации.

Дополню свой предыдущий пост.

Начинать прозвонку IP-адресов лучше с тех адресов, которые засветились в почте, так как часто бывает, что весь Интернет-трафик выходит с одного защищённого IP-адреса, на котором стоит хороший брандмауэр. Но остальное адресное пространство IP тоже следует проверить.