Форум Сообщества Практиков Конкурентной разведки (СПКР)

Alexei Mylnikov написал:

[q]

1. Ян_дек с "злопамятен", дайте ему забыть о Вас. Не ищите в нем 15-24 часа.
2. Можно войти в него через IE, задать любой поиск, ввести запрашиваемое на капче число, но все равно желательно выполнить пункт 1.
3. После этого при построении больших карт сайтов (КС) используйте параметр: "Настройки - Параметры - Вкладка Интернет - "Антиробот: пауза между открытиями страниц поисковиков (от 0 до 20 сек)".

[/q]

1. Понятно, ну тут мы ему нос утрем , айпишник то у нас динамический. Только придется каждый раз отключаться - подключаться

3. Используем, но если не сделать, то что я указал в пункте 1, то помогает мало. К тому же очень долго идет процесс. При выставлении паузы в 4 сек., карта сайта, по моим субъективным подсчетам, создается раза в три дольше (а это примерно пара часов).

vbl написал:

[q]

айпишник то у нас динамический. Только придется каждый раз отключаться - подключаться

[/q]

Да. Это помогает. А еще, у него прямо предусмотрена регистрация для "хороших роботов". Если айпишник статический. но количество запросов не больше, чем он пропускает - можно воспользоваться.

CI-KP написал:

[q]

А еще, у него прямо предусмотрена регистрация для "хороших роботов"

[/q]

А можно ссылочку?

vbl написал:

[q]

Интересно, а если через Тор работать (какбэ через проксю), это поможет?

[/q]

Я использую програму "Offline Explorer Pro" (портативная версия называется "Portable Offline Browser") для исследования и скачивания сайтов. В ней есть одна очень интересная функция - "задать список прокси". В специальное окно нужно один раз ввести список прокси-серверов. В дальнейшем этот список можно дополнять, помещая новые прокси. Начав исследование или скачивание сайта, программа обращается к нему не напрямую, а через прокси, выбирая их случайным образом.

Дополнительно можно также настроить временные задержки - паузы между скачиванием, время задержки программы на страничке. Всё это задаётся не жестко ("4 секунды"), а гибко, например, от "1 до 10 секунд". Таким образом, паузы тоже выбираются случайным образом из некоторого диапазона.

Всё вышесказанное маскирует исследование сайта. С точки зрения администратора всё выглядит так, как будто одновременно несколько пользователей из разных городов (стран) заходят на сайт, просматривают странички, скачивают их для себя.

Мне кажется, что такой механизм обхода антироботов подошёл бы к любой программе.

Вообще в Offline Browser есть масса других приятных особенностей:
- проверка "типовых" каталогов, невидимых обычным пользователям, но присутствующих на сайтах;
- вычисление адресов ссылок через исследование кода java-скрипта;
- закачка одновременно нескольких проектов;
- и многое, многое другое.
Рекомендую программу. Очень помогает в работе.

Ниже приложил файл сравнения аналогичных программ. Думаю, многим будет интересно.

tungus1973 написал:

[q]

Я использую програму "Offline Explorer Pro" (портативная версия называется "Portable Offline Browser") для исследования и скачивания сайтов. В ней есть одна очень интересная функция - "задать список прокси". В специальное окно нужно один раз ввести список прокси-серверов. В дальнейшем этот список можно дополнять, помещая новые прокси. Начав исследование или скачивание сайта, программа обращается к нему не напрямую, а через прокси, выбирая их случайным образом.

[/q]

Программа именно обращается к исследуемому сайту через прокси из списка или каким-то образом (не кидайте тяжелым в голову) эти прокси подставляет вместо реальных? Ну, вдруг такое возможно?