Форум Сообщества Практиков Конкурентной разведки (СПКР)

vbl написал:

[q]

айпишник то у нас динамический. Только придется каждый раз отключаться - подключаться

[/q]

Да. Это помогает. А еще, у него прямо предусмотрена регистрация для "хороших роботов". Если айпишник статический. но количество запросов не больше, чем он пропускает - можно воспользоваться.

CI-KP написал:

[q]

А еще, у него прямо предусмотрена регистрация для "хороших роботов"

[/q]

А можно ссылочку?

vbl написал:

[q]

Интересно, а если через Тор работать (какбэ через проксю), это поможет?

[/q]

Я использую програму "Offline Explorer Pro" (портативная версия называется "Portable Offline Browser") для исследования и скачивания сайтов. В ней есть одна очень интересная функция - "задать список прокси". В специальное окно нужно один раз ввести список прокси-серверов. В дальнейшем этот список можно дополнять, помещая новые прокси. Начав исследование или скачивание сайта, программа обращается к нему не напрямую, а через прокси, выбирая их случайным образом.

Дополнительно можно также настроить временные задержки - паузы между скачиванием, время задержки программы на страничке. Всё это задаётся не жестко ("4 секунды"), а гибко, например, от "1 до 10 секунд". Таким образом, паузы тоже выбираются случайным образом из некоторого диапазона.

Всё вышесказанное маскирует исследование сайта. С точки зрения администратора всё выглядит так, как будто одновременно несколько пользователей из разных городов (стран) заходят на сайт, просматривают странички, скачивают их для себя.

Мне кажется, что такой механизм обхода антироботов подошёл бы к любой программе.

Вообще в Offline Browser есть масса других приятных особенностей:
- проверка "типовых" каталогов, невидимых обычным пользователям, но присутствующих на сайтах;
- вычисление адресов ссылок через исследование кода java-скрипта;
- закачка одновременно нескольких проектов;
- и многое, многое другое.
Рекомендую программу. Очень помогает в работе.

Ниже приложил файл сравнения аналогичных программ. Думаю, многим будет интересно.

tungus1973 написал:

[q]

Я использую програму "Offline Explorer Pro" (портативная версия называется "Portable Offline Browser") для исследования и скачивания сайтов. В ней есть одна очень интересная функция - "задать список прокси". В специальное окно нужно один раз ввести список прокси-серверов. В дальнейшем этот список можно дополнять, помещая новые прокси. Начав исследование или скачивание сайта, программа обращается к нему не напрямую, а через прокси, выбирая их случайным образом.

[/q]

Программа именно обращается к исследуемому сайту через прокси из списка или каким-то образом (не кидайте тяжелым в голову) эти прокси подставляет вместо реальных? Ну, вдруг такое возможно?

tungus1973 написал:

[q]

Я использую програму "Offline Explorer Pro"

[/q]

Тоже пользуемся этой програмкой, но только версией Enterprise. Классная штука. Но, к сожалению, имеет свои ограничения. Так, опытным путем убедились, что есть ряд сайтов, где админами установлена какая-то защита (не каптча, ибо ничего ввести не предлагает, тупо блокирует), при любом скачивании, даже с максимальной паузой. Был бы очень признателен, если бы подсказали решение данной проблемы.



tungus1973 написал:

[q]

Начав исследование или скачивание сайта, программа обращается к нему не напрямую, а через прокси, выбирая их случайным образом.

[/q]

А программа в процессе скачивания одного сайта их может чередовать или она просто выбирает один и шпарит через него?

Спасибо за таблицу, интересно.

И еще вопросик, не подскажете имеется ли в ней возможность автоматического конвертирования страниц скачанного сайта в формат txt ?