Форум Сообщества Практиков Конкурентной разведки (СПКР)

vbl написал:

[q]

пытным путем убедились, что есть ряд сайтов, где админами установлена какая-то защита (не каптча, ибо ничего ввести не предлагает, тупо блокирует)

[/q]

Перешлите разработчикам адреса таких сайтов и опишите проблему. Авторы программы хоть и работают в Америке, но это - русские ребята. На письма отвечают довольно быстро. Либо подскажут Вам как обойти защиту, либо через какое-то время внесут изменения в программу.
Проблема еще может быть, если сайт написан на flesh-технологии (особенно с шифрованием). С такими действительно сплошное мучение...


vbl написал:

[q]

А программа в процессе скачивания одного сайта их может чередовать или она просто выбирает один и шпарит через него?

[/q]

Чередует.


vbl написал:

[q]

И еще вопросик, не подскажете имеется ли в ней возможность автоматического конвертирования страниц скачанного сайта в формат txt ?

[/q]

Можете воспользоваться бесплатной утилитой "HtmlAsText". Она выбрасывает теги о оставляет текст в формате txt.

tungus1973 написал:

[q]

Чередует.

[/q]

Спасибо


tungus1973 написал:

[q]

Можете воспользоваться бесплатной утилитой "HtmlAsText". Она выбрасывает теги о оставляет текст в формате txt.

[/q]

Ее сейчас и используем, просто это двойная работа получается и к тому же она работает только с htm и html, а всякие php, aspx и т.п. она не обрабатывает, а их достаточно много. Может есть и для них какая прога?

[q]

или вот этот _ttp://kursk.rosrabota.ru/

[/q]

этот просто считает число запросов с данного IP за некоторый промежуток времени (видимо достаточно большой и не покрываемый большим таймаутом), предлагает ввести капчу и блокирует запросы без ввода капчи
так что тут спасет только параллельная закачка через большое число проксей


vbl написал:

[q]

Например, вот этот - _ttp://resident.su/ru/

[/q]

аналогично - выдает код 503 и предлагает ввести капчу.

без матлаба здесь не обойтись для обхода капчи

vbl написал:

[q]

а вот второй...

[/q]

а со вторым та же проблема и тот же способ решения

Иоанн написал:

[q]

Тоже столкнулся с антироботом по сему вопрос возник - а данный оператор (^^пауза=) работает по всему запросу или только в месте запроса где поставлен? Вопрос связан с тем, что антиробот только на нашем родном поисковике работает, а на других все нормально. По этой причине замедлять работу всего пакета не целесообразно, а нужно замедлиться только при обращении к определенному сервису. Иначе пакет выполняется уже тридцать минут и еще не закончился

[/q]

Антиробот работает по всему пакету. Поисковики периодически меняют алгоритм борьбы с роботами. То Гугль "капризничает", то Яндекс, то Bing.

Реально сделать оператор типа:
^^Пауза.Yandex=7;
^^Пауза.Google=3; и так далее...