http://forum.razved.info//index.php?t=807 Пакеты. Обходим &quot;антироботы&quot; поисковиков ru http://forum.razved.info//index.php?t=807&p=36065#pp36065 http://forum.razved.info//index.php?t=807&p=36065#pp36065 <br>Vinni написал:<blockquote><div style="height:1px;width:1px;overflow:hidden">[q]</div>Увеличение паузы для Яндекса приводит к замедлению работы... <img src="http://forum.razved.info//smiles/sad.gif" align=absmiddle alt=":sad:"> <div style="height:1px;width:1px;overflow:hidden">[/q]</div></blockquote><br />Да, я сперва "дал маху", настроил Антиробот на 15 сек паузу. Не только для Яндекса, а для всех поисковиков, в Настройках-Параметры-Интернет-Антиробот. Очень медленно всё стало собирать. Потом узнал про ^^Пауза.Yandex= - это меня и выручило. Семёныч Wed, 12 Dec 2012 18:47:08 +0400 http://forum.razved.info//index.php?t=807&p=36060#pp36060 http://forum.razved.info//index.php?t=807&p=36060#pp36060 Как правило капча начинает спрашиваться поисковиком, если с данного IP идет за какой-то недавний промежуток времени более определенного числа запросов (т.е. пользователь слишком часто вводит запросы <img src="http://forum.razved.info//smiles/evil.gif" align=absmiddle alt=":evil:"> ). <br />Увеличение паузы для Яндекса приводит к замедлению работы... <img src="http://forum.razved.info//smiles/sad.gif" align=absmiddle alt=":sad:"> <br />По-хорошему, в таких случаях надо ставить локальный балансирующий прокси (тот же 3proxy это может) и купить на дешевых хостингах несколько VDS, на которых тоже поставить прокси. Тогда запросы к поисковикам будут равномерно распределяться по нескольким IP (плюс можно и куки до кучи удалять) и проблем будет меньше <img src="http://forum.razved.info//smiles/cactus-emoticon.gif" align=absmiddle alt=":cactus-emot"> <br /><br /> Vinni Wed, 12 Dec 2012 18:18:09 +0400 http://forum.razved.info//index.php?t=807&p=36044#pp36044 http://forum.razved.info//index.php?t=807&p=36044#pp36044 Столкнулся и я недавно с проблемой капчи. При чём капчу спрашивал только Яндекс (как я заметил сперва). Не был бы он столь мощным поисковиком по рунету - вырубил бы его к чертям, всю работу "Планировщика заданий" рубит на корню. А так пришлось перечитать форум, найти эту ветку и победить (на долго ли? - время покажет) капчу с помощью ^^Пауза.Yandex=5 <br />Но позже я заметил следующий момент: капчу спрашивает и Рамблер, только почему-то программа не останавливается, как на капче Яндекса, а работает дальше, проскакивая Рамблер. Выходит, в поиск не попадают результаты Рамблера? Алексей, если не сложно, проверьте пожалуйста, может это только у меня такой специфический глюк.<br /><br />Вообще, как-то не понятно, почему поисковики типа Mail.ru, Google, Bing, tut.by, gogo.by и др. не заморачиваются с капчами, а Яндекс, как "девочка-недотрога"? Ещё заметил, что утром капчу запрашивает чаще, чем если поиск-мониторинг запускать ближе к концу рабочего дня.<br />Ну, спросил капчу раз-другой-третий и пусть бы запомнил, что с этого IP не робот ходит, раз капчу вводят. Ни фига! С утра и до обеда отрабатываются пакеты и постоянно приходится вводить капчу, по 15-25 раз. Пришлось даже отказаться от "Планировщика задач". Теперь, надеюсь, я эту проблему победил. Семёныч Wed, 12 Dec 2012 16:22:35 +0400 http://forum.razved.info//index.php?t=807&p=12737#pp12737 http://forum.razved.info//index.php?t=807&p=12737#pp12737 Потасовал запросы внутри пакета, поставил задержку - большой брат перестал проверять меня на причастность к расе роботов <img src="http://forum.razved.info//smiles/smile.gif" align=absmiddle alt=":smile:"> Игорь Нежданов Fri, 04 Jun 2010 10:44:56 +0400 http://forum.razved.info//index.php?t=807&p=12735#pp12735 http://forum.razved.info//index.php?t=807&p=12735#pp12735 Значит будем тасовать <img src="http://forum.razved.info//smiles/smile.gif" align=absmiddle alt=":smile:"> Игорь Нежданов Thu, 03 Jun 2010 20:48:25 +0400 http://forum.razved.info//index.php?t=807&p=12728#pp12728 http://forum.razved.info//index.php?t=807&p=12728#pp12728 <br>Иоанн написал:<blockquote><div style="height:1px;width:1px;overflow:hidden">[q]</div>м-м-м-м стесняюсь спросить - т.е. этих операторов пока нет? <div style="height:1px;width:1px;overflow:hidden">[/q]</div></blockquote><br />Нет, пока только <br />^^Пауза=7;<br />одна на все поисковики.<br /><br /><br /><br /><b><font color="red">ЗАМЕЧАНИЕ ОТ 31.08.10</font></b><br />=====================<br />Обсуждаемые проблемы решены. Можно ответить на капчу и делать "персональные" паузы на Яндексе, Гугле и Яху.<br />Смотрите на этом форуме в другой теме - forum.razved.info/index.php?t=1044&amp;p=13433#pp13433 Алексей Мыльников Thu, 03 Jun 2010 14:08:35 +0400 http://forum.razved.info//index.php?t=807&p=12726#pp12726 http://forum.razved.info//index.php?t=807&p=12726#pp12726 <br>Alexei Mylnikov написал:<blockquote><div style="height:1px;width:1px;overflow:hidden">[q]</div>Реально сделать оператор типа:<br />^^Пауза.Yandex=7;<br />^^Пауза.Google=3; и так далее...<div style="height:1px;width:1px;overflow:hidden">[/q]</div></blockquote><br />м-м-м-м стесняюсь спросить - т.е. этих операторов пока нет? <img src="http://forum.razved.info//smiles/blush.gif" align=absmiddle alt=":blush:"> <br /><br>tungus1973 написал:<blockquote><div style="height:1px;width:1px;overflow:hidden">[q]</div>Я в своё время, столкнувшись с той же проблемой, применял способ "пустых запросов":<br /><br />|| Поисковик=n<br />....<br /><div style="height:1px;width:1px;overflow:hidden">[/q]</div></blockquote><br />Спасибо! Игорь Нежданов Thu, 03 Jun 2010 13:53:57 +0400 http://forum.razved.info//index.php?t=807&p=12717#pp12717 http://forum.razved.info//index.php?t=807&p=12717#pp12717 <br>Иоанн написал:<blockquote><div style="height:1px;width:1px;overflow:hidden">[q]</div>Тоже столкнулся с антироботом <img src="http://forum.razved.info//smiles/sad.gif" align=absmiddle alt=":sad:"> по сему вопрос возник - а данный оператор (^^пауза=) работает по всему запросу или только в месте запроса где поставлен? <div style="height:1px;width:1px;overflow:hidden">[/q]</div></blockquote>Я в своё время, столкнувшись с той же проблемой, применял <b><i>способ "пустых запросов"</i></b>:<br /><br /><b>|| Поисковик=n</b><br /><br />где:<br />Поисковик - Yandex, Google, Mail, MSN и т.д.<br />n - любое число больше 0.<br />Перед знаком || ничего нет ("пустой запрос").<br /><br />По такой команде открывается стартовая страничка выбранного поисковика без запроса. Таким образом делается некоторая пауза. Такие строчки "пустого запроса" можно вставлять перед строчкой с антироботным поисковиком.<br /><br /><br />Еще один вариант - в настройках программы <b><i>увеличить время задержки между запросами</i></b>. Но в этом случае ВСЕ запросы будут выполняться медленнее.<br /><br /><br />И уж конечно нужно <b><i>перемешивать поисковики</i></b>.<br />То есть, если поставить запросы в таком порядке:<br /><br /><b>Запрос 1 || Yandex=1000<br />Запрос 2 || Yandex=1000<br />Запрос 3 || Yandex=1000</b><br /><br />то на 6-ом запросе Яндекс поинтересуется, а не робот ли Вы?<br /><br />А если запросы перемешать:<br /><br /><b>Запрос 1 || Yandex=1000<br />Запрос 1 || Mail=1000<br />Запрос 1 || Google=1000<br />...<br />Запрос 2 || Yandex=1000<br />Запрос 2 || Mail=1000<br />Запрос 2 || Google=1000</b><br /><br />то естественным образом получается задержка между запросами к каждому конкретному поисковику. tungus1973 Thu, 03 Jun 2010 11:14:16 +0400 http://forum.razved.info//index.php?t=807&p=12714#pp12714 http://forum.razved.info//index.php?t=807&p=12714#pp12714 <br>Иоанн написал:<blockquote><div style="height:1px;width:1px;overflow:hidden">[q]</div>Тоже столкнулся с антироботом по сему вопрос возник - а данный оператор (^^пауза=) работает по всему запросу или только в месте запроса где поставлен? Вопрос связан с тем, что антиробот только на нашем родном поисковике работает, а на других все нормально. По этой причине замедлять работу всего пакета не целесообразно, а нужно замедлиться только при обращении к определенному сервису. Иначе пакет выполняется уже тридцать минут и еще не закончился <div style="height:1px;width:1px;overflow:hidden">[/q]</div></blockquote><br />Антиробот работает по всему пакету. Поисковики периодически меняют алгоритм борьбы с роботами. То Гугль "капризничает", то Яндекс, то Bing.<br /><br />Реально сделать оператор типа:<br />^^Пауза.Yandex=7;<br />^^Пауза.Google=3; и так далее...<br /> Алексей Мыльников Thu, 03 Jun 2010 10:59:20 +0400 http://forum.razved.info//index.php?t=807&p=12712#pp12712 http://forum.razved.info//index.php?t=807&p=12712#pp12712 <br>Alexei Mylnikov написал:<blockquote><div style="height:1px;width:1px;overflow:hidden">[q]</div>2. Появился оператор: ^^Пауза=&lt;число&gt; Его можно вводить прямо в тексте пакета (или справа в запросе).<br />Приведенный в первом топике пакет, где tungus1973 отвлекал СайтСпутник на выполнение пустых запросов, может теперь выглядеть так:<br /><br />^^пауза=4<br />Запрос 1 || Yandex=1<br />Запрос 2 || Yandex=1<br />Запрос 3 || Yandex=1<br /><br />3. Оператор ^^Пауза=&lt;число&gt; приоритетнее, чем настройка из пункта 1. Поэтому, набрав его в тексте пакета, можно не переустанавливать настройку при переходе от пакета к пакету. <div style="height:1px;width:1px;overflow:hidden">[/q]</div></blockquote><br /><br />Тоже столкнулся с антироботом <img src="http://forum.razved.info//smiles/sad.gif" align=absmiddle alt=":sad:"> по сему вопрос возник - а данный оператор (^^пауза=) работает по всему запросу или только в месте запроса где поставлен? Вопрос связан с тем, что антиробот только на нашем родном поисковике работает, а на других все нормально. По этой причине замедлять работу всего пакета не целесообразно, а нужно замедлиться только при обращении к определенному сервису. Иначе пакет выполняется уже тридцать минут и еще не закончился <img src="http://forum.razved.info//smiles/sad.gif" align=absmiddle alt=":sad:"> Игорь Нежданов Thu, 03 Jun 2010 10:41:14 +0400