Форум Сообщества Практиков Конкурентной разведки (СПКР)

Версия для печати

- Форум Сообщества Практиков Конкурентной разведки (СПКР) http://forum.razved.info/
-- Программируем пакеты СайтСпутника (для продвинутых юзеров) http://forum.razved.info//index.php?f=39
--- Баги MSN при выполнении пакетов http://forum.razved.info//index.php?t=204

-- tungus1973 написал 15 июля 2009 17:37
При выполнении пакетного поиска в MSN/Live (Bing) столкнулся с неприятной особенностью поисковика. Он выдает результаты для первых 5 запросов, а на 6-й запрос выскакивает чистая страничка.

Уважаемые пользователи СайтСпутника, встречались ли вы с такой же проблемой? Если встречались, то нашли ли способ обойти ее?

Я пока решаю проблему дублированием 6-й строки.
Например, для поиска сотового телефона делаю такие конструкции:

^^=====================================================================
^^ Поиск по MSN/Live (Bing)
"<1><2>-<3><4>-<5><6>-<7><8>" || MSN=<9> ^^формат: хххх-хх-хх-хх (1-й запрос)
"<1><2>-<3><4><5>-<6><7><8>" || MSN=<9> ^^формат: хххх-ххх-ххх (2-й запрос)
"<1><2>-<3><4><5><6><7><8>" || MSN=<9> ^^формат: хххх-хххххх (3-й запрос)
"<1>-<2>-<3><4>-<5><6>-<7><8>" || MSN=<9> ^^формат: ххх-х-хх-хх-хх (4-й запрос)
"<1>-<2>-<3><4><5>-<6><7><8>" || MSN=<9> ^^формат: ххх-х-ххх-ххх (5-запрос)
"<1>-<2><3>-<4><5><6>-<7><8>" || MSN=<9> ^^формат: ххх-хх-ххх-хх (6-й запрос = пустой)
"<1>-<2><3>-<4><5><6>-<7><8>" || MSN=<9> ^^формат: ххх-хх-ххх-хх (6-й запрос = результативный)
"<1>-<2><3>-<4><5>-<6><7><8>" || MSN=<9> ^^формат: ххх-хх-хх-ххх (7-й запрос)

-- Алексей Мыльников написал 15 июля 2009 19:13
Мое предположение следующее.
Делая такой пакет, Вы атакуете MSN (Bing) в том случае, если телефона нет или "очень мало" в поисковике. В этом случае к его первой странице приходит с одного IP несколько разных запросов в "нечеловеческий" (ничтожно малый) промежуток времени.
Скорее всего, Bing пытается остановить атаку на шестом обращении к первой странице с одного IP. Почему он позволяет работать дальше - могу объяснить только "сыростью" нового варианта поисковика от Microsoft. Ранее в MSN антиробота я не замечал, и можно было напрягать его без помех.
Если Вы возьмете хорошо представленный в MSN телефон, то атаки на первую поисковую страницу не будет, и все сработает нормально.
В СайтСпутнике есть встроенный антиробот, но данную ситуацию он не обезвредил, потому что она ранее не возникала.
Рекомендация следующая - перемешивайте в пакете запросы, не отсылайте несколько подряд идущих запросов к одному поисковику. Это облегчит задачу встроенному в SiteSputnik антироботу.
Повторюсь, все сказанное выше - мое предположение, подтвержденное только двумя запросами - один для "малоизвестного" телефона, другой для телефона, которого много в MSN.