Форум Сообщества Практиков Конкурентной разведки (СПКР) » Приемы работы с программой СайтСпутник (SiteSputnik) » Сбор и хранение информации при помощи программы SiteSputnik |
<<Назад Вперед>> | Страницы: 1 2 3 4 | Печать |
petryashov
Администратор
Откуда: Москва Всего сообщений: 480 Рейтинг пользователя: 9 Ссылка Дата регистрации на форуме: 7 июня 2009 |
vbl написал: Так что, на мой взгляд, применительно к нашему с Дмитрием небольшому спору, все же лучше будет последующие после первого запуски СайтСпутника по интересующему нас запросу проводить с сортировкой по дате. Тогда мы действительно будем получать по большей части новые материалы. В первом же случае новых ссылок будет гораздо меньше. Убедил! |
vbl
Модератор форума
Откуда: Нижний Новгород Всего сообщений: 179 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 10 июня 2009 |
petryashov написал: Убедил! Ну, и хорошо ---
Non progredi est regredi http://www.informnn.ru Информационная рассылка "Конкурентная разведка. Сам себе разведчик" - http://subscribe.ru/catalog/tech.razvedka |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 877 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
petryashov написал:
По запросу Бориса (vbl) "проще" и эффективнее искать новые ссылки. Запрос Дмитрия (petryashov) ориентирован на поиск "незнакомых" ссылок (уникальная возможность СайтСпутника) - тех ссылок, которые еще ни разу не попадали в поле зрения исследователя. В разряд незнакомых ссылок будут попадать как новые, так и "старые" ссылки, ранее неприносимые по запросу. Это тоже может быть интересно и важно. Если в пакет поставить оба запроса: первым запрос Бориса, вторым запрос Дмитрия, - то такой пакет запросов просуммирует преимущества обоих запросов: Федор /1 Юрчихин || YANDEX->Дата=5 Федор /1 Юрчихин || Yandex.Deep=1000 В первом запросе уменьшина глубина поиска, так как далее, чем на 5-ой странице врядли будет что-то новое. Для того, чтобы уменьшить вероятность попадания на антиробот Яндекса между этими запросами вставил бы поиск по Google и Рамблеру и получил бы следующий пакет: Федор /1 Юрчихин || YANDEX->Дата=5 "Федор Юрчихин" || Google.Deep=1000 "Федор Юрчихин" || Rambler.Deep=1000 Федор /1 Юрчихин || Yandex.Deep=1000 |
vbl
Модератор форума
Откуда: Нижний Новгород Всего сообщений: 179 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 10 июня 2009 |
Alexei Mylnikov написал: Для того, чтобы уменьшить вероятность попадания на антиробот Яндекса Мы на антиробот яндекса все равно в данном случае попадаем. Я когда эксперементировал на запросе Федор /1 Юрчихин || Yandex.Deep=1000 даже со значением паузы 20 не смог пройти дальше 402 страницы ---
Non progredi est regredi http://www.informnn.ru Информационная рассылка "Конкурентная разведка. Сам себе разведчик" - http://subscribe.ru/catalog/tech.razvedka |
tungus1973
Модератор форума
Откуда: г. Санкт-Петербург Всего сообщений: 795 Рейтинг пользователя: 11 Ссылка Дата регистрации на форуме: 3 июля 2009 |
vbl написал: Alexei Mylnikov, а можно в пакете менять паузы? даже со значением паузы 20 не смог пройти дальше 402 страницы Например, сначала внутри пакета задаем паузу 5 сек., потом 20 сек., потом снова меняем на 5 сек.? Таким образом можно перед Яндекс.Запросом делать паузы побольше, а на остальных поисковиках собирать ссылки побыстрее. |
vbl
Модератор форума
Откуда: Нижний Новгород Всего сообщений: 179 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 10 июня 2009 |
tungus1973 написал: Alexei Mylnikov, а можно в пакете менять паузы? А еще было бы лучше, чтобы СайтСпутник при появлении первой страницы с "Ой А не робот ли Вы Введите код" останавливался, ждал, когда пользователь введет код и только после этого шел дальше ---
Non progredi est regredi http://www.informnn.ru Информационная рассылка "Конкурентная разведка. Сам себе разведчик" - http://subscribe.ru/catalog/tech.razvedka |
tungus1973
Модератор форума
Откуда: г. Санкт-Петербург Всего сообщений: 795 Рейтинг пользователя: 11 Ссылка Дата регистрации на форуме: 3 июля 2009 |
Согласен. В этом случае остановка программы очень бы помогла. И еще система должна выдать какой-то сигнал (звук, всплывающее окно) о том, что появился антиробот. |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 877 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
tungus1973 написал: А еще было бы лучше, чтобы СайтСпутник при появлении первой страницы с "Ой А не робот ли Вы Введите код" останавливался, ждал, когда пользователь введет код и только после этого шел дальше В вестии 6.4.4.1 встроена именно такая обработка капчи для Яндекса. Она невечная, так как иногда содержание страницы с капчей изменяется разработчиками. Возникнут проблемы - буду вносить изменения в программу, сохраняя предыдущие варианты обработки. |
vbl
Модератор форума
Откуда: Нижний Новгород Всего сообщений: 179 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 10 июня 2009 |
Профиль | Игнорировать
NEW! Сообщение отправлено: 2 августа 2010 20:51 Сообщение отредактировано: 2 августа 2010 20:52 Alexei Mylnikov написал: В вестии 6.4.4.1 встроена именно такая обработка капчи для Яндекса. Большое спасибо, работает. Но, сходу появился один нюансик. Если свернуть окно программы, как наверное многие обычно делают, то при срабатывании данной функции, как и положено, вылетает запланированная табличка "Введите код указанный на каптче и нажмите ОК". Вот тут большая проблема появляется, ибо программа разворачиваться не желает, а не открыв ее, каптчи не видно, приходится нажимать "Cancel" и соответственно все насмарку. Можно ли это как-то исправить? ---
Non progredi est regredi http://www.informnn.ru Информационная рассылка "Конкурентная разведка. Сам себе разведчик" - http://subscribe.ru/catalog/tech.razvedka |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 877 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
vbl написал: Но, сходу появился один нюансик. Если свернуть окно программы, как наверное многие обычно делают, то при срабатывании данной функции, как и положено, вылетает запланированная табличка "Введите код указанный на каптче и нажмите ОК". Вот тут большая проблема появляется, ибо программа разворачиваться не желает, а не открыв ее, каптчи не видно, приходится нажимать "Cancel" и соответственно все насмарку. Спасибо, исправил, подкачайтесь. |
<<Назад Вперед>> | Страницы: 1 2 3 4 | Печать |
Форум Сообщества Практиков Конкурентной разведки (СПКР) » Приемы работы с программой СайтСпутник (SiteSputnik) » Сбор и хранение информации при помощи программы SiteSputnik |
Самые активные 20 тем | |