Сбор и хранение информации при помощи программы SiteSputnik

Форум Сообщества Практиков Конкурентной разведки (СПКР)

Конкурентная разведка, Бизнес-разведка, Корпоративная разведка,
Деловая разведка по открытым источникам в бизнесе.
Работаем строго в рамках закона.

Дезинформация и активные мероприятия в бизнесе
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Приемы работы с программой СайтСпутник (SiteSputnik) »   Сбор и хранение информации при помощи программы SiteSputnik
RSS

Сбор и хранение информации при помощи программы SiteSputnik

<<Назад  Вперед>>Страницы: 1 2 3 * 4
Печать
 
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 856
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

petryashov написал:
[q]

vbl написал:
[q]
Так что, на мой взгляд, применительно к нашему с Дмитрием небольшому спору, все же лучше будет последующие после первого запуски СайтСпутника по интересующему нас запросу проводить с сортировкой по дате. Тогда мы действительно будем получать по большей части новые материалы. В первом же случае новых ссылок будет гораздо меньше.
[/q]


Убедил!
[/q]

По запросу Бориса (vbl) "проще" и эффективнее искать новые ссылки.

Запрос Дмитрия (petryashov) ориентирован на поиск "незнакомых" ссылок (уникальная возможность СайтСпутника) - тех ссылок, которые еще ни разу не попадали в поле зрения исследователя. В разряд незнакомых ссылок будут попадать как новые, так и "старые" ссылки, ранее неприносимые по запросу. Это тоже может быть интересно и важно.

Если в пакет поставить оба запроса: первым запрос Бориса, вторым запрос Дмитрия, - то такой пакет запросов просуммирует преимущества обоих запросов:

Федор /1 Юрчихин || YANDEX->Дата=5
Федор /1 Юрчихин || Yandex.Deep=1000

В первом запросе уменьшина глубина поиска, так как далее, чем на 5-ой странице врядли будет что-то новое.

Для того, чтобы уменьшить вероятность попадания на антиробот Яндекса между этими запросами вставил бы поиск по Google и Рамблеру и получил бы следующий пакет:

Федор /1 Юрчихин || YANDEX->Дата=5
"Федор Юрчихин" || Google.Deep=1000
"Федор Юрчихин" || Rambler.Deep=1000
Федор /1 Юрчихин || Yandex.Deep=1000

vbl
Модератор форума

Откуда: Нижний Новгород
Всего сообщений: 179
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
10 июня 2009

Alexei Mylnikov написал:
[q]
Для того, чтобы уменьшить вероятность попадания на антиробот Яндекса
[/q]


Мы на антиробот яндекса все равно в данном случае попадаем.

Я когда эксперементировал на запросе Федор /1 Юрчихин || Yandex.Deep=1000 даже со значением паузы 20 не смог пройти дальше 402 страницы

---
Non progredi est regredi

http://www.informnn.ru
Информационная рассылка "Конкурентная разведка. Сам себе разведчик" - http://subscribe.ru/catalog/tech.razvedka
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 797
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009

vbl написал:
[q]
даже со значением паузы 20 не смог пройти дальше 402 страницы
[/q]
Alexei Mylnikov, а можно в пакете менять паузы?
Например, сначала внутри пакета задаем паузу 5 сек., потом 20 сек., потом снова меняем на 5 сек.? Таким образом можно перед Яндекс.Запросом делать паузы побольше, а на остальных поисковиках собирать ссылки побыстрее.
vbl
Модератор форума

Откуда: Нижний Новгород
Всего сообщений: 179
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
10 июня 2009

tungus1973 написал:
[q]
Alexei Mylnikov, а можно в пакете менять паузы?
Например, сначала внутри пакета задаем паузу 5 сек., потом 20 сек., потом снова меняем на 5 сек.? Таким образом можно перед Яндекс.Запросом делать паузы побольше, а на остальных поисковиках собирать ссылки побыстрее.
[/q]


А еще было бы лучше, чтобы СайтСпутник при появлении первой страницы с "Ой А не робот ли Вы Введите код" останавливался, ждал, когда пользователь введет код и только после этого шел дальше

---
Non progredi est regredi

http://www.informnn.ru
Информационная рассылка "Конкурентная разведка. Сам себе разведчик" - http://subscribe.ru/catalog/tech.razvedka
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 797
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009
Согласен. В этом случае остановка программы очень бы помогла. И еще система должна выдать какой-то сигнал (звук, всплывающее окно) о том, что появился антиробот.
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 856
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

tungus1973 написал:
[q]
А еще было бы лучше, чтобы СайтСпутник при появлении первой страницы с "Ой А не робот ли Вы Введите код" останавливался, ждал, когда пользователь введет код и только после этого шел дальше
[/q]

В вестии 6.4.4.1 встроена именно такая обработка капчи для Яндекса.
Она невечная, так как иногда содержание страницы с капчей изменяется разработчиками.
Возникнут проблемы - буду вносить изменения в программу, сохраняя предыдущие варианты обработки.

vbl
Модератор форума

Откуда: Нижний Новгород
Всего сообщений: 179
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
10 июня 2009

Alexei Mylnikov написал:
[q]
В вестии 6.4.4.1 встроена именно такая обработка капчи для Яндекса.
Она невечная, так как иногда содержание страницы с капчей изменяется разработчиками.
Возникнут проблемы - буду вносить изменения в программу, сохраняя предыдущие варианты обработки.
[/q]


Большое спасибо, работает.

Но, сходу появился один нюансик. Если свернуть окно программы, как наверное многие обычно делают, то при срабатывании данной функции, как и положено, вылетает запланированная табличка "Введите код указанный на каптче и нажмите ОК". Вот тут большая проблема появляется, ибо программа разворачиваться не желает, а не открыв ее, каптчи не видно, приходится нажимать "Cancel" и соответственно все насмарку. :blush:

Можно ли это как-то исправить?

---
Non progredi est regredi

http://www.informnn.ru
Информационная рассылка "Конкурентная разведка. Сам себе разведчик" - http://subscribe.ru/catalog/tech.razvedka
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 856
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

vbl написал:
[q]
Но, сходу появился один нюансик. Если свернуть окно программы, как наверное многие обычно делают, то при срабатывании данной функции, как и положено, вылетает запланированная табличка "Введите код указанный на каптче и нажмите ОК". Вот тут большая проблема появляется, ибо программа разворачиваться не желает, а не открыв ее, каптчи не видно, приходится нажимать "Cancel" и соответственно все насмарку.
Можно ли это как-то исправить?
[/q]

Спасибо, исправил, подкачайтесь.

vbl
Модератор форума

Откуда: Нижний Новгород
Всего сообщений: 179
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
10 июня 2009

Alexei Mylnikov написал:
[q]
исправил, подкачайтесь.
[/q]


Спасибо, все отлично работает. Вот теперь реально выкачивается 1000 страниц Я-н-д-е-к-с-а :yahoo:



---
Non progredi est regredi

http://www.informnn.ru
Информационная рассылка "Конкурентная разведка. Сам себе разведчик" - http://subscribe.ru/catalog/tech.razvedka
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 797
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009
Для: Alexei Mylnikov, спасибо большое! :hi:
<<Назад  Вперед>>Страницы: 1 2 3 * 4
Печать
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Приемы работы с программой СайтСпутник (SiteSputnik) »   Сбор и хранение информации при помощи программы SiteSputnik
RSS

Последние RSS
СайтСпутник: возврат к ранее установленной версии
SiteSputnik. Доступ к результатам работы из браузера
Анализ URL
ВС разрешил пропускать работу без разрешения работодателя
Браузер для анонимной работы
Топливно-энергетический комплекс
Профессиональные сообщества СБ
Несколько Проектов в одном, выполнение Проектов по частям
SiteSputnik-Bot: Боты в программе СайтСпутник
К вопросу о телеграм
SiteSputnik: Автозамены до и после Рубрикации или Перевода
Демо-доступ к ИАС социальных сетей
Лог-файл в программе СайтСпутник
шантаж, угрозы по Интернету
Практически весь интернет становится русскоязычным
SiteSputnik. Об одном подходе к мониторингу Телеграм
Безопасность при работе на ПК
Книги о критическом мышлении
Наказывать за вмешательство в частную жизнь, Верховный суд
CI Academic Materials

Самые активные 20 тем RSS