Ускорение работы СайтСпутника

Форум Сообщества Практиков Конкурентной разведки (СПКР)

Конкурентная разведка, Бизнес-разведка, Корпоративная разведка,
Деловая разведка по открытым источникам в бизнесе.
Работаем строго в рамках закона.

Дезинформация и активные мероприятия в бизнесе
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Приемы работы с программой СайтСпутник (SiteSputnik) »   Ускорение работы СайтСпутника
RSS

Ускорение работы СайтСпутника

Приёмы ускорения сбора сведений из интернета "СайтСпутником".

<<Назад  Вперед>>Страницы: 1 2
Печать
 
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 795
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009
Работая с СайтСпутником, замечаю, что с каждым днём программе приходится всё тяжелее и тяжелее выполнять свою работу. Интернет разрастается, на тех же поисковиках появляется всё больше информации, а СайтСпутник - один, и ему требуется время на сбор и обработку собранных данных. Да ещё антироботы поисковиков обостряют ситуацию... Приходится мне и СайтСпутнику "метаться между нескольких огней", чтобы и информацию собрать по-максимуму и время не потерять.

Посему задумался я о возможных способах сокращения времени на сбор информации. И вот, что у меня получилось:

1. Смешивать строчки в пакетах так, чтобы поисковики чередовались и антироботы не срабатывали.

2. Делать пакеты с меньшим числом строк. Например, при поиске номера телефона объединять несколько строк в одну: ("ххх-хх-хх" | "хх-хх-ххх" | "ххх-ххх-хх").

3. Сократить лимиты времени в "Настройках". Чтобы обойти "антироботы", установить в пакетах паузы для конкретных поисковиков (например, для того же Яндекса).

4. Настроить поисковики на выдачу максимума результатов. Скажем, для Яндекса сделать выдачу не 10 результатов на странице, а максимум - 50 результатов. Для этого запускаете "Internetr Explorer" ("СайтСпутник" построен на основе "IE") открываете поисковик, в его настройках вводите новые значения.Таким образом обращений к Яндексу будет меньше и уменьшатся потери времени на "антироботы".

Возможно, есть ещё какие-то приёмы повышения скорости работы программы?
Игорь Нежданов
Модератор форума
Прагматик
Откуда: Советский Союз
Всего сообщений: 1025
Рейтинг пользователя: 13


Ссылка


Дата регистрации на форуме:
7 июня 2009

tungus1973 написал:
[q]
Работая с СайтСпутником, замечаю, что с каждым днём программе приходится всё тяжелее и тяжелее выполнять свою работу.
[/q]


Да уж - я СайтСпутник запускаю в 22 - 23 часа и к моему приходу на работу он выдает нужные мне материалы. Но это что касается ежедневного мониторинга. А вот разовые задачки бывают всякие...


---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок
CI-KP
Администратор

Откуда: Екатеринбург
Всего сообщений: 5565
Рейтинг пользователя: 24


Ссылка


Дата регистрации на форуме:
15 мая 2009

tungus1973 написал:
[q]
1. Смешивать строчки в пакетах так, чтобы поисковики чередовались и антироботы не срабатывали.
[/q]

Лучший способ, на мой взгляд. Я так делаю с самого начала. Потому что поисковик не любит именно многочисленные запросы с операторами. А когда их мало - он не ставит препонов.

Неплохо работало бы объединение СайтСпутника со скриптом, подключающим-отключающим 3G-модем. Тогда бы менялся айпишник и поисковики чувствовали себя совсем спокойно.

---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru
Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь.
Vinni
Администратор

Всего сообщений: 2136
Рейтинг пользователя: 22


Ссылка


Дата регистрации на форуме:
5 июня 2009

CI-KP написал:
[q]
Неплохо работало бы объединение СайтСпутника со скриптом, подключающим-отключающим 3G-модем.
[/q]


Тогда в СайтСпутнике нужна новая фича, которой сейчас нет - вызов внешней программы до или после выполнения отдельного запроса :wonder1:
А реализовать такое отключение кстати просто - есть такая многофункциональная программа nircmd (с nirsoft.net) :wink:
Игорь Нежданов
Модератор форума
Прагматик
Откуда: Советский Союз
Всего сообщений: 1025
Рейтинг пользователя: 13


Ссылка


Дата регистрации на форуме:
7 июня 2009
Коллеги, я запускаю СайтСпутник на ночь. Он у меня отрабатывает часов 5 - 6 (в зависимости от количества нового). И вроде "застреваний" из за паранойи поисковиков не наблюдается. Ограничился перемешиванием запросов внутри пакета.

---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 877
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

Vinni написал:
[q]
Тогда в СайтСпутнике нужна новая фича, которой сейчас нет - вызов внешней программы до или после выполнения отдельного запроса
[/q]

Это типа "Выполнить..." из меню кнопки "ПУСК" ОС Windows?

Vinni
Администратор

Всего сообщений: 2136
Рейтинг пользователя: 22


Ссылка


Дата регистрации на форуме:
5 июня 2009

Алексей Мыльников написал:
[q]
Это типа "Выполнить..." из меню кнопки "ПУСК" ОС Windows?
[/q]


Нет. "Выполнить" из меню - это для ручного запуска программ.
А здесь нужно добавить строковую опцию в настройки, в которой задавать имя файла с программой, который будет запускаться (лучше через командную оболочу, чтобы bat-файлы можно было запускать). Программисты иногда называют такие вещи callback.
И при обработке пакета запросов после (или перед?) выполнения каждого запроса CC должен сам анализировать эту опцию и если она непустая, то запускать "cmd.exe /c имя_программы", дожидаться ее завершения и продолжать работу.

Как-то таг. :wink:
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 877
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

Vinni написал:
[q]
Как-то таг.
[/q]

Нет такая функция мне не нравится:
- надо помнить с каком пакете какую прицеплять,
- менять её или убирать, запуская следующий пакет,
- не факт, что эта функция нужна после каждого запроса в пакете,
- доступна только одна функция <что> на весь пакет,
- если в Планировщике задействовано несколько пакетов, требующих разные функции, то вообще попадаем в патовую ситуацию.

Лучше сделать ^^Выполнить: <что>
Её можно будет вставлять несколько раз с несколькими разными <что> в один пакет, "отладить" его и "забыть" об этом.

Vinni
Администратор

Всего сообщений: 2136
Рейтинг пользователя: 22


Ссылка


Дата регистрации на форуме:
5 июня 2009

Алексей Мыльников написал:
[q]
Лучше сделать ^^Выполнить: <что>
Её можно будет вставлять несколько раз с несколькими разными <что> в один пакет, "отладить" его и "забыть" об этом.
[/q]


Конечно так лучше :good:
Игорь Нежданов
Модератор форума
Прагматик
Откуда: Советский Союз
Всего сообщений: 1025
Рейтинг пользователя: 13


Ссылка


Дата регистрации на форуме:
7 июня 2009
Да - это хороший вариант.

---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок
<<Назад  Вперед>>Страницы: 1 2
Печать
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Приемы работы с программой СайтСпутник (SiteSputnik) »   Ускорение работы СайтСпутника
RSS

Последние RSS
Англоязычный интерфейс программы "Сайт Спутник"
Учебник по конкурентной разведке
Конкурентная разведка: маркетинг рисков и возможностей
Книга "История частной разведки США"
Книга "Нетворкинг для разведчиков"
Поиск и сбор информации в интернете в программе СайтСпутник
Новые видеоуроки по программе СайтСпутник для начинающих
Технологическая разведка
SiteSputnik. Мониторинг Телеграм
СайтСпутник: возврат к ранее установленной версии
SiteSputnik. Доступ к результатам работы из браузера
Анализ URL
Браузер для анонимной работы
Топливно-энергетический комплекс
Профессиональные сообщества СБ
Несколько Проектов в одном, выполнение Проектов по частям
SiteSputnik-Bot: Боты в программе СайтСпутник
К вопросу о телеграм
SiteSputnik: Автозамены до и после Рубрикации или Перевода
Демо-доступ к ИАС социальных сетей

Самые активные 20 тем RSS