Форум Сообщества Практиков Конкурентной разведки (СПКР) » Приемы работы с программой СайтСпутник (SiteSputnik) » Ускорение работы СайтСпутника |
<<Назад Вперед>> | Страницы: 1 2 | Печать |
tungus1973
Модератор форума
Откуда: г. Санкт-Петербург Всего сообщений: 795 Рейтинг пользователя: 11 Ссылка Дата регистрации на форуме: 3 июля 2009 |
Работая с СайтСпутником, замечаю, что с каждым днём программе приходится всё тяжелее и тяжелее выполнять свою работу. Интернет разрастается, на тех же поисковиках появляется всё больше информации, а СайтСпутник - один, и ему требуется время на сбор и обработку собранных данных. Да ещё антироботы поисковиков обостряют ситуацию... Приходится мне и СайтСпутнику "метаться между нескольких огней", чтобы и информацию собрать по-максимуму и время не потерять. Посему задумался я о возможных способах сокращения времени на сбор информации. И вот, что у меня получилось: 1. Смешивать строчки в пакетах так, чтобы поисковики чередовались и антироботы не срабатывали. 2. Делать пакеты с меньшим числом строк. Например, при поиске номера телефона объединять несколько строк в одну: ("ххх-хх-хх" | "хх-хх-ххх" | "ххх-ххх-хх"). 3. Сократить лимиты времени в "Настройках". Чтобы обойти "антироботы", установить в пакетах паузы для конкретных поисковиков (например, для того же Яндекса). 4. Настроить поисковики на выдачу максимума результатов. Скажем, для Яндекса сделать выдачу не 10 результатов на странице, а максимум - 50 результатов. Для этого запускаете "Internetr Explorer" ("СайтСпутник" построен на основе "IE") открываете поисковик, в его настройках вводите новые значения.Таким образом обращений к Яндексу будет меньше и уменьшатся потери времени на "антироботы". Возможно, есть ещё какие-то приёмы повышения скорости работы программы? |
Игорь Нежданов
Модератор форума
Прагматик Откуда: Советский Союз Всего сообщений: 1025 Рейтинг пользователя: 13 Ссылка Дата регистрации на форуме: 7 июня 2009 |
tungus1973 написал: Работая с СайтСпутником, замечаю, что с каждым днём программе приходится всё тяжелее и тяжелее выполнять свою работу. Да уж - я СайтСпутник запускаю в 22 - 23 часа и к моему приходу на работу он выдает нужные мне материалы. Но это что касается ежедневного мониторинга. А вот разовые задачки бывают всякие... ---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ... Лаборатория Перспективных Разработок |
CI-KP
Администратор
Откуда: Екатеринбург Всего сообщений: 5565 Рейтинг пользователя: 24 Ссылка Дата регистрации на форуме: 15 мая 2009 |
Профиль | Игнорировать
NEW! Сообщение отправлено: 13 августа 2011 11:28 Сообщение отредактировано: 13 августа 2011 11:30 tungus1973 написал: 1. Смешивать строчки в пакетах так, чтобы поисковики чередовались и антироботы не срабатывали. Лучший способ, на мой взгляд. Я так делаю с самого начала. Потому что поисковик не любит именно многочисленные запросы с операторами. А когда их мало - он не ставит препонов. Неплохо работало бы объединение СайтСпутника со скриптом, подключающим-отключающим 3G-модем. Тогда бы менялся айпишник и поисковики чувствовали себя совсем спокойно. ---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь. |
Vinni
Администратор
Всего сообщений: 2136 Рейтинг пользователя: 22 Ссылка Дата регистрации на форуме: 5 июня 2009 |
CI-KP написал: Неплохо работало бы объединение СайтСпутника со скриптом, подключающим-отключающим 3G-модем. Тогда в СайтСпутнике нужна новая фича, которой сейчас нет - вызов внешней программы до или после выполнения отдельного запроса А реализовать такое отключение кстати просто - есть такая многофункциональная программа nircmd (с nirsoft.net) |
Игорь Нежданов
Модератор форума
Прагматик Откуда: Советский Союз Всего сообщений: 1025 Рейтинг пользователя: 13 Ссылка Дата регистрации на форуме: 7 июня 2009 |
Коллеги, я запускаю СайтСпутник на ночь. Он у меня отрабатывает часов 5 - 6 (в зависимости от количества нового). И вроде "застреваний" из за паранойи поисковиков не наблюдается. Ограничился перемешиванием запросов внутри пакета. ---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ... Лаборатория Перспективных Разработок |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 877 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
Vinni написал: Тогда в СайтСпутнике нужна новая фича, которой сейчас нет - вызов внешней программы до или после выполнения отдельного запроса Это типа "Выполнить..." из меню кнопки "ПУСК" ОС Windows? |
Vinni
Администратор
Всего сообщений: 2136 Рейтинг пользователя: 22 Ссылка Дата регистрации на форуме: 5 июня 2009 |
Алексей Мыльников написал: Это типа "Выполнить..." из меню кнопки "ПУСК" ОС Windows? Нет. "Выполнить" из меню - это для ручного запуска программ. А здесь нужно добавить строковую опцию в настройки, в которой задавать имя файла с программой, который будет запускаться (лучше через командную оболочу, чтобы bat-файлы можно было запускать). Программисты иногда называют такие вещи callback. И при обработке пакета запросов после (или перед?) выполнения каждого запроса CC должен сам анализировать эту опцию и если она непустая, то запускать "cmd.exe /c имя_программы", дожидаться ее завершения и продолжать работу. Как-то таг. |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 877 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
Профиль | Игнорировать
NEW! Сообщение отправлено: 16 августа 2011 12:26 Сообщение отредактировано: 16 августа 2011 12:27 Vinni написал: Как-то таг. Нет такая функция мне не нравится: - надо помнить с каком пакете какую прицеплять, - менять её или убирать, запуская следующий пакет, - не факт, что эта функция нужна после каждого запроса в пакете, - доступна только одна функция <что> на весь пакет, - если в Планировщике задействовано несколько пакетов, требующих разные функции, то вообще попадаем в патовую ситуацию. Лучше сделать ^^Выполнить: <что> Её можно будет вставлять несколько раз с несколькими разными <что> в один пакет, "отладить" его и "забыть" об этом. |
Vinni
Администратор
Всего сообщений: 2136 Рейтинг пользователя: 22 Ссылка Дата регистрации на форуме: 5 июня 2009 |
Алексей Мыльников написал: Лучше сделать ^^Выполнить: <что> Конечно так лучше |
Игорь Нежданов
Модератор форума
Прагматик Откуда: Советский Союз Всего сообщений: 1025 Рейтинг пользователя: 13 Ссылка Дата регистрации на форуме: 7 июня 2009 |
Да - это хороший вариант. ---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ... Лаборатория Перспективных Разработок |
<<Назад Вперед>> | Страницы: 1 2 | Печать |
Форум Сообщества Практиков Конкурентной разведки (СПКР) » Приемы работы с программой СайтСпутник (SiteSputnik) » Ускорение работы СайтСпутника |
Самые активные 20 тем | |