Форум Сообщества Практиков Конкурентной разведки (СПКР)

SiteSputnik GetURL (SSGetURL)- многопоточный менеджер скачивания ссылок появился в версии 8.2.1 от 16.10.12.

Для его применения в SiteSputnik News в "Настройки - Параметры - Вкладка News" в параметре "Применять менеджер скачивания ссылок" следует установить галочку.

SSGetURL специально ориентирован на скачивание большого количества мелких и средних ссылок и файлов (размером от 1 до 500 кб).
В подавляющем большинстве ссылки из новостных потоков, создаваемых и анализируемых в SiteSputnik News, попадают в этот диапазон.
SSGetURL имеет смысл применять, когда надо скачать от 40-50 до сотен и тысяч таких ссылок. Применяется многопоточность.


Далее, не относящаяся к самой программе SiteSputnik информация.
В принципе, SSGetURL - это практически готовое ядро отдельной программы для скачивания множества мелких и средних по размеру ссылок "откуда нужно" и сохранение их "где нужно".
Если реализовать настройки, то можно в будущем оформить её как отдельную программу.
На входе SSGetURL принимает файл, условный вид которого:

{ссылка 1, Путь 1\имя файла 1}

{ссылка 2, Путь 2\имя файла 2}
...
{ссылка N, Путь N\имя файла N}

SSGetURL скачает все ссылки и разложит их в файлы. Если каких-то путей или папок не существует, то они будут созданы. Это пригодится в перспективе.

Алексей Мыльников написал:

[q]

SSGetURL специально ориентирован на скачивание большого количества мелких и средних ссылок и файлов (размером от 1 до 500 кб).

[/q]

Отличная функция! СайтСпутник с каждым днём работает всё быстрее и быстрее

Возможно, эту функцию стоит применять с осторожностью с версией Invisible.
Подавляющее большинство интернет-страниц не проходили валидацию и содержат ошибки. Некоторые виды ошибок содержат некорректные ссылки, из-за чего роботы поисковиков "не видят" часть страниц сайта.
В обычном режиме СайтСпутник работает через браузер Internet Explorer, который автоматически исправляет многие виды ошибок, выдаёт корректный код страницы и содержит правильные ссылки.
Если страница содержит ошибку в ссылке на другие страницы, то использование функции SSGetURL в версии Invisible может привести к тому, что СайтСпутник не увидит какие-то ссылки и не найдёт часть страниц.

P.S. Возможно я ошибаюсь, но лишь потому, что не знаю, как СайтСпутник устроен "внутри".
К примеру, автор Offline Explorer специально встраивал в программу валидатор для исправления некоторых видов подобных ошибок. Таким образом, его программа стала вытаскивать с веб-страницы большее количество ссылок, чем пауки поисковиков.

Начал приводить (изменять, приближать) интерфейс программы SiteSputnik к реализованным за последнее время функциональным возможностям.

В Версии 8.2.3 от 27.12.2012 по развитию интерфейса сделал следующее.

1. Добавил вкладку "Рубрики" на нижней панели инструментов.

У кого SiteSputnik News рекомендую сделать эту вкладку видимой.
Для этого в "Настройки - Параметры - вкладка Вид" внизу под иконкой "Рубрики" поставьте галочку.
Заодно уберите самую нижнюю галочку - сделайте нижние иконки крупнее (это просто для красоты).

2. Переименовал вкладки на нижней панели.

Теперь они называются "Проекты", "Загрузки", "Сценарии", "Рубрики"...



3. Новые вкладки как бы связаны в цепочку, а именно, выбрав Проект и переключаясь на вкладки Загрузки, Рубрики... Пользователь попадает в Загрузки (Ссылки открытые) и Рубрики, задействованные (используемые) в выбранном Проекте.
При закрытии программы запоминается в каком Проекте находился Пользователь.
Соответственно, при открытии программы открывается последний Проект.
Сценарии не стал привязывать к Проекту: они, как правило, "интернациональные", хотя не всегда.

4. Пока не на 100% доделал привязку к Проекту некоторых кнопок, менюшек, настроек, но "подрихтую" эту привязку в ближайшее время.

В SiteSputnik News доступен Пост-запрос, который определяется в "Настройки - Параметры - вкдадка WedSpider".

В поле "Применить Пост-запрос" вводятся Правила попадания в Рубрику, в поле "Включить экспорт в Клиентские папки и адреса", при необходимости, - имена Клиентских папок: локальные папки, е-майлы или папки сайта. Назначение этих полей - такое же, как и в Рубриках.

Достаточно удобно для мелких или личных потребностей, для отладки и эксперимента с правилами попадания в Рубики и Клиентскими папками.

И ещё одно замечание
Равно как Пост-запрос доступен в +News, так и любые Рубрики доступны в +WebSpider, то есть, контент обновлений страниц может быть "отфильтрован" на иерархической структуре Рубрик, приготовленных для +News.

В версии 8.4.2 от 24.03.13 реализованы следующие способы работы с капчей и авторизацией:

- остановка, ввод, капчи, продолжение работы,
- остановка, авторизация, продолжение работы.


О капче.

Она определяется автоматически. Если программа программа SiteSputnik ошибочно определяет капчу (на самом деле её на странице нет), то внесите inurl таких источников в окошко в "Настройках" (смотрите по синей стрелке на картинке ниже).
Inurl Источников отделяются друг от друга знаком "точка с запятой". Например:

criminalnews.ru/; roem.ru/search;

Капча вводится прямо в окне встроенного браузера.
Если важнее выполнить задание полностью, например, при "ночном дозоре", то уберите галочку, относящуюся к капче. Тогда СайтСпутник, "наткнувшись" на капчу, проигнорирует её и продолжит свою работу.


Об авторизации.

Inurl источников, требующих авторизацию, вводятся в окно, на которое указывает зеленая стрелка, например:

facebook.com/#!/search; value="Войти"
twitter.com; >sign in<
twitter.com; >Войти</
vk.com/; >Войти</

Слева прописывается inurl, справа, после точки с запятой, - признак, по которому СайтСпутник считает, что нужно пройти авторизацию. В будущем, когда будет реализована автоматическая авторизация, правее будут прописываться логин и пароль.
Определив необходимость авторизации, СайтСпутник откроет Internet Explorer и предложит авторизоваться в нём. Это равносильно авторизации в самом СайтСпутнике (начиная с версии 8.5.4.4 авторизация проводится в самом СайтСпутнике, для этого следует нажать кнопку "Авторизация" в Мастере и ввести логин/пароль во встроенном браузере).
Аналогично капче, проверку на авторизацию можно отменить при помощи соответствующей галочки (зеленая стрелка).