Форум Сообщества Практиков Конкурентной разведки (СПКР)

Начиная с версии 7.3.1.14, вспомогательной БД "Ссылки открытые" можно пользоваться всем при условии, что для работы с найденными ссылками установлен текстовый режим.

Для этого в "Настройки - Параметры - вкладка Мониторинг" установите галочку для опции "Скачивать только текстовую часть ссылок" (отмечена на картинке ниже красной стрелкой).

Алексей Мыльников написал:

[q]

Начиная с версии 7.3.1.14, вспомогательной БД "Ссылки открытые" можно пользоваться всем при условии, что для работы с найденными ссылками установлен текстовый режим.

Для этого в "Настройки - Параметры - вкладка Мониторинг" установите галочку для опции "Скачивать только текстовую часть ссылок" (отмечена на картинке ниже красной стрелкой).

[/q]

А расскажите чуть подробнее - для чего это может пригодиться? Или что дает этот функционал?

Некоторые источники, их не очень много, но есть, как правило, это RSS-потоки при открытии выдают практически полный контент новости, а не её сниппет (сокращенное содержание). Есть небольшой недостаток - эти сниппеты не очень наглядные: нет абзацев, красной строки, пропусков строк. Преимущество - не тратится время на скачивание ссылки и выделения из неё новости, что позволяет в несколько раз уменьшить время полной обработки: от открытия RSS до раскладывания новостей по Рубрикам.

По желанию для таких источников при подключении можно прописать "ускоренный" вариант обработки. Для этого в окне "принимать сниппет за новость" (см. серую стрелку на картинке ниже) укажите значение "Да".




Если требуется отредактировать это значение, например, для ранее подключенных источников, то перейдите в БД "Настройка поиска" и из главного меню: "Настройки - Имена и видимость столбцов" укажите в строке "Выбор" (она была в резерве) в столбце "Видимость" значение "Да". Можно переименовать название "Выбор". В дистрибутиве эта строка будет называться "Сниппет-новость", а не "Выбор". Затем нажмите кнопку "Применить". Столбец станет видимым. Пропишите в нем нужное Вам значение: "Да" или "Нет".

Хорошая "мелочь" - полезная. А то я уже всё поотключал в IE чтоб шустрее работал.

Спасибо!

Это весьма удобно - спасибо!

tungus1973 написал:

[q]

У меня в программе после установки файла "HelpOwn.txt", перестала работать подсказка "+ News". Т.е. сам пункт "+ News" виден, но закрашен серым (неактивен) - переход на него не открывает нижележащих пунктов меню.
Я что-то не так сделал, когда копировал файл?

[/q]

Он закрашен серым, потому что неприменим в тексте запроса, - а применим в тексте пакета запросов. Нажмите на кнопку "Пакет" и увидите, что пункт +News "почернеет", то есть станет доступным (активным).

В новой версии СайтСпутника появилась полезная функция - определение эффективности источника информации. В разделе "Статистика" теперь есть дополнительный столбик , в котором указывается сколько новостей из данного источника попало в Рубрики. Если вы видите, что изо дня в день в Рубрики не попадает ни одной новости из данного источника, то стоит задуматься - есть ли смысл его мониторить. Или как минимум - мониторить не ежедневно.

Для маленьких пакетов это не принципиально. А вот когда под наблюдение ставиться много источников, задание выполняется тоже долго. И тут возникает необходимость оптимизации. А точнее вопрос - от чего избавиться. Как раз эта новая функция и поможет.

2 Алексей Мыльников
Алексей, а можно сделать такой отчет применительно не только к имени поисковика, но и к доменным именам ресурсов, с которых скачивается информация и попадает в Рубрики?

Например, в новости Гугла по моему запросу попадают новости с Интерфакса, РБК, Русской службы новостей, с Ленты.Ру и с других сайтов. Где-то публикуются оригинальные новости, которые попадают в Рубрики, где-то их дубли, которые отсеиваются СайтСпутником.

Хотелось бы видеть КПД каждого сайта, с которого информация попадает в Рубрики: например, с сайта Интерфакса в рубрику попало 5 новостей, а с Сайта Русской службы новостей- 10. Если есть возможность выводить такой отчет с разбивкой по датам, будет вообще отлично.

Мне нужно понять, каким сайтам уделять большее внимание за счет того, что они публикуют уникальный контент, а на какие сайты не стоит обращать внимание из-за того, что они занимаются перепечатками. Запрашиваемый мной отчет смог бы ответить на этот вопрос.

Алексей Мыльников написал:

[q]

petryashov написал:

[q]

Алексей, а можно сделать такой отчет применительно не только к имени поисковика, но и к доменным именам ресурсов

[/q]

Да, такой отчет тоже сделаю.

[/q]

Отлично, будем ждать!

Алексей Мыльников написал:

[q]

В версии 8.1.2 от 06.08.12 параметры программы более четко разделены на общепрограммые и принадлежащие папке.

[/q]

Отличные новости!


Алексей Мыльников написал:

[q]

При создании новой папки в неё копируются все параметры из родительской папки. Затем параметры могут быть отредактированы под текущую задачу.

[/q]

Замечательное решение! Не придётся все настройки папки вводить "с нуля".


Алексей Мыльников написал:

[q]

В следующих версиях разделение продолжится

[/q]

Будут ли настройки папки отделены от настроек программы? Имеется ввиду не разделение по вкладкам, а разделение по окнам: одно окно для общих настроек программы, другое - для настроек папки/задачи?

В "Настройки - Параметры - вкладка "Дополнительно"" в версии 8.1.2.1 появился параметр:

Скопировать все параметры текущего Ящика в другой Ящик.

Он служит для того, чтобы перенести параметры одного Ящика (папки) в другой Ящик (папку).
После изменений, описанных в #19 данной темы это может потребоваться.

Также можно использовать этот параметр для восстановления параметров после сбоя оборудования или программного, так как в этом случае могут "пострадать" только параметры одного Ящика.

shturman написал:

[q]

Может есть какая легкая версия типа для совсем начинающих.

[/q]

С какой версией программы Вы пробуете разобраться? Читали ли файлы справки, размещённые на сайте программы? С какими функциями Вы разобрались? Что именно Вам не понятно в работе программы?

shturman написал:

[q]

Пока с бесплатной экспериментирую

[/q]

Это самая простая версия СайтСпутника.


shturman написал:

[q]

Как то всё не очевидно в этой проге

[/q]

Не Вы один на это жалуетесь. Что поделать...
(На обучении новичков работе с программой успешно зарабатывают деньги некоторые мои коллеги. )


Пока путей изучения программы только два:

1.
Заплатите знающему человеку, чтобы он научил Вас работе с СайтСпутником. Через месяц будете вполне уверенно работать с любой версией программы.

2.
Внимательно читайте содержимое меню и настроек, запоминайте, где что находится.
Распечатайте руководство к СайтСпутнику от Елены Лариной и держите его под рукой - там описаны основные настройки и приёмы работы с программой.
Не стесняйтесь спрашивать на этом форуме людей, имеющих опыт работы с программой. Что непонятно - подскажем.
И самое главное - как можно чаще работайте с программой (желательно ежедневно и по нескольку раз). Тогда приёмы работы и настройки постепенно будут закрепляться в Вашей памяти.
Помните: "Терпенье и труд всё перетрут!"

SiteSputnik GetURL (SSGetURL)- многопоточный менеджер скачивания ссылок появился в версии 8.2.1 от 16.10.12.

Для его применения в SiteSputnik News в "Настройки - Параметры - Вкладка News" в параметре "Применять менеджер скачивания ссылок" следует установить галочку.

SSGetURL специально ориентирован на скачивание большого количества мелких и средних ссылок и файлов (размером от 1 до 500 кб).
В подавляющем большинстве ссылки из новостных потоков, создаваемых и анализируемых в SiteSputnik News, попадают в этот диапазон.
SSGetURL имеет смысл применять, когда надо скачать от 40-50 до сотен и тысяч таких ссылок. Применяется многопоточность.


Далее, не относящаяся к самой программе SiteSputnik информация.
В принципе, SSGetURL - это практически готовое ядро отдельной программы для скачивания множества мелких и средних по размеру ссылок "откуда нужно" и сохранение их "где нужно".
Если реализовать настройки, то можно в будущем оформить её как отдельную программу.
На входе SSGetURL принимает файл, условный вид которого:

{ссылка 1, Путь 1\имя файла 1}

{ссылка 2, Путь 2\имя файла 2}
...
{ссылка N, Путь N\имя файла N}

SSGetURL скачает все ссылки и разложит их в файлы. Если каких-то путей или папок не существует, то они будут созданы. Это пригодится в перспективе.

Алексей Мыльников написал:

[q]

SSGetURL специально ориентирован на скачивание большого количества мелких и средних ссылок и файлов (размером от 1 до 500 кб).

[/q]

Отличная функция! СайтСпутник с каждым днём работает всё быстрее и быстрее

Возможно, эту функцию стоит применять с осторожностью с версией Invisible.
Подавляющее большинство интернет-страниц не проходили валидацию и содержат ошибки. Некоторые виды ошибок содержат некорректные ссылки, из-за чего роботы поисковиков "не видят" часть страниц сайта.
В обычном режиме СайтСпутник работает через браузер Internet Explorer, который автоматически исправляет многие виды ошибок, выдаёт корректный код страницы и содержит правильные ссылки.
Если страница содержит ошибку в ссылке на другие страницы, то использование функции SSGetURL в версии Invisible может привести к тому, что СайтСпутник не увидит какие-то ссылки и не найдёт часть страниц.

P.S. Возможно я ошибаюсь, но лишь потому, что не знаю, как СайтСпутник устроен "внутри".
К примеру, автор Offline Explorer специально встраивал в программу валидатор для исправления некоторых видов подобных ошибок. Таким образом, его программа стала вытаскивать с веб-страницы большее количество ссылок, чем пауки поисковиков.

Начал приводить (изменять, приближать) интерфейс программы SiteSputnik к реализованным за последнее время функциональным возможностям.

В Версии 8.2.3 от 27.12.2012 по развитию интерфейса сделал следующее.

1. Добавил вкладку "Рубрики" на нижней панели инструментов.

У кого SiteSputnik News рекомендую сделать эту вкладку видимой.
Для этого в "Настройки - Параметры - вкладка Вид" внизу под иконкой "Рубрики" поставьте галочку.
Заодно уберите самую нижнюю галочку - сделайте нижние иконки крупнее (это просто для красоты).

2. Переименовал вкладки на нижней панели.

Теперь они называются "Проекты", "Загрузки", "Сценарии", "Рубрики"...



3. Новые вкладки как бы связаны в цепочку, а именно, выбрав Проект и переключаясь на вкладки Загрузки, Рубрики... Пользователь попадает в Загрузки (Ссылки открытые) и Рубрики, задействованные (используемые) в выбранном Проекте.
При закрытии программы запоминается в каком Проекте находился Пользователь.
Соответственно, при открытии программы открывается последний Проект.
Сценарии не стал привязывать к Проекту: они, как правило, "интернациональные", хотя не всегда.

4. Пока не на 100% доделал привязку к Проекту некоторых кнопок, менюшек, настроек, но "подрихтую" эту привязку в ближайшее время.

В SiteSputnik News доступен Пост-запрос, который определяется в "Настройки - Параметры - вкдадка WedSpider".

В поле "Применить Пост-запрос" вводятся Правила попадания в Рубрику, в поле "Включить экспорт в Клиентские папки и адреса", при необходимости, - имена Клиентских папок: локальные папки, е-майлы или папки сайта. Назначение этих полей - такое же, как и в Рубриках.

Достаточно удобно для мелких или личных потребностей, для отладки и эксперимента с правилами попадания в Рубики и Клиентскими папками.

И ещё одно замечание
Равно как Пост-запрос доступен в +News, так и любые Рубрики доступны в +WebSpider, то есть, контент обновлений страниц может быть "отфильтрован" на иерархической структуре Рубрик, приготовленных для +News.

В версии 8.4.2 от 24.03.13 реализованы следующие способы работы с капчей и авторизацией:

- остановка, ввод, капчи, продолжение работы,
- остановка, авторизация, продолжение работы.


О капче.

Она определяется автоматически. Если программа программа SiteSputnik ошибочно определяет капчу (на самом деле её на странице нет), то внесите inurl таких источников в окошко в "Настройках" (смотрите по синей стрелке на картинке ниже).
Inurl Источников отделяются друг от друга знаком "точка с запятой". Например:

criminalnews.ru/; roem.ru/search;

Капча вводится прямо в окне встроенного браузера.
Если важнее выполнить задание полностью, например, при "ночном дозоре", то уберите галочку, относящуюся к капче. Тогда СайтСпутник, "наткнувшись" на капчу, проигнорирует её и продолжит свою работу.


Об авторизации.

Inurl источников, требующих авторизацию, вводятся в окно, на которое указывает зеленая стрелка, например:

facebook.com/#!/search; value="Войти"
twitter.com; >sign in<
twitter.com; >Войти</
vk.com/; >Войти</

Слева прописывается inurl, справа, после точки с запятой, - признак, по которому СайтСпутник считает, что нужно пройти авторизацию. В будущем, когда будет реализована автоматическая авторизация, правее будут прописываться логин и пароль.
Определив необходимость авторизации, СайтСпутник откроет Internet Explorer и предложит авторизоваться в нём. Это равносильно авторизации в самом СайтСпутнике (начиная с версии 8.5.4.4 авторизация проводится в самом СайтСпутнике, для этого следует нажать кнопку "Авторизация" в Мастере и ввести логин/пароль во встроенном браузере).
Аналогично капче, проверку на авторизацию можно отменить при помощи соответствующей галочки (зеленая стрелка).

[q=Алексей Мыльников]В версии 8.4.2 от 24.03.13 реализованы следующие способы работы с капчей
- остановка, ввод, капчи, продолжение работы[/q]

Алексей Борисович, а организуйте ввод капчи с помощью сервиса
Тогда вообще ничего не придется вводить - за 1 бакс негры распознают 1000 капч...
Поставил работать и идешь спать)

Ну и оставить вариант с вводом капчи вручную для тех кому бакс жалко)

Да, antigate.com я имел ввиду. Я там несколько месяце назад покупал за 1 бакс 1000 капч. Может цены изменились...

Есть ещё captchabot.com, цена 1$.

Поправил, в версии 8.4.2.2 можно перетаскивать Проекты из папки в папку. Что касается распознавания начала сниппета по подсказке, то оно не на всех страницах может сработать, иногда для определения начала сниппета помогает щёлканье мышкой по его главной ссылке.

В версии 8.5.3 от 21.05.13 в дополнение к возможностям с вкладки News в Настройках реализованы следующие возможности оформления Рубрик.

Можно к содержанию Рубрик приписывать предисловие (шапку), послесловие и задавать свою функциональную обработку (внешнюю функцию (плагин)) над всем содержанием Рубрики.

Предисловие и послесловие пишется Пользователем на языке HTML, в частности, это может быть просто текст на русском языке, функция - на скрипте (языке программирования).

Выше в топике #33 описано как эти действия можно делать для содержания Рубрик, попадающих в Клиентские папки (папки локального компьютера и локальной сети, папки сайта, е-майлы).

Действия из данного топика над содержанием Рубрик выполняются раньше, чем действия из #33. Можно прописывать действия из обоих топиков.

Синтаскис аналогичен:
<name></name> - внутри тегов помещается имя Рубрики, например: Космонавты\Титов
<first></first> - здесь предисловие: "шапка" на языке HTML, помещаемая в начале Рубрики,
<last></last> - здесь послесловие: текст, который выведется в конце Рубрики,
<function></function> - здесь имя программы (исполняемый код), размещенный в папке Exe и принимающий в первом параметре имя файла с содержанием Рубрики.

Доступно из Настройки - Параметры - вкладка Дополнительно - кнопка "Оформление Рубрик".

Пример предисловия:
<first>
<center><H3>Рубрика о Германе Титове</H3>
<font color=gray size=2>Ежежневная рассылка.</font><br><br>
</center> </first>

petryashov написал:

[q]

Есть ли какой-нибудь пример этой функции? Увы, навыками написания скриптов пока не обладаю, а пощупать функцию хочется

[/q]

Вот пример с комментариями на Delphi 7 (он "лёгкий", приобретал на него лицензию специально для разработки небольших программ). Если есть потребность в каких-то функциях, то можете мне об этом сообщить здесь на форуме или по е-майлу. Приведенная ниже программа (внешняя функция) предназначена для удаления сниппетов из новостного потока.

program CutSnippets; // Автор Мыльников Алексей Борисович: 1a@sitesputnik.ru, +7(8442)79-52-42,+7(905)392-97-92
// Назначение: принимает в первом параметре P1 имя файла, содержащего новостной поток,
uses // считывает его, выкусывает сниппеты и сохраняет преобразованный файл в P1
Windows,//Dialogs, // Язык программирования Delphi 7
SysUtils, DateUtils;
var i, j : integer;
S, Sw, fn: string;
NS : TextFile;
begin
fn:=ParamStr(1); if(fn='')or(not(FileExists(fn)))then EXIT; // Если не существует файл, то на этом обработка заканчивается

S:=''; // в переменную S считаю
AssignFile(NS,fn); // весь контент новостного потока
try Reset(NS); while(not(eof(NS)))do begin readln(NS,Sw); S:=S+Sw+#13#10; end; except end;
CloseFile(NS);
// Всё, что написано выше - одинаково для всех внешних программ


//============== Собственно обработка содержания файла Новостного потока (начало) ================//

repeat i:=pos('<b>Сниппет о новости №',S); // Признак начала сниппета
j:=pos('</FIELDSET></BLOCKQUOTE></font>',S);// Признак конца сниппета
if(i=0)or(j=0)then BREAK; // Все сниппеты удалены, выходим из цикла ;
delete(S,i,j-i+31); // Выкусываем сниппет
until(false);

//============== Собственно обработка файла Новостного потока (окончена) ================//


//Всё что ниже - одинаково для всех программ, если Вы собираетесь сохранить Вашу обработку в том же файле, а не в другом.
//Можете сохранить результаты где угодно и/или отправить их куда сможете.
try Rewrite(NS); write(NS,S); except end; // Сохранение обработанного потока
CloseFile(NS); // в том же файле.
end.

Игорь Нежданов написал:

[q]

обработано 3000 источников информации, переработано 17000 новостей

[/q]

Игорь, поделись, пожалуйста, секретом, как эту статистику можно передать в "шапку" рассылки, а то я в описании не нашел. Она ведь не руками набивается, правильно?

[q=petryashov]
Понятно. Но, кстати сказать, идея передавать в "шапке" или "подвале" рассылки переменные (количество сообщений, количество источников, и т.п.) весьма перспективна с точки зрения повышения качества предоставления информации.[/q]
А не опасаешься, что если "на пике" информвсплеска клиент порадуется, то "на спаде" он может решить, что ты недорабатываешь, и надо пересмотреть стоимость работ?

Действительно ли нужно грузить клиента этой, по сути, вторичной информацией и рисковать нарваться на проблемы?

Евгений Ющук написал:

[q]

А не опасаешься, что если "на пике" информвсплеска клиент порадуется, то "на спаде" он может решить, что ты недорабатываешь, и надо пересмотреть стоимость работ?

Действительно ли нужно грузить клиента этой, по сути, вторичной информацией и рисковать нарваться на проблемы?

[/q]

Да, такая вероятность существует, но в ряде случаев эти сведения будут полезными. В любом случае, создать функционал трансляции значений переменных, в том числе и вычисляемых, в текст отчета, точно не помешает

Игорь Нежданов написал:

[q]

К стати - на мой взгляд, управление надписями удобнее было бы организовать непосредственно в настройках Рубрики. Там Где вкладка "Правила" и вкладка "КП". Так и просится вкладка "Оформление". При такой организации не запутаешься какой Рубрике приделал шапку и какую, а какой нет, а у какой нужно поменять..

[/q]

Да, соглашусь, так будет удобнее и нагляднее

2 Алексей Мыльников
Алексей, можно реализовать это предложение Игоря?

И ещё один момент: на клиентские папки (КП) тоже бывает полезно вешать "шапку", "подвал" и функцию, а это уже в Рубриках не пропишешь, так как в одну КП возможен вывод из разных Рубрик.

Этот вариант не менее востребованный: создается КП для каждого Пользователя, и в неё отправляется информация из нескольких разных Рубрик.

Если используете Твиттер, то замените признак начала сниппета на следующий: stream-item-tweet

Ещё один вид экспорта загруженных ссылок в локальные папки.

Применение.
1. "Отлов" и помещение в отдельные локальные папки не-html-файлов, попадающихся при работе с Проектами.
2. Помещение в локальные папки всех загружаемых ссылок с целью, например, нацеливания на них программ поиска по локальному компьютеру.

Отличается от экспорта в клиентские папки (КП) тем, что в КП попадают потоки из Рубрик или "Чистые потоки", а здесь в папки попадают отдельные ссылки, скачиваемые при работе с Проектами: каждая ссылка - в свой отдельный файл.

На картинке ниже красная стрелка показывает, где прописываются папки, в которые попадают загружаемые в Проекте ссылки.



Каждому проекту можно прописать несколько папок.

При работе SiteSputnik News в папки попадают очищенные от окружающего мусора контенты html-ссылок.

Префикс: office:, который можно прописать перед папкой, означает, что в папку попадают только офисные и другие не-html-файлы.

Выбор папок можно сделать по двойному клику по окну, расположенному ниже параметра "Включить экспорт ссылок в папки локальные". Префикс office: прописывается автоматически. Если он не нужен, то удалите его.

Доработки в будущем:
- детализация типов файлов, например: doc, pdf, ppt, ...,
- устранение погрешности при определении типа файла (сейчас для SiteSputnik News он определяется по расширению ссылки).

"Просуммированы" предложения Игоря Нежданова и Романа Ромачева, сделанные в разное время.

В версии программы SiteSputnik 8.5.5 в "Настройках - Параметры" на вкладке "Поиск и сбор" при определении новизны ссылок относительно предыдущих выполнений заданий (при составлении программой списка "Новые") можно указать параметры ссылок, которые не учитываются (удаляются из ссылки) в процессе определения её новизны.

За примерами далеко ходить не надо: при поиске по этому форуму в ссылку попадает параметр &hl=, который содержит текст запроса. Это приводит к тому, что одна и та же ссылка, найденная разными запросами, имеет разные URL и, соответственно, по любому новому запросу попадает в список "Новые".

На картинке показано как избежать такой ситуации.



Параметр действует в рамках Проекта.

Если параметров несколько, то они отделяются друг от друга точкой с запятой.

В обновленной версии программы СайтСпутник можно в окошках, на которые указывают зеленая и красная стрелки на картинке из предыдущего топика, прописывать ещё и е-майлы. Соответственно, списки новых ссылок и/или скачанные ссылки будут отправлены по указанным в окошках е-майл адресам и локальным папкам.

Разработано по заявке Павелко Сергея (г. Ставрополь).

В последней версии 8.6.5.3 программы SiteSputnik можно текущую Рубрику прописать в один или несколько Проектов ещё одним способом.

Встав на Рубрику (листьевую или узловую), на правой кнопке мышки выбираете: "Специальные функции для Рубрик - Прописка Рубрики - ... - Выбор Проекта".

Удобно, когда, например, только что созданную Рубрику требуется прописать в одном или нескольких Проектах.

Ранее новую Рубрику в Проекте можно было прописать только открыв сам Проект.

В версии SiteSputnik News 8.6.8 от 20.03.14 реализована графическая интерпретация результатов работы (бета-версия).

Например:



на картинке выше графически отображены результаты работы демо-проекта "Банки", суть которого: отслеживание упоминаний 4-х известных банков на первых десяти страницах федеральных и региональных источников, попавших в Яндекс.Новости, Гугль.Новости, Яху.Новости и Рамблер.Новости по запросу:

банк | кредит | финансы

В качестве критерия упоминания взяты, соответственно, следующие условия:

Альфа-Банк | !Петр* /2 !Авен*

'ВЭБ' | Внешэкономбанк |Андрей /1 Костин

Сбербанк | Сберегательный /1 !банк* | Герман /2 !Греф*

Центробанк | Банк /1 России | 'ЦБ' | Набиуллина /1 !Эльвира

Остальное как обычно:
в качестве источников аналитик выбирает или подключает необходимые для заданной темы потоки информации (RSS, эмуляция RSS, встроенные в источники поиски; поиск, страницы и группы из соцсетей), в качестве критериев - допустимые в СайтСпутнике Правила попадания информации в Рубрики.

В версии программы SiteSputnik 8.8.2 от 17.09.14 для каждого Проекта строятся две таблички (первая была и в предыдущих версиях, и она усовершенствована):

Текущая статистика - содержит информацию о данном конкретном выполнении Проекта,

Обобщенная статистика - "суммирует" данные из всех предыдущих выполнений Проекта.


В частности, в Табличках есть следующие столбцы (см. рисунок ниже):

- КПД поиска - содержит процент ссылок, которые находит каждый Источник относительно ссылок, найденных всеми источниками. Если источник принес ноль ссылок, то он выделяется цветом, - возможно, что он не сработал.
- КПД новые - содержит процент новых ссылок, которые находит каждый источник относительно всех найденных в Проекте новых ссылок. Это показывает насколько часто обновляется информация в каждом источнике.
- КПД Рубрикации - содержит для каждого Источника процент ссылок, которые попали в Рубрики. Это показатель "полезности" каждого источника в данном Проекте.

Пример Обобщенной статистики по мониторингу основных Волгоградских СМИ при помощи SiteSputnik Pro+News приведен ниже. Для SiteSputnik Pro не создаются два последних столбца, поскольку Рубрикации не происходит.



Для Обобщенной статистики КПД Рубрикации подсчитан не как отношение количества попаданий в Рубрики для каждого Источника к общему количеству попаданий в Рубрики из всех Источников, а как среднее арифметическое КПД Рубрикации из Текущих статистик. Но в текущих статистиках этот КПД есть указанное отношение.

Спасибо, буду тестировать

О поиске информации, которую трудно найти (в ФБ недавно писал об этом).

Если Вам нужно найти в интернете что-то такое, что не лежит на поверхности, можно поступить так.

1) Создали свой Ящик (папку) под искомую тему.

2) Установили галочку в Настройка-Параметры-Вкладка Pro для параметра "Создавать список "Новые" ссылки относительно всех поисков в Ящике".

3) теперь можете задавать самые разные запросы и пакеты запросов к самым разным Источникам и смотреть список "Новые".
Он создастся при 2-м и последующих поисках. При первом поиске смотрите список "Объединение".


Что это дает:
Вы ни разу не просмотрите повторно одну и туже ссылку хоть на первом, хоть на сто первом запросе или пакете.

На первом поиске сработает отбрасывание дублей ссылок из разных источников в рамках одного поиска для списка "Объединение",
на сто первом - отброс всех уже встречавшихся в 100 предыдущих поисках ссылок при формировании списка "Новые".

Если Вы сделаете 10 поисков, а потом произведете над ними операцию Аналитическое объединение, по получите единый список ссылок, упорядоченный по количеству запросов, которыми они были найдены, то есть, чем большим количеством запросов была найдена ссылка, тем ближе к началу выдачи она будет стоять.
(Можно объединять и списки "Объединение" и списки "Новые").

По своему опыту скажу следующее.
Иногда ищешь какое-либо техническое решение для реализации какой-нибудь новой функции СайтСпутника: готовое или подсказку. Приходится задать массу запросов к разным источникам от поисковиков до книг, статей, форумов и комментариев. Не редко, что за один присест не находишь нужный материал. Возвращаешься к поиску на следующий день или позднее. И начинаешь искать не сначала, а с того места, на котором остановился. Все запросы и все результаты - перед глазами. Повторного поиска и просмотра его результатов удается избежать.
Бывает, что параллельно ведешь несколько поисков на разные темы в нескольких папках.

Для действий, описанных в настоящем сообщении, достаточно иметь минимальную комплектацию программы, а именно, SiteSputnik Pro.
Можно и +News приложить, но в данном случае острой необходимости в этом нет: проглядываешь список "Заголовки" и, если есть надежда что за ним скрывается нужная информация, то смотришь сниппет, затем, возможно, открываешь живую ссылку.

В SiteSputnik 9.1.8.2 и выше можно установить пароль, который не позволит открыть программу постороннему лицу.

Установка пароля осуществляется здесь: "Параметры - Настройка - вкладка Общие - Пароль, запрашиваемый при открытии программы".

Сначала примеры.



На картинке выше показано как текст "экономическая ситуация в России и Китае" (синяя стрелочка) можно отправить на "Поиск в новостях" (коричневая стрелочка).

Обращение к этой функции следующее: подменю "Золотого ключика" - Поиск по выделенному тексту - Простой запрос - Поиск в новостях".

Если мы как показано на картинке ниже:



выберем другой пункт из этого меню: подменю "Золотого ключика" - Поиск по выделенному тексту - Пакет запросов - Добавить как запрос в Пакет", то выделенный текст добавится в текущий пакет запросов (в нашем случае это пакет Россия+Китай).



Подробнее

В SiteSputnik версии 9.2.2 от 07.11.16 можно c выделенным на Веб-странице текстом (а если на веб-странице ничего не выделено, то с текстом из буфера обмена) сделать следующее.


1. Отправить его на поиск в качестве простого запроса: а) на нужный источник или сценарий, б) по "Настройке поиска", в) на поиск в новостях.


2. Добавить его в Пакет запросов, который можно затем выполнить. При необходимости можно выбрать другой Пакет для добавления в него запросов.


3. Пункт Искать по теме - в стадии проектирования. Планируется реализация поиска страниц, которые по смыслу будут соответствовать информации из выделенного текста. Размер текста может быть достаточно большим.



Выделенный текст перед поиском или добавленем можно редактировать.

Да), об этом А.Масалович говорил, не очень давно.. добавляйтесь к нам в группу интернет-разведка на ФБ, там много интересного))

Алексей Мыльников написал:

[q]

3. Пункт Искать по теме - в стадии проектирования.

[/q]

В настоящий момент в SiteSputnik Pro версии 9.2.3 от 29.11.16 реализована чисто вспомогательная функция генерации Пакета запросов на основе выделенного абзаца или более длинного фрагмента текста.

Принцип следующий. Как правило, предложение несет в себе какую-то смысловую нагрузку, соответственно, выделенный фрагмент текста разбивается на предложения, из которых составляются запросы. Запросы посылаются на новостные источники раздельно. Затем делается их "Аналитическое объединение", которое в начало выдачи поднимает ссылки, удовлетворяющие большему количеству запросов.

Сгенерированный Пакет запросов перед выполнением предварительно показывается Пользователю, который может отредактирвать запросы и прописать их выполнение на других источниках.

Для этапа поиска, думаю что это довольно-таки практичное решение. Другое дело - этап Рубрикации, который в этой функции не применяется.

Обращение к данной функции следующее: подменю "Золотого ключика" - Поиск по выделенному тексту - Искать по теме - Сгенерировать Пакет запросов.

Два новых параметра, размещены на вкладке +News:

- Не выводить Правило попадания в Рубрику - в конец Рубрики не дописывается Правило, которому она удовлетворила. Бывает полезным, если Правило очень большое (например, больше самой новости или сообщения) и мешает просмотру результатов работы.

- Не Рубрицировать офисные и другие не-html-файлы - офисные файлы иногда попадаются очень большие, например, книга на 600 страниц, соотвественно, обработка такого файла ресурсоёмкая, и если точно известно, что в файле не будет нужной информации, например, если "вычисляем" все интервью Трампа за 2016 год, то есть смысл применить этот параметр.

Доступно в SiteSputnik Pro+News v.9.2.7.3 от 02.02.17 и выше.

Поиск новых Сайтов и Доменов 3-го уровня


Список Ссылки новые уже сушествует давно.
Он содержит только новые уникальные ссылки, которые не встречались ещё ни разу ни в одном из предыдущих выполнений Проекта (впервые найденные ссылки).

Теперь к нему добавлены ещё два списка.

Сайты новые (Домены 2-го уровня новые)

Список "Сайты новые" содержит только впервые найденные сайты, то есть, те сайты, ссылки с которых ещё ни разу не были найдены ни в одном из предыдущих выполнений Проекта (Пакета запросов).

Удобно, например, тогда, когда ищутся сайты, посвященные какой-то теме - Пользователю не придется повторно просматривать ранее найденные сайты.



Домены 3-го уровня новые

Список "Домены 3-го уровня новые" содержит только впервые найденные Домены 3-го уровня.

Удобно, например, тогда, когда нужные темы находятся на таких cайтах как livejournal.com.


Доступно, начиная с Site Sputnik версии 9.4.4 от 21.09.2017 г.

Работа со списками "Сайты новые" и "Домены 3-го уровня новые"


В топике № 88 из этой темы (см. на два топика выше) сообщалось о создании списков "Сайты новые" (Домены 2-го уровня новые) и "Домены 3-го уровня новые", в которые попадают невстретившиеся (ненайденные) ранее ни разу при выполнении Проекта адреса Сайтов и Доменов 3-го уровня.

Для удобства работы с этими списками сделаны следующее две функции.


1. Вручную отправить на Рубрикацию (на модуль +News) ссылки из списков

На картинке ниже красная и зеленая стрелочки показывают пункты меню, выбрав которые можно применить данную функцию:





2. Прописать в Проекте работу с Сайтами новыми и Доменами 3-го уровня новыми

Чтобы не запоминать и не набирать на клавиатуре соответствующий оператор, его можно выбрать так, как показано на картинке ниже:



Если операторы: ^^Сайты новые; или ^^Домены 3-го уровня новые; применены в теле Проекта, то Рубрикация будет выполнена для ссылок их этих списков, то есть для главных страниц сайтов и доменов 3-го уровня, а не для ссылок из списка "Ссылки новые".

Допускается применение обоих операторов в одном Проекте.

Поскольку, в общем случае, для главных страниц сайтов и доменов 3-го уровня выделение значимого контента программным образом не представляется возможным и целесообразным, их текстовый контент в новостную ленту помещается полностью, соответственно, и Рубрикация будет сделана по их полному текстовому содержанию.


Доступно, начиная с SiteSputnik News версии 9.4.7.1 от 27.02.2018 г.

Прописка Ящика (папки), в котором выполняется Проект



1. Статическая прописка.

Например, если в текcте (в теле) Проекта написано:

^^Internet\Поиск в Интернете\СоцСети\Твиттер\Выборы

то Проект всегда будет выполняться в явно указанном Ящике (папке).

При этом Ящик уже должен существовать.





2. Динамическая прописка.

Например, если в текcте (в теле) Проекта написано:

Internet://Поиск в Интернете/Объекты/Юрлица

то Проект всегда будет выполняться в явно указанном Ящике (папке).

При этом, если Ящик не существует, то он создастся.





3. Прописка по умолчанию (применяется только при вызове СайтСпутника из других программ).

Например, если:
- Ящик в теле Проекта явно не прописан,
- и Вы вызываете СайтСпутник из другой программы: внешний Планировщик, bat-файл, любая другая программа,
- и вызываемый Проект размещен в файле Новости\Города и регионы\Сочи,
то Проект выполнится в следующем Ящике:

Internet://Поиск в Интернете/Новости/Города и регионы/Сочи

Соответственно, если Ящик не существует, то он создастся.



Чтобы не запоминать рассмотренные выше операторы, воспользуйтесь меню для выбора статических и динамических Ящиков:



Доступно, начиная с SiteSputnik 9.5.8.1 от 20.03.2018 г.

Копии параметров, восстановление параметров, файлы с параметрами.




• Кроме общей для всех Ящиков копии параметров, можно создать копию для конкретного Ящика и восстановиться из неё (см. по зеленой стрелочке).

• Также можно создать копию параметров в файле (см. по красной стрелочке).

• Можно вручную восстановиться из файла с параметрами,

• но более важно, что можно прописать файл в Проекте, например, так:


^^Файл с параметрами\Параметры-05.cfg


Это позволяет прописывать конкретные параметры в динамически создаваемых Проектах,
а для статических быть уверенными, что Проект выполнится всегда с нужными параметрами, даже после сбоя.


Чтобы не запоминать и не ошибиться в названии оператора и имени файла, можно воспользоваться меню (смотрите картинку ниже):



с помощью которого выбрать оператор и имя файла в диалоге.

Доступно в версии SiteSputnik 9.6.4. от 05.01.2019г.

О теге Text

• Приписывается к сниппету и позволяет быстро на месте (прямо в окне браузера) просматривать полное тестовое содержание ссылок (для SiteSputnik Pro).

• Отменить это действие можно в "Настройке" на вкладке "Pro".



Новое в Переводчике

• можно отменять перевод запроса, сниппета, ссылки, применив, соответственно, операторы:

^^Не переводить запросы
^^Не переводить сниппеты
^^Не переводить ссылки

(не всегда нужны все три перевода, например, в SiteSputnik News переводить сниппеты, как правило, не обязательно)

• можно явно прописать язык источника


Доступно в версии SiteSputnik 9.6.7. от 12.03.2019г.

Работа с документами очень большого размера


Иногда СайтСпутник формирует документы такого большого размера, что даже браузеры открывают их в течение нескольких минут.

В этой связи, начиная с SiteSputnik версии 9.7.4.2 от 14.08.2019 г.,

доступны следующие две возможности:


• автоматически под большими документами создается строка "Открыть браузером" (см. картинку),

   позволяющая, не "нагружая" СайтСпутник, открыть документ внешним браузером

   или открыть папку, в которой расположен документ.




• можно в "Настройках" на вкладке "Общие" в параметре "Оптимизировать работу с очень большими документами"

   прописать разбивку документа на две части: начальную и "Читать далее",

   это тоже позволяет снять часть "нагрузки" на СайтСпутник.

Думаю, что - да.
Это более гибкий вариант, чем "Читать далее".
Возможно, что даже вместо него.

Получения конкурентных преимуществ на рынке недвижимости
(независимое Приложение на базе программы "Сайт Спутник")


На базе программы Site Sputnik разработано независимое Приложение, при помощи которого

можно:

• Автоматически из открытых источников интернета сформировать полный список продаваемой Вашей фирмой недвижимости, например, вторичного жилья.

• Для каждого элемента из этого списка (для каждой продаваемой Вами квартиры) сформировать:

а) списки объявлений по продаже фирмами-конкурентами этой же квартиры по более низкой цене, чем Ваша цена.

б) рейтинг объявлений - это место, на котором потенциальный Покупатель видит Ваше объявление при поиске подходящей ему квартиры.


Подробности - на ссылке.

При создании Приложения использовались Боты СайтСпутника.

Упрощённый режим обработки информации

Доступно в SiteSputnik версии 9.8.10 и выше.



Если установить галочку по зеленой стрелочке, то Сайт Спутник выполнит только самые необходимые действия:

найдет "Ссылки новые" и сформирует "Рубрики".


В этом случае такие результаты работы как:

"Статистики по Источникам", "Ссылки открытые", "Все сниппеты", "Заголовки", "Статистики по Рубрикам", улучшенный вид выдачи, ... не создаются.

Это экономит время и другие ресурсы. Бывает полезно на больших проектах.

Дополнительный список из новых функций и настроек

• Он размещен на ссылке Дополнительный список.

• В этот список будут попадать различные функции и настройки, которые не вошли ни в одну отдельную публикацию или сообщение на форуме.

Что ищут другие люди или похожие запросы,
Top-10 заголовков по запросу к поисковикам

SiteSputnik по Вашему запросу покажет:


• что ищут другие люди или похожие запросы
• Top-10 заголовков, найденных поисковиками


Информация берётся из поисковиков: Яндекс, Google, Bing, Yahoo, Rambler, DuckDuckGo, -

и помещается в пакет запросов СайтСпутника, который может быть отредактирован и выполнен.

Подробнее - на ссылке.

Доступно в версии SiteSputnik v.11.2.2 от 27.07.2023.