Мелочи

Форум Сообщества Практиков Конкурентной разведки (СПКР)

Конкурентная разведка, Бизнес-разведка, Корпоративная разведка,
Деловая разведка по открытым источникам в бизнесе.
Работаем строго в рамках закона.

Дезинформация и активные мероприятия в бизнесе
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Разработчик СайтСпутник, документация, где скачать »   Мелочи
RSS

Мелочи

Небольшие функции программы СайтСпутник, разного назначения

  Вперед>>Страницы: 1 2 3 4 5 6 7 8 9 10 11
Печать
 
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
Эта тема для сообщений о небольших "разношёрстных" новых и обновляемых функциях программы СайтСпутник, для которых отдельную тему открывать нерационально.

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
Начиная с версии 7.3.1.14, вспомогательной БД "Ссылки открытые" можно пользоваться всем при условии, что для работы с найденными ссылками установлен текстовый режим.

Для этого в "Настройки - Параметры - вкладка Мониторинг" установите галочку для опции "Скачивать только текстовую часть ссылок" (отмечена на картинке ниже красной стрелкой).



Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
На иконку "Глобус с зеленой стрелкой" на правую кнопку (или в подменю, см. синюю стрелку на картинке ниже) подвешена функция "Открыть внешним браузером".

Эта функция позволяет "оптом" открывать во внешнем браузере (браузере, установленном по умолчанию) сразу несколько ссылок, отмеченных зелеными шариками (см. три зелёные стрелки на картинке).



Игорь Нежданов
Модератор форума
Прагматик
Откуда: Советский Союз
Всего сообщений: 1055
Рейтинг пользователя: 13


Ссылка


Дата регистрации на форуме:
7 июня 2009

Алексей Мыльников написал:
[q]
Начиная с версии 7.3.1.14, вспомогательной БД "Ссылки открытые" можно пользоваться всем при условии, что для работы с найденными ссылками установлен текстовый режим.

Для этого в "Настройки - Параметры - вкладка Мониторинг" установите галочку для опции "Скачивать только текстовую часть ссылок" (отмечена на картинке ниже красной стрелкой).

[/q]

А расскажите чуть подробнее - для чего это может пригодиться? Или что дает этот функционал?

---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

Игорь Нежданов написал:
[q]
расскажите чуть подробнее - для чего это может пригодиться? Или что дает этот функционал?
[/q]

Это чисто вспомогательная функция. Можно применять, например, при поиске нужного контента в содержании ссылок при обычном поиске в основных поисковиках.

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
Некоторые источники, их не очень много, но есть, как правило, это RSS-потоки при открытии выдают практически полный контент новости, а не её сниппет (сокращенное содержание). Есть небольшой недостаток - эти сниппеты не очень наглядные: нет абзацев, красной строки, пропусков строк. Преимущество - не тратится время на скачивание ссылки и выделения из неё новости, что позволяет в несколько раз уменьшить время полной обработки: от открытия RSS до раскладывания новостей по Рубрикам.

По желанию для таких источников при подключении можно прописать "ускоренный" вариант обработки. Для этого в окне "принимать сниппет за новость" (см. серую стрелку на картинке ниже) укажите значение "Да".




Если требуется отредактировать это значение, например, для ранее подключенных источников, то перейдите в БД "Настройка поиска" и из главного меню: "Настройки - Имена и видимость столбцов" укажите в строке "Выбор" (она была в резерве) в столбце "Видимость" значение "Да". Можно переименовать название "Выбор". В дистрибутиве эта строка будет называться "Сниппет-новость", а не "Выбор". Затем нажмите кнопку "Применить". Столбец станет видимым. Пропишите в нем нужное Вам значение: "Да" или "Нет".

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
На картинке:



красной галочкой отмечен пункт меню "Настройки - Свойства обозревателя - Установить рекомендуемые".

При его выборе автоматически установятся оптимальные при применении программы СайтСпутник параметры для движка IE, в частности, будут отключены различные диалоги обозревателя, ненужные при поиске рекламные флеши и некоторые другие параметры, что ускорит работу программы.

Кто не использует Internet Explorer как браузер по умолчанию (точнее для своих работ) может без сомнений применить этот пункт меню.

Игорь Нежданов
Модератор форума
Прагматик
Откуда: Советский Союз
Всего сообщений: 1055
Рейтинг пользователя: 13


Ссылка


Дата регистрации на форуме:
7 июня 2009
Хорошая "мелочь" - полезная. А то я уже всё поотключал в IE чтоб шустрее работал.

Спасибо!

---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

    В версии 7.4.4.1 от 17.01.12 можно (см. картинку, особенно то, что на ней обведено синей линией) самому для себя сделать меню. В нем можно прописать любые ключевые слова или труднозапоминаемые операторы языков запросов или любые "стандартные" фразы. При выборе эти конструкции будут попадать ("перелетать") в простые запросы или в тексты пакетов.



    Это может быть использовано, в частности, для самостоятельно (или здесь на форуме) подготовленного Help(а) для языков запросов всех поисковиков. Удобно, что этот Help будет под рукой именно тогда, когда он нужен.

    Меню, изображенное на картинке (обведенное синей линией), является отражением содержимого файла "Help\HelpOwn.txt", прикрепленного к данному сообщению. Оно строится автоматически по содержанию этого файла.

    Те, кто уже использует программу SiteSputnik, просто поместите прикрепленный файл в папку "Help".

    На картинке зафиксирован момент выбора оператора "site:" для Яндекса (красная галочка).

    Правила формирования файла (для тех, кто будет редактировать стандартное содержание) таковы.
    1. В файл можно вносить любые свои слова, символы и фразы. Они потом отобразятся в виде меню так, как показано на картинке.
    2. Каждая новая ветка меню отстоит от левого края строки файла на число пробелов, кратное 8. Можно нажимать кнопку "Табуляция", чтобы не считать пробелы.
    3. Можно вводить комментарии. Они размещаются правее символов ^^ и попадают только в меню (в запрос и пакет они не попадают).
    4. Переход к редактированию файла "HelpOwn.txt" можно осуществить, выбрав пункт "Настроить". Он отмечен синей галочкой. В будущем здесь будет обращение к Мастеру.
    Чтобы увидеть результаты редактирования следует закрыть и открыть окно, приведенное на картинке.

Прикрепленный файл (HelpOwn.txt, 689 байт, скачан: 598 раз)
Игорь Нежданов
Модератор форума
Прагматик
Откуда: Советский Союз
Всего сообщений: 1055
Рейтинг пользователя: 13


Ссылка


Дата регистрации на форуме:
7 июня 2009
Это весьма удобно - спасибо!

---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 803
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009
У меня в программе после установки файла "HelpOwn.txt", перестала работать подсказка "+ News". Т.е. сам пункт "+ News" виден, но закрашен серым (неактивен) - переход на него не открывает нижележащих пунктов меню.
Я что-то не так сделал, когда копировал файл?
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

tungus1973 написал:
[q]
У меня в программе после установки файла "HelpOwn.txt", перестала работать подсказка "+ News". Т.е. сам пункт "+ News" виден, но закрашен серым (неактивен) - переход на него не открывает нижележащих пунктов меню.
Я что-то не так сделал, когда копировал файл?
[/q]

Он закрашен серым, потому что неприменим в тексте запроса, - а применим в тексте пакета запросов. Нажмите на кнопку "Пакет" и увидите, что пункт +News "почернеет", то есть станет доступным (активным).

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
В версии 7.5.1.2 от 03.03.12 реализованы две новые "мелочи".

1. Дополнение к "Мастеру подключения источников (сайтов)". В новой версии СайтСпутника можно получить признак начала сниппета (пункта поисковика, встроенного в сайт поиска, RSS-потока реального или эмулированного) посредством щелчка мышки по первой ссылке сниппета.

2. Дополнение в "Поиск папок открытых". В варианте SiteSputnik Invisible для базовой функции "Поиск папок открытых" добавлена обработка еще одного формата страничек описания папок (директорий).

Игорь Нежданов
Модератор форума
Прагматик
Откуда: Советский Союз
Всего сообщений: 1055
Рейтинг пользователя: 13


Ссылка


Дата регистрации на форуме:
7 июня 2009
В новой версии СайтСпутника появилась полезная функция - определение эффективности источника информации. В разделе "Статистика" теперь есть дополнительный столбик , в котором указывается сколько новостей из данного источника попало в Рубрики. Если вы видите, что изо дня в день в Рубрики не попадает ни одной новости из данного источника, то стоит задуматься - есть ли смысл его мониторить. Или как минимум - мониторить не ежедневно.

Для маленьких пакетов это не принципиально. А вот когда под наблюдение ставиться много источников, задание выполняется тоже долго. И тут возникает необходимость оптимизации. А точнее вопрос - от чего избавиться. Как раз эта новая функция и поможет.

---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

Игорь Нежданов написал:
[q]
В новой версии СайтСпутника появилась полезная функция - определение эффективности источника информации. В разделе "Статистика" теперь есть дополнительный столбик , в котором указывается сколько новостей из данного источника попало в Рубрики. Если вы видите, что изо дня в день в Рубрики не попадает ни одной новости из данного источника, то стоит задуматься - есть ли смысл его мониторить. Или как минимум - мониторить не ежедневно.

Для маленьких пакетов это не принципиально. А вот когда под наблюдение ставиться много источников, задание выполняется тоже долго. И тут возникает необходимость оптимизации. А точнее вопрос - от чего избавиться. Как раз эта новая функция и поможет.
[/q]


Да, это сделано по заявке Игоря Нежданова. Получается, например, такая картинка:



Синей линией обведен столбец, в котором указано сколько новой информации, попавшей в Рубрики, принес каждый задействованный источник. Имеет место быть, начиная с версии 7.5.2.1 от 04.05.12.

petryashov
Администратор

Откуда: Москва
Всего сообщений: 490
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009
2 Алексей Мыльников
Алексей, а можно сделать такой отчет применительно не только к имени поисковика, но и к доменным именам ресурсов, с которых скачивается информация и попадает в Рубрики?

Например, в новости Гугла по моему запросу попадают новости с Интерфакса, РБК, Русской службы новостей, с Ленты.Ру и с других сайтов. Где-то публикуются оригинальные новости, которые попадают в Рубрики, где-то их дубли, которые отсеиваются СайтСпутником.

Хотелось бы видеть КПД каждого сайта, с которого информация попадает в Рубрики: например, с сайта Интерфакса в рубрику попало 5 новостей, а с Сайта Русской службы новостей- 10. Если есть возможность выводить такой отчет с разбивкой по датам, будет вообще отлично.

Мне нужно понять, каким сайтам уделять большее внимание за счет того, что они публикуют уникальный контент, а на какие сайты не стоит обращать внимание из-за того, что они занимаются перепечатками. Запрашиваемый мной отчет смог бы ответить на этот вопрос.

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

petryashov написал:
[q]
Алексей, а можно сделать такой отчет применительно не только к имени поисковика, но и к доменным именам ресурсов
[/q]

Да, такой отчет тоже сделаю.

petryashov
Администратор

Откуда: Москва
Всего сообщений: 490
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009

Алексей Мыльников написал:
[q]
petryashov написал:
[q]

Алексей, а можно сделать такой отчет применительно не только к имени поисковика, но и к доменным именам ресурсов
[/q]


Да, такой отчет тоже сделаю.
[/q]


Отлично, будем ждать!

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
Более чем два года назад в СайтСпутник(е) появилось дерево Ящиков (папочная структура). Это позволило под каждую задачу выделить отдельную папку, а сложные задачи разбивать на подзадачи, каждую из которых помещать в свою папку. С тех пор образовалось разделение параметров на два вида: те, которые рационально "привязать" ко всем папкам (общепрограммные параметры) и те, которые удобнее "привязать" к папке. Такое разделение существовало с самого начала, но оно было недостаточно полным, явным и рациональным.

В версии 8.1.2 от 06.08.12 параметры программы более четко разделены на общепрограммые и принадлежащие папке. А именно, в "Настройки - Параметры" вкладки "Вид", "Общие", "Интернет", "Invisible", "Дополнительно" содержат общепрограммные параметры, а вкладки "Поиск и сбор", "News", "WebSpider", "Station" и "Ящики" содержат параметры, принадлежащие папке.

В следующих версиях разделение продолжится, в частности, можно параметры из вкладки "Интернет" прописывать папке.

При создании новой папки в неё копируются все параметры из родительской папки. Затем параметры могут быть отредактированы под текущую задачу.

tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 803
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009

Алексей Мыльников написал:
[q]
В версии 8.1.2 от 06.08.12 параметры программы более четко разделены на общепрограммые и принадлежащие папке.
[/q]
Отличные новости! :smile:


Алексей Мыльников написал:
[q]
При создании новой папки в неё копируются все параметры из родительской папки. Затем параметры могут быть отредактированы под текущую задачу.
[/q]
Замечательное решение! Не придётся все настройки папки вводить "с нуля". :hi:


Алексей Мыльников написал:
[q]
В следующих версиях разделение продолжится
[/q]

Будут ли настройки папки отделены от настроек программы? Имеется ввиду не разделение по вкладкам, а разделение по окнам: одно окно для общих настроек программы, другое - для настроек папки/задачи?
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

tungus1973 написал:
[q]
Будут ли настройки папки отделены от настроек программы? Имеется ввиду не разделение по вкладкам, а разделение по окнам: одно окно для общих настроек программы, другое - для настроек папки/задачи?
[/q]

Можно для этого из одного меню сделать три:
- показать все настройки,
- только общепрограммные,
- только для папки/задачи.

Дело идет к тому, что общепрограммых останутся на две вкладки. Вкладки "Интернет" и "Invisible" вполне рационально привязать к папке/задаче, на вкладке "Дополнительно" остался один параметр, его можно перенести на вкладку "Общие". Останутся вкладки "Вид" и "Общие". Они стоят первыми. Стоит ли?

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
В "Настройки - Параметры - вкладка "Дополнительно"" в версии 8.1.2.1 появился параметр:

Скопировать все параметры текущего Ящика в другой Ящик.

Он служит для того, чтобы перенести параметры одного Ящика (папки) в другой Ящик (папку).
После изменений, описанных в #19 данной темы это может потребоваться.

Также можно использовать этот параметр для восстановления параметров после сбоя оборудования или программного, так как в этом случае могут "пострадать" только параметры одного Ящика.

shturman
Новичок (писатель)

Всего сообщений: 6
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
7 авг. 2012
Помогите!
Кто подскажет начинающему пользователю про Сайт-Спутник? Уж сложная очень программа а так хочу разобраться. Может есть какая легкая версия типа для совсем начинающих.

---
Навигация - основа мореплавания
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 803
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009

shturman написал:
[q]
Может есть какая легкая версия типа для совсем начинающих.
[/q]
С какой версией программы Вы пробуете разобраться? Читали ли файлы справки, размещённые на сайте программы? С какими функциями Вы разобрались? Что именно Вам не понятно в работе программы?
shturman
Новичок (писатель)

Всего сообщений: 6
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
7 авг. 2012

tungus1973 написал:
[q]
shturman написал:

[q]

Может есть какая легкая версия типа для совсем начинающих.
[/q]


С какой версией программы Вы пробуете разобраться? Читали ли файлы справки, размещённые на сайте программы? С какими функциями Вы разобрались? Что именно Вам не понятно в работе программы?
[/q]

Пока с бесплатной экспериментирую. Но судя по интерфейсу те что Про, Ньюс, Инвизибл кажется будут еще посложнее. Как то всё не очевидно в этой проге.

---
Навигация - основа мореплавания
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 803
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009

shturman написал:
[q]
Пока с бесплатной экспериментирую
[/q]
Это самая простая версия СайтСпутника.


shturman написал:
[q]
Как то всё не очевидно в этой проге
[/q]
Не Вы один на это жалуетесь. Что поделать... :sad:
(На обучении новичков работе с программой успешно зарабатывают деньги некоторые мои коллеги. :smile: )


Пока путей изучения программы только два:

1.
Заплатите знающему человеку, чтобы он научил Вас работе с СайтСпутником. Через месяц будете вполне уверенно работать с любой версией программы.

2.
Внимательно читайте содержимое меню и настроек, запоминайте, где что находится.
Распечатайте руководство к СайтСпутнику от Елены Лариной и держите его под рукой - там описаны основные настройки и приёмы работы с программой.
Не стесняйтесь спрашивать на этом форуме людей, имеющих опыт работы с программой. Что непонятно - подскажем.
И самое главное - как можно чаще работайте с программой (желательно ежедневно и по нескольку раз). Тогда приёмы работы и настройки постепенно будут закрепляться в Вашей памяти.
Помните: "Терпенье и труд всё перетрут!" :wink:
shturman
Новичок (писатель)

Всего сообщений: 6
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
7 авг. 2012
Спасибо! А кто обучает работе с программой? В соседней веточке прочитал про вэбобучение, только что то нет объявлений, что будет в ближайшее время.

---
Навигация - основа мореплавания
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
SiteSputnik GetURL (SSGetURL)- многопоточный менеджер скачивания ссылок появился в версии 8.2.1 от 16.10.12.

Для его применения в SiteSputnik News в "Настройки - Параметры - Вкладка News" в параметре "Применять менеджер скачивания ссылок" следует установить галочку.

SSGetURL специально ориентирован на скачивание большого количества мелких и средних ссылок и файлов (размером от 1 до 500 кб).
В подавляющем большинстве ссылки из новостных потоков, создаваемых и анализируемых в SiteSputnik News, попадают в этот диапазон.
SSGetURL имеет смысл применять, когда надо скачать от 40-50 до сотен и тысяч таких ссылок. Применяется многопоточность.


Далее, не относящаяся к самой программе SiteSputnik информация.
В принципе, SSGetURL - это практически готовое ядро отдельной программы для скачивания множества мелких и средних по размеру ссылок "откуда нужно" и сохранение их "где нужно".
Если реализовать настройки, то можно в будущем оформить её как отдельную программу.
На входе SSGetURL принимает файл, условный вид которого:

{ссылка 1, Путь 1\имя файла 1}

{ссылка 2, Путь 2\имя файла 2}
...
{ссылка N, Путь N\имя файла N}

SSGetURL скачает все ссылки и разложит их в файлы. Если каких-то путей или папок не существует, то они будут созданы. Это пригодится в перспективе.

Игорь Нежданов
Модератор форума
Прагматик
Откуда: Советский Союз
Всего сообщений: 1055
Рейтинг пользователя: 13


Ссылка


Дата регистрации на форуме:
7 июня 2009
Вот это "мелочью" как то язык не поворачивается назвать. Скорость работы программы на моих объемах возросла в два раза.

---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 803
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009

Алексей Мыльников написал:
[q]
SSGetURL специально ориентирован на скачивание большого количества мелких и средних ссылок и файлов (размером от 1 до 500 кб).
[/q]
Отличная функция! СайтСпутник с каждым днём работает всё быстрее и быстрее :good:

Возможно, эту функцию стоит применять с осторожностью с версией Invisible.
Подавляющее большинство интернет-страниц не проходили валидацию и содержат ошибки. Некоторые виды ошибок содержат некорректные ссылки, из-за чего роботы поисковиков "не видят" часть страниц сайта.
В обычном режиме СайтСпутник работает через браузер Internet Explorer, который автоматически исправляет многие виды ошибок, выдаёт корректный код страницы и содержит правильные ссылки.
Если страница содержит ошибку в ссылке на другие страницы, то использование функции SSGetURL в версии Invisible может привести к тому, что СайтСпутник не увидит какие-то ссылки и не найдёт часть страниц.

P.S. Возможно я ошибаюсь, но лишь потому, что не знаю, как СайтСпутник устроен "внутри".
К примеру, автор Offline Explorer специально встраивал в программу валидатор для исправления некоторых видов подобных ошибок. Таким образом, его программа стала вытаскивать с веб-страницы большее количество ссылок, чем пауки поисковиков.
petryashov
Администратор

Откуда: Москва
Всего сообщений: 490
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009
Да, скорость программы возросла. Раньше она работала часов 6, после перехода на новый интерфейс стала работать 3 часа, а сейчас за 1 час все собирается. Отлично!

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
Начал приводить (изменять, приближать) интерфейс программы SiteSputnik к реализованным за последнее время функциональным возможностям.

В Версии 8.2.3 от 27.12.2012 по развитию интерфейса сделал следующее.

1. Добавил вкладку "Рубрики" на нижней панели инструментов.

У кого SiteSputnik News рекомендую сделать эту вкладку видимой.
Для этого в "Настройки - Параметры - вкладка Вид" внизу под иконкой "Рубрики" поставьте галочку.
Заодно уберите самую нижнюю галочку - сделайте нижние иконки крупнее (это просто для красоты).

2. Переименовал вкладки на нижней панели.

Теперь они называются "Проекты", "Загрузки", "Сценарии", "Рубрики"...



3. Новые вкладки как бы связаны в цепочку, а именно, выбрав Проект и переключаясь на вкладки Загрузки, Рубрики... Пользователь попадает в Загрузки (Ссылки открытые) и Рубрики, задействованные (используемые) в выбранном Проекте.
При закрытии программы запоминается в каком Проекте находился Пользователь.
Соответственно, при открытии программы открывается последний Проект.
Сценарии не стал привязывать к Проекту: они, как правило, "интернациональные", хотя не всегда.

4. Пока не на 100% доделал привязку к Проекту некоторых кнопок, менюшек, настроек, но "подрихтую" эту привязку в ближайшее время.

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
В версии 8.2.4 от 15.01.2013 в Настройках на вкладке "Дополнительно" параметр "Оформление Папок" можно каждой Клиентской папке (локальная папка, е-майл адрес или папка сайта) прописать свой заголовок и свою текст, следующий в конце новостных потоков, попадающих в Клиентскую папку. Они пищутся на языке HTML.

Если Вы нажмете на кнопку "Оформление папок", то увидите теги:

<name></name> - внутри них помещается имя Клиентской папки
<first></first> - здесь заголовок потоков на языке HTML, попадающих в эти папки,
<last></last> - здесь текст, который выведется в конце потока,
<function></function>

Таким образом, для каждой Клиентской папки можно прописать свои заголовки и сообщения, следующие в конце потока.
Выполнено по предложению участника форума с ником "permdetekti".

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
В SiteSputnik News доступен Пост-запрос, который определяется в "Настройки - Параметры - вкдадка WedSpider".

В поле "Применить Пост-запрос" вводятся Правила попадания в Рубрику, в поле "Включить экспорт в Клиентские папки и адреса", при необходимости, - имена Клиентских папок: локальные папки, е-майлы или папки сайта. Назначение этих полей - такое же, как и в Рубриках.

Достаточно удобно для мелких или личных потребностей, для отладки и эксперимента с правилами попадания в Рубики и Клиентскими папками.

И ещё одно замечание
Равно как Пост-запрос доступен в +News, так и любые Рубрики доступны в +WebSpider, то есть, контент обновлений страниц может быть "отфильтрован" на иерархической структуре Рубрик, приготовленных для +News.

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009


В процессе работы с программой SiteSputnik в Дереве достаточно часто появляются ветки, которые уже не нужны. В последней версии СайтСпутника можно оставить открытой только текущий узел дерева - пункт "Свернуть частично".

вернуть полностью" - полное сворачивание дерева.
"Развернуть полностью" - полное раскрытие дерева.
"Развернуть частично" - раскрытие только текущей ветки: полностью, до последнего листа.

Удобно, когда деревья вырастут большими.

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
В версии 8.4.2 от 24.03.13 реализованы следующие способы работы с капчей и авторизацией:

- остановка, ввод, капчи, продолжение работы,
- остановка, авторизация, продолжение работы.


О капче.

Она определяется автоматически. Если программа программа SiteSputnik ошибочно определяет капчу (на самом деле её на странице нет), то внесите inurl таких источников в окошко в "Настройках" (смотрите по синей стрелке на картинке ниже).
Inurl Источников отделяются друг от друга знаком "точка с запятой". Например:

criminalnews.ru/; roem.ru/search;

Капча вводится прямо в окне встроенного браузера.
Если важнее выполнить задание полностью, например, при "ночном дозоре", то уберите галочку, относящуюся к капче. Тогда СайтСпутник, "наткнувшись" на капчу, проигнорирует её и продолжит свою работу.


Об авторизации.

Inurl источников, требующих авторизацию, вводятся в окно, на которое указывает зеленая стрелка, например:

facebook.com/#!/search; value="Войти"
twitter.com; >sign in<
twitter.com; >Войти</
vk.com/; >Войти</

Слева прописывается inurl, справа, после точки с запятой, - признак, по которому СайтСпутник считает, что нужно пройти авторизацию. В будущем, когда будет реализована автоматическая авторизация, правее будут прописываться логин и пароль.
Определив необходимость авторизации, СайтСпутник откроет Internet Explorer и предложит авторизоваться в нём. Это равносильно авторизации в самом СайтСпутнике (начиная с версии 8.5.4.4 авторизация проводится в самом СайтСпутнике, для этого следует нажать кнопку "Авторизация" в Мастере и ввести логин/пароль во встроенном браузере).
Аналогично капче, проверку на авторизацию можно отменить при помощи соответствующей галочки (зеленая стрелка).


tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 803
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009

Алексей Мыльников написал:
[q]
Если программа программа SiteSputnik ошибочно определяет капчу (на самом деле её на странице нет), то внесите inurl таких источников в окошко в "Настройках"
[/q]
Можно этот функционал сделать проще? После остановки программы покажите пользователю кнопку "На этой странице нет каптчи", нажав на которую, программа занесёт ссылку в список. При дальнейших проверках страниц из этого списка, можно выводить кнопку "На этой странице появилась каптча", нажав на которую, программа удалит ссылку из списка.
То же самое с авторизацией.
Вадим
Молчун

Откуда: Россия
Всего сообщений: 3
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
24 мар. 2013
[q=Алексей Мыльников]В версии 8.4.2 от 24.03.13 реализованы следующие способы работы с капчей
- остановка, ввод, капчи, продолжение работы[/q]

Алексей Борисович, а организуйте ввод капчи с помощью сервиса
Тогда вообще ничего не придется вводить - за 1 бакс негры распознают 1000 капч...
Поставил работать и идешь спать)

Ну и оставить вариант с вводом капчи вручную для тех кому бакс жалко)
Vinni
Администратор

Всего сообщений: 2711
Рейтинг пользователя: 22


Ссылка


Дата регистрации на форуме:
5 июня 2009

Вадим написал:
[q]
Алексей Борисович, а организуйте ввод капчи с помощью сервиса
[/q]


Если речь идет о antigate.com (Среднее время получения ответа - 15 секунд), то там расценки вроде поменьше ( от 0.7USD за 1000 изображений).
Плюс есть инвайты - например, )ttp://tekseo.su/zametki/razdacha-besplatnyh-kljuchej-antigate.php :wink:

А протоколы там простые - нужно получить свой идентификатор (ключ) и указать его параметром запроса.
Поэтому я бы посоветовал добавить опциональную возможность использования этой системы, если обнаружена капча, и еще один параметр в СС - ключ этой системы :wink:
Вадим
Молчун

Откуда: Россия
Всего сообщений: 3
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
24 мар. 2013
Да, antigate.com я имел ввиду. Я там несколько месяце назад покупал за 1 бакс 1000 капч. Может цены изменились...

Есть ещё captchabot.com, цена 1$.
Семёныч
Модератор форума
Городской Охотник
Всего сообщений: 978
Рейтинг пользователя: 10


Ссылка


Дата регистрации на форуме:
8 июня 2009
У меня при подключении новых источников не хочет распознавать "начало пункта по подсказке", но автоматически или в ручную - работает.
Ещё не хочет перетаскивать проект из одной папки в другую Бывает работаешь в одном проекте, тут взял и запустил новый поиск. Потом создаёшь под него папку и пытаешься перетащить, а программа пишет: "Перетаскивание в никуда, на то же место или в Ящик другого типа", хотя Ящик с него же и клонировался. :wonder1: Проблема не критична, но вроде раньше таких проблем не замечал, всё перетаскивалось легко.

---
Нет такой безвыходной ситуации,в которую невозможно вляпаться... (с)
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
Поправил, в версии 8.4.2.2 можно перетаскивать Проекты из папки в папку. Что касается распознавания начала сниппета по подсказке, то оно не на всех страницах может сработать, иногда для определения начала сниппета помогает щёлканье мышкой по его главной ссылке.

Семёныч
Модератор форума
Городской Охотник
Всего сообщений: 978
Рейтинг пользователя: 10


Ссылка


Дата регистрации на форуме:
8 июня 2009
Благодарю! :hi:

---
Нет такой безвыходной ситуации,в которую невозможно вляпаться... (с)
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
В версии 8.5.3 от 21.05.13 в дополнение к возможностям с вкладки News в Настройках реализованы следующие возможности оформления Рубрик.

Можно к содержанию Рубрик приписывать предисловие (шапку), послесловие и задавать свою функциональную обработку (внешнюю функцию (плагин)) над всем содержанием Рубрики.

Предисловие и послесловие пишется Пользователем на языке HTML, в частности, это может быть просто текст на русском языке, функция - на скрипте (языке программирования).

Выше в топике #33 описано как эти действия можно делать для содержания Рубрик, попадающих в Клиентские папки (папки локального компьютера и локальной сети, папки сайта, е-майлы).

Действия из данного топика над содержанием Рубрик выполняются раньше, чем действия из #33. Можно прописывать действия из обоих топиков.

Синтаскис аналогичен:
<name></name> - внутри тегов помещается имя Рубрики, например: Космонавты\Титов
<first></first> - здесь предисловие: "шапка" на языке HTML, помещаемая в начале Рубрики,
<last></last> - здесь послесловие: текст, который выведется в конце Рубрики,
<function></function> - здесь имя программы (исполняемый код), размещенный в папке Exe и принимающий в первом параметре имя файла с содержанием Рубрики.

Доступно из Настройки - Параметры - вкладка Дополнительно - кнопка "Оформление Рубрик".

Пример предисловия:
<first>
<center><H3>Рубрика о Германе Титове</H3>
<font color=gray size=2>Ежежневная рассылка.</font><br><br>
</center> </first>

petryashov
Администратор

Откуда: Москва
Всего сообщений: 490
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009

Алексей Мыльников написал:
[q]
- здесь имя программы (исполняемый код), размещенный в папке Exe и принимающий в первом параметре имя файла с содержанием Рубрики.
[/q]

Есть ли какой-нибудь пример этой функции? Увы, навыками написания скриптов пока не обладаю, а пощупать функцию хочется

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

petryashov написал:
[q]
Есть ли какой-нибудь пример этой функции? Увы, навыками написания скриптов пока не обладаю, а пощупать функцию хочется
[/q]

Вот пример с комментариями на Delphi 7 (он "лёгкий", приобретал на него лицензию специально для разработки небольших программ). Если есть потребность в каких-то функциях, то можете мне об этом сообщить здесь на форуме или по е-майлу. Приведенная ниже программа (внешняя функция) предназначена для удаления сниппетов из новостного потока.

    program CutSnippets; // Автор Мыльников Алексей Борисович: 1a@sitesputnik.ru, +7(8442)79-52-42,+7(905)392-97-92
    // Назначение: принимает в первом параметре P1 имя файла, содержащего новостной поток,
    uses // считывает его, выкусывает сниппеты и сохраняет преобразованный файл в P1
    Windows,//Dialogs, // Язык программирования Delphi 7
    SysUtils, DateUtils;
    var i, j : integer;
    S, Sw, fn: string;
    NS : TextFile;
    begin
    fn:=ParamStr(1); if(fn='')or(not(FileExists(fn)))then EXIT; // Если не существует файл, то на этом обработка заканчивается

    S:=''; // в переменную S считаю
    AssignFile(NS,fn); // весь контент новостного потока
    try Reset(NS); while(not(eof(NS)))do begin readln(NS,Sw); S:=S+Sw+#13#10; end; except end;
    CloseFile(NS);
    // Всё, что написано выше - одинаково для всех внешних программ


    //============== Собственно обработка содержания файла Новостного потока (начало) ================//

    repeat i:=pos('<b>Сниппет о новости №',S); // Признак начала сниппета
    j:=pos('</FIELDSET></BLOCKQUOTE></font>',S);// Признак конца сниппета
    if(i=0)or(j=0)then BREAK; // Все сниппеты удалены, выходим из цикла ;
    delete(S,i,j-i+31); // Выкусываем сниппет
    until(false);

    //============== Собственно обработка файла Новостного потока (окончена) ================//


    //Всё что ниже - одинаково для всех программ, если Вы собираетесь сохранить Вашу обработку в том же файле, а не в другом.
    //Можете сохранить результаты где угодно и/или отправить их куда сможете.
    try Rewrite(NS); write(NS,S); except end; // Сохранение обработанного потока
    CloseFile(NS); // в том же файле.
    end.

Игорь Нежданов
Модератор форума
Прагматик
Откуда: Советский Союз
Всего сообщений: 1055
Рейтинг пользователя: 13


Ссылка


Дата регистрации на форуме:
7 июня 2009
Теперь все значимые рассылки сделал именными.
Типа "Иван Васильевич, персонально для вас за истекшие сутки обработано 3000 источников информации, переработано 17000 новостей и выбраны только действительно достойные вашего внимания..."
Потребители довольны.

---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок
petryashov
Администратор

Откуда: Москва
Всего сообщений: 490
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009

Игорь Нежданов написал:
[q]
обработано 3000 источников информации, переработано 17000 новостей
[/q]

Игорь, поделись, пожалуйста, секретом, как эту статистику можно передать в "шапку" рассылки, а то я в описании не нашел. Она ведь не руками набивается, правильно?

Игорь Нежданов
Модератор форума
Прагматик
Откуда: Советский Союз
Всего сообщений: 1055
Рейтинг пользователя: 13


Ссылка


Дата регистрации на форуме:
7 июня 2009

petryashov написал:
[q]

Игорь, поделись, пожалуйста, секретом, как эту статистику можно передать в "шапку" рассылки, а то я в описании не нашел. Она ведь не руками набивается, правильно?
[/q]

Это банальное глумление :) Никакой статистики - надпись статична и одинакова для всех и набирается один раз руками. Но как приятно получателям читать, что это для них единственных столько поработали....
Извини если разочаровал :blush:

---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок
Ed
Модератор форума

Всего сообщений: 1826
Рейтинг пользователя: 28


Ссылка


Дата регистрации на форуме:
7 июня 2009
:laugh:
petryashov
Администратор

Откуда: Москва
Всего сообщений: 490
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009

Игорь Нежданов написал:
[q]

Это банальное глумление :) Никакой статистики - надпись статична и одинакова для всех и набирается один раз руками. Но как приятно получателям читать, что это для них единственных столько поработали....
Извини если разочаровал
[/q]


Понятно. Но, кстати сказать, идея передавать в "шапке" или "подвале" рассылки переменные (количество сообщений, количество источников, и т.п.) весьма перспективна с точки зрения повышения качества предоставления информации. И, насколько я понимаю,это теоретически можно реализовать.

Для этого надо просто прикинуть, какие сведения нужно транслировать в отчет, составить список переменных, которые будут принимать значения и попросить Алексея сделать соответствующий функционал. В первом приближении это следующие переменные:

Количество сообщений в рассылке.(Условное имя переменной V1)
Количество использованных источников; (Условное имя переменной V2)
Время начала запуска процесса сканирования(Условное имя переменной V3)
Время окончания процесса сканирования(Условное имя переменной V4)
Адресат (Условное имя переменной V5)
Общее количество скачанных новостей (Условное имя переменной V6)

в результате можно в "шапку" отчета вбить шаблон, который будет выводить неизменный текст с изменяющимися переменными: "Уважаемый V5! Персонально для вас за истекшие сутки обработано V2 источников информации, переработано V6 новостей и выбраны только действительно достойные вашего внимания...". В рассылке V1 уникальных новостей, сканирование начато V3 и закончено V4"

Евгений Ющук
Модератор форума

Откуда: Екатеринбург
Всего сообщений: 22
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
23 мая 2013
[q=petryashov]
Понятно. Но, кстати сказать, идея передавать в "шапке" или "подвале" рассылки переменные (количество сообщений, количество источников, и т.п.) весьма перспективна с точки зрения повышения качества предоставления информации.[/q]
А не опасаешься, что если "на пике" информвсплеска клиент порадуется, то "на спаде" он может решить, что ты недорабатываешь, и надо пересмотреть стоимость работ?

Действительно ли нужно грузить клиента этой, по сути, вторичной информацией и рисковать нарваться на проблемы?

---
Ющук Евгений Леонидович, профессор УрГЭУ. [url= razvedka-internet.ru/] www.razvedka-internet.ru[/url]; [url= ci-razvedka.ru/] www.ci-razvedka.ru[/url]
Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь.
Игорь Нежданов
Модератор форума
Прагматик
Откуда: Советский Союз
Всего сообщений: 1055
Рейтинг пользователя: 13


Ссылка


Дата регистрации на форуме:
7 июня 2009

petryashov написал:
[q]
Понятно. Но, кстати сказать, идея передавать в "шапке" или "подвале" рассылки переменные (количество сообщений, количество источников, и т.п.) весьма перспективна с точки зрения повышения качества предоставления информации. И, насколько я понимаю,это теоретически можно реализовать....
[/q]

Да - в ряде случаев вполне полезно. При чем подозреваю, что это как раз и можно реализовать через <function></function>

---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок
petryashov
Администратор

Откуда: Москва
Всего сообщений: 490
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009

Евгений Ющук написал:
[q]
А не опасаешься, что если "на пике" информвсплеска клиент порадуется, то "на спаде" он может решить, что ты недорабатываешь, и надо пересмотреть стоимость работ?

Действительно ли нужно грузить клиента этой, по сути, вторичной информацией и рисковать нарваться на проблемы?
[/q]

Да, такая вероятность существует, но в ряде случаев эти сведения будут полезными. В любом случае, создать функционал трансляции значений переменных, в том числе и вычисляемых, в текст отчета, точно не помешает

Игорь Нежданов
Модератор форума
Прагматик
Откуда: Советский Союз
Всего сообщений: 1055
Рейтинг пользователя: 13


Ссылка


Дата регистрации на форуме:
7 июня 2009
2 petryashov
К стати - на мой взгляд, управление надписями удобнее было бы организовать непосредственно в настройках Рубрики. Там Где вкладка "Правила" и вкладка "КП". Так и просится вкладка "Оформление". При такой организации не запутаешься какой Рубрике приделал шапку и какую, а какой нет, а у какой нужно поменять... Или файлом нормально? У меня есть сомнение одно по этому поводу. Дело в том, что когда "одним файлом", то есть возможность увидеть картину целиком.

---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок
petryashov
Администратор

Откуда: Москва
Всего сообщений: 490
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009

Игорь Нежданов написал:
[q]
К стати - на мой взгляд, управление надписями удобнее было бы организовать непосредственно в настройках Рубрики. Там Где вкладка "Правила" и вкладка "КП". Так и просится вкладка "Оформление". При такой организации не запутаешься какой Рубрике приделал шапку и какую, а какой нет, а у какой нужно поменять..
[/q]

Да, соглашусь, так будет удобнее и нагляднее

2 Алексей Мыльников
Алексей, можно реализовать это предложение Игоря?

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

petryashov написал:
[q]
Алексей, можно реализовать это предложение Игоря?
[/q]

Я рассматривал такой вариант, но тогда придется отказаться от группового редактирования Рубрик, потому что получится очень сложный редактируемый текст о Рубриках и можно будет отредактировать Рубрики так, что вообще они испортятся.

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
И ещё один момент: на клиентские папки (КП) тоже бывает полезно вешать "шапку", "подвал" и функцию, а это уже в Рубриках не пропишешь, так как в одну КП возможен вывод из разных Рубрик.

Этот вариант не менее востребованный: создается КП для каждого Пользователя, и в неё отправляется информация из нескольких разных Рубрик.

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
В версии 8.5.3.1 от 27.05.13 в стандартный заголовок Рубрики, создаваемый программой SiteSputnik, добавлено количество сообщений, попавших в Рубрику, всего сообщений и количество используемых источников.

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
Если используете Твиттер, то замените признак начала сниппета на следующий: stream-item-tweet

Игорь Нежданов
Модератор форума
Прагматик
Откуда: Советский Союз
Всего сообщений: 1055
Рейтинг пользователя: 13


Ссылка


Дата регистрации на форуме:
7 июня 2009
Нормально сработало (число источников и новостей). Стало информативнее.

---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
Ещё один вид экспорта загруженных ссылок в локальные папки.

Применение.
1. "Отлов" и помещение в отдельные локальные папки не-html-файлов, попадающихся при работе с Проектами.
2. Помещение в локальные папки всех загружаемых ссылок с целью, например, нацеливания на них программ поиска по локальному компьютеру.

Отличается от экспорта в клиентские папки (КП) тем, что в КП попадают потоки из Рубрик или "Чистые потоки", а здесь в папки попадают отдельные ссылки, скачиваемые при работе с Проектами: каждая ссылка - в свой отдельный файл.

На картинке ниже красная стрелка показывает, где прописываются папки, в которые попадают загружаемые в Проекте ссылки.



Каждому проекту можно прописать несколько папок.

При работе SiteSputnik News в папки попадают очищенные от окружающего мусора контенты html-ссылок.

Префикс: office:, который можно прописать перед папкой, означает, что в папку попадают только офисные и другие не-html-файлы.

Выбор папок можно сделать по двойному клику по окну, расположенному ниже параметра "Включить экспорт ссылок в папки локальные". Префикс office: прописывается автоматически. Если он не нужен, то удалите его.

Доработки в будущем:
- детализация типов файлов, например: doc, pdf, ppt, ...,
- устранение погрешности при определении типа файла (сейчас для SiteSputnik News он определяется по расширению ссылки).

"Просуммированы" предложения Игоря Нежданова и Романа Ромачева, сделанные в разное время.

Игорь Нежданов
Модератор форума
Прагматик
Откуда: Советский Союз
Всего сообщений: 1055
Рейтинг пользователя: 13


Ссылка


Дата регистрации на форуме:
7 июня 2009
Хорошая функция. Периодически нужна.
Спасибо!

---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

    В версии программы SiteSputnik 8.5.5 в "Настройках - Параметры" на вкладке "Поиск и сбор" при определении новизны ссылок относительно предыдущих выполнений заданий (при составлении программой списка "Новые") можно указать параметры ссылок, которые не учитываются (удаляются из ссылки) в процессе определения её новизны.

    За примерами далеко ходить не надо: при поиске по этому форуму в ссылку попадает параметр &hl=, который содержит текст запроса. Это приводит к тому, что одна и та же ссылка, найденная разными запросами, имеет разные URL и, соответственно, по любому новому запросу попадает в список "Новые".

    На картинке показано как избежать такой ситуации.



    Параметр действует в рамках Проекта.

    Если параметров несколько, то они отделяются друг от друга точкой с запятой.

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

    В версии SiteSputnik Pro 8.6.2. от 02.12.13 появилась настройка:

    "Включить экспорт списка "Новые" в папки локальные".

    Cмотрите по зеленой стрелке на картинке:



    Она работает так:

      1) если Проект выполняется первый раз, то все найденные ссылки рассматриваются как новые и выводятся в прописанные в настройке локальные папки, другими словами, экспортируется список "Объединение;
      2) иначе экспортируется список "Новые", содержащий только те ссылки, которые не были найдены ранее при выполнении данного Проекта.

    Удобно в том случае, когда регулярно отслеживается появление новых ссылок о большом количестве объектов: задания по каждому объекту заносятся в Планировщик, и результаты их выполнения выводятся в нужные папки.

    Разработано по заявке Александра Чмырёва (г. Минск).

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
    В обновленной версии программы СайтСпутник можно в окошках, на которые указывают зеленая и красная стрелки на картинке из предыдущего топика, прописывать ещё и е-майлы. Соответственно, списки новых ссылок и/или скачанные ссылки будут отправлены по указанным в окошках е-майл адресам и локальным папкам.

    Разработано по заявке Павелко Сергея (г. Ставрополь).

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

    В версии SiteSputnik 8.6.2.9 от 27.12.13 появились следующие две возможности:



    • RSS-потоки можно не подключать через Мастер подлючения источников информации.
      Достаточно в запросе или пакете явно прописать адрес ссылки RSS-потока.
      Смотрите по зеленой стрелке на картинке выше, где явно прописаны три RSS-потока.

    • По коричневой стрелке показан выбор Пакета, Проекта или файла-вставки или Пакета с параметрами, которые можно вставить в Проект.
      В частности, файл-вставка может содержать список RSS-потоков.
      При вставке в Проект другого Проекта нужно учитывать, чтобы из вставляемых Проектов не образовалась цепочка, приводящая в один из вставляемых Проектов.

    Ссылки, попавшие в явно прописанные RSS-потоки, точно также как и ссылки из подключенных RSS-потоков, могут быть скачаны, а их контенты и/или контенты комментариев к этим ссылкам рубрицированы.



Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

    В последней версии 8.6.5.3 программы SiteSputnik можно текущую Рубрику прописать в один или несколько Проектов ещё одним способом.

    Встав на Рубрику (листьевую или узловую), на правой кнопке мышки выбираете: "Специальные функции для Рубрик - Прописка Рубрики - ... - Выбор Проекта".

    Удобно, когда, например, только что созданную Рубрику требуется прописать в одном или нескольких Проектах.

    Ранее новую Рубрику в Проекте можно было прописать только открыв сам Проект.

tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 803
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009
Работать с рубриками стало удобнее! :good:
Спасибо!
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

    В версии SiteSputnik News 8.6.8 от 20.03.14 реализована графическая интерпретация результатов работы (бета-версия).

    Например:



    на картинке выше графически отображены результаты работы демо-проекта "Банки", суть которого: отслеживание упоминаний 4-х известных банков на первых десяти страницах федеральных и региональных источников, попавших в Яндекс.Новости, Гугль.Новости, Яху.Новости и Рамблер.Новости по запросу:

    банк | кредит | финансы

    В качестве критерия упоминания взяты, соответственно, следующие условия:

    Альфа-Банк | !Петр* /2 !Авен*

    'ВЭБ' | Внешэкономбанк |Андрей /1 Костин

    Сбербанк | Сберегательный /1 !банк* | Герман /2 !Греф*

    Центробанк | Банк /1 России | 'ЦБ' | Набиуллина /1 !Эльвира

    Остальное как обычно:
    в качестве источников аналитик выбирает или подключает необходимые для заданной темы потоки информации (RSS, эмуляция RSS, встроенные в источники поиски; поиск, страницы и группы из соцсетей), в качестве критериев - допустимые в СайтСпутнике Правила попадания информации в Рубрики.

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

    При Рубрикации теперь можно задавать нулевое расстояние между словами, например, правило:
    инвест /0 проект
    Означает, что если в контенте ссылки есть слово инвестпроект, то она удовлетворяет правилу, а если есть только инвестиционный проект, то неудовлетворяет.

    Другой пример:
    Новиков /0 Прибой
    Удовлетворяют: Новиков-Прибой, Новикова-Прибоя, Новиковуприбою, Прибойновиков.
    Неуд: Новиков Прибой, Прибой Новикова.

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
Обобщенная статистика о работе Источников в программе СайтСпутник

    В версии программы SiteSputnik 8.8.2 от 17.09.14 для каждого Проекта строятся две таблички (первая была и в предыдущих версиях, и она усовершенствована):

    Текущая статистика - содержит информацию о данном конкретном выполнении Проекта,

    Обобщенная статистика - "суммирует" данные из всех предыдущих выполнений Проекта.


    В частности, в Табличках есть следующие столбцы (см. рисунок ниже):

    - КПД поиска - содержит процент ссылок, которые находит каждый Источник относительно ссылок, найденных всеми источниками. Если источник принес ноль ссылок, то он выделяется цветом, - возможно, что он не сработал.
    - КПД новые - содержит процент новых ссылок, которые находит каждый источник относительно всех найденных в Проекте новых ссылок. Это показывает насколько часто обновляется информация в каждом источнике.
    - КПД Рубрикации - содержит для каждого Источника процент ссылок, которые попали в Рубрики. Это показатель "полезности" каждого источника в данном Проекте.

    Пример Обобщенной статистики по мониторингу основных Волгоградских СМИ при помощи SiteSputnik Pro+News приведен ниже. Для SiteSputnik Pro не создаются два последних столбца, поскольку Рубрикации не происходит.



    Для Обобщенной статистики КПД Рубрикации подсчитан не как отношение количества попаданий в Рубрики для каждого Источника к общему количеству попаданий в Рубрики из всех Источников, а как среднее арифметическое КПД Рубрикации из Текущих статистик. Но в текущих статистиках этот КПД есть указанное отношение.

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
Остановить поиск в Источнике при нахождении первой не новой ссылки

    В версии программы SiteSputnik 8.8.6.6 от 24.02.15 в Настройках на вкладке "Поиск и сбор" доступен параметр "Остановить поиск в Источнике при нахождении первой не новой ссылки". Он прекращает работу с Источником ("копание" в глубину) сразу как только встречает ссылку, найденную ранее в Проекте.

    Рекомендуется применять при работе с Источниками, которые выдают информацию, упорядоченную по дате, например, поток новых тендеров на торговых площадках. Эта опция дает возможность прописать в Проекте глубокий поиск, но реально воспользоваться им только в случае необходимости: увеличение тендеров в разы или долгий промежуток между моментами мониторинга.

    Использовать при поиске по релевантности в Яндексе или Гугле не следует.

    Выполнено для Петряшова Д.В.

petryashov
Администратор

Откуда: Москва
Всего сообщений: 490
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009
Спасибо, буду тестировать

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
    В Настройках на вкладке News появился параметр: "Дублировать "Всё по Рубрике" в Проекты".

    Он позволяет собрать все результаты рубрикации в одном месте, а именно, на вкладке "Проекты".

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

    О поиске информации, которую трудно найти (в ФБ недавно писал об этом).

    Если Вам нужно найти в интернете что-то такое, что не лежит на поверхности, можно поступить так.

    1) Создали свой Ящик (папку) под искомую тему.

    2) Установили галочку в Настройка-Параметры-Вкладка Pro для параметра "Создавать список "Новые" ссылки относительно всех поисков в Ящике".

    3) теперь можете задавать самые разные запросы и пакеты запросов к самым разным Источникам и смотреть список "Новые".
    Он создастся при 2-м и последующих поисках. При первом поиске смотрите список "Объединение".


    Что это дает:
    Вы ни разу не просмотрите повторно одну и туже ссылку хоть на первом, хоть на сто первом запросе или пакете.

    На первом поиске сработает отбрасывание дублей ссылок из разных источников в рамках одного поиска для списка "Объединение",
    на сто первом - отброс всех уже встречавшихся в 100 предыдущих поисках ссылок при формировании списка "Новые".

    Если Вы сделаете 10 поисков, а потом произведете над ними операцию Аналитическое объединение, по получите единый список ссылок, упорядоченный по количеству запросов, которыми они были найдены, то есть, чем большим количеством запросов была найдена ссылка, тем ближе к началу выдачи она будет стоять.
    (Можно объединять и списки "Объединение" и списки "Новые").

    По своему опыту скажу следующее.
    Иногда ищешь какое-либо техническое решение для реализации какой-нибудь новой функции СайтСпутника: готовое или подсказку. Приходится задать массу запросов к разным источникам от поисковиков до книг, статей, форумов и комментариев. Не редко, что за один присест не находишь нужный материал. Возвращаешься к поиску на следующий день или позднее. И начинаешь искать не сначала, а с того места, на котором остановился. Все запросы и все результаты - перед глазами. Повторного поиска и просмотра его результатов удается избежать.
    Бывает, что параллельно ведешь несколько поисков на разные темы в нескольких папках.

    Для действий, описанных в настоящем сообщении, достаточно иметь минимальную комплектацию программы, а именно, SiteSputnik Pro.
    Можно и +News приложить, но в данном случае острой необходимости в этом нет: проглядываешь список "Заголовки" и, если есть надежда что за ним скрывается нужная информация, то смотришь сниппет, затем, возможно, открываешь живую ссылку.

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
    На этой ссылке, можно наблюдать за новостями на тему "Пиратство в сфере ПО".

    Это просто один из моих регулярных тестов программы СайтСпутник (и ничего более) на темы: Динамические рубрики и Рассылка выдачи в интернет (по Е-мейлам и на сайт).

    Запускаю этот тест по мере необходимости от 1 раза в день до 1 раза в неделю.

    Весь проект - на картинке:



    Там есть ещё три адреса на моём сайте по трем темам.

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
    В SiteSputnik 9.1.8.2 и выше можно установить пароль, который не позволит открыть программу постороннему лицу.

    Установка пароля осуществляется здесь: "Параметры - Настройка - вкладка Общие - Пароль, запрашиваемый при открытии программы".



Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
    Многократное выполнение Проекта

    Допустим, что в текущей Папке Вы работаете с Проектом "Волгоград Недвижимость Вторичка".



    На картинке выше показано как выполнить 8 раз через 1 час (60 минут) данный Проект.

    Добраться до этой картинки можно с верхней панели инструментов: Подменю "Глобус с линзой" - Обновить многократно - Проект главный".

    Если очередное выполнение Проекта длилось больше часа, то следующее стартует сразу после окончания очередного Проекта.

    Если вместо "60" установить "0", то Проект выполнится 8 раз подряд без паузы.

    Доступно в SiteSputnik 9.1.9 от 18.10.2016.


Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

    Сначала примеры.



    На картинке выше показано как текст "экономическая ситуация в России и Китае" (синяя стрелочка) можно отправить на "Поиск в новостях" (коричневая стрелочка).

    Обращение к этой функции следующее: подменю "Золотого ключика" - Поиск по выделенному тексту - Простой запрос - Поиск в новостях".

    Если мы как показано на картинке ниже:



    выберем другой пункт из этого меню: подменю "Золотого ключика" - Поиск по выделенному тексту - Пакет запросов - Добавить как запрос в Пакет", то выделенный текст добавится в текущий пакет запросов (в нашем случае это пакет Россия+Китай).



    Подробнее

    В SiteSputnik версии 9.2.2 от 07.11.16 можно c выделенным на Веб-странице текстом (а если на веб-странице ничего не выделено, то с текстом из буфера обмена) сделать следующее.

      1. Отправить его на поиск в качестве простого запроса: а) на нужный источник или сценарий, б) по "Настройке поиска", в) на поиск в новостях.

      2. Добавить его в Пакет запросов, который можно затем выполнить. При необходимости можно выбрать другой Пакет для добавления в него запросов.

      3. Пункт Искать по теме - в стадии проектирования. Планируется реализация поиска страниц, которые по смыслу будут соответствовать информации из выделенного текста. Размер текста может быть достаточно большим.



    Выделенный текст перед поиском или добавленем можно редактировать.

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

    Когда Вы регистрируете страницу ФейсБука, например, страницу физического лица, то указываете E-майл. Он невидим другим Пользователям.

    Оказывается (я этого не знал и обнаружил недавно) можно не только по номеру телефона, но и по Е-майлу найти страницу Фейсбука.

    Если эта "ниточка" обнаружена и за неё потянуть, то можно выйти на истинного "хозяина" E-mail.

    В SiteSputnik 9.2.2.2 от 15.11.16 эта возможность включена в пункт меню: "Подменю Золотого ключика" - "Сбор информации по..." - "E-mail".

ara_367519
Долгожитель форума

Откуда: г. Пенза
Всего сообщений: 818
Рейтинг пользователя: 17


Ссылка


Дата регистрации на форуме:
4 дек. 2012
Да), об этом А.Масалович говорил, не очень давно.. добавляйтесь к нам в группу интернет-разведка на ФБ, там много интересного))

---
истина где-то рядом...
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

ara_367519 написал:
[q]
не очень давно..
[/q]
    Здесь на форуме уже достаточно давно (более, чем год назад), про телефон подсказал Семеныч - Фичи Facebook (спасибо ему). А оказалось, что и e-mail ещё можно "пробить". Вот в пробивку E-mail и была добавлена проверка: не был ли пробиваемый E-mail использован при регистрации в Фейсбуке, а если был использован, то кем. Телефон при регистрации в ФБ не обязательно указывать, а E-Mail всегда нужно указывать. Казалось бы мелочь, но она очень даже может помочь.

    Кстати, в пробивку E-mail я ещё добавил проверку имени, которое идет до знака @: проверяю на абсолютно точное совпадение, если имя состоит из букв и цифр и длиннее 6 символов. Это тоже бывает полезным и не приносит практически мусора.

    И ещё.
    "Распыление" по ФБ, ВК и другим источникам - это нормальное явление, но если Вы нашли хорошую фичу и хотите донести её до широкого круга Пользователей, то пишите о ней здесь на форуме тоже.




Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

Алексей Мыльников написал:
[q]
3. Пункт Искать по теме - в стадии проектирования.
[/q]
    В настоящий момент в SiteSputnik Pro версии 9.2.3 от 29.11.16 реализована чисто вспомогательная функция генерации Пакета запросов на основе выделенного абзаца или более длинного фрагмента текста.

    Принцип следующий. Как правило, предложение несет в себе какую-то смысловую нагрузку, соответственно, выделенный фрагмент текста разбивается на предложения, из которых составляются запросы. Запросы посылаются на новостные источники раздельно. Затем делается их "Аналитическое объединение", которое в начало выдачи поднимает ссылки, удовлетворяющие большему количеству запросов.

    Сгенерированный Пакет запросов перед выполнением предварительно показывается Пользователю, который может отредактирвать запросы и прописать их выполнение на других источниках.

    Для этапа поиска, думаю что это довольно-таки практичное решение. Другое дело - этап Рубрикации, который в этой функции не применяется.

    Обращение к данной функции следующее: подменю "Золотого ключика" - Поиск по выделенному тексту - Искать по теме - Сгенерировать Пакет запросов.


Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

    Приписать в выдаче к сниппету (ссылке) Источник и Запрос - новый параметр в Настройках, размещён на вкладке Pro.

    Название параметра говорит само за себя: Источник, в котором найден сниппет (ссылка) и запрос, при помощи которого он был найден, приписываются в конец сниппета.

    Этот параметр помогает понять какой Источник, по какому Запросу, какую информацию принес в выдачу. Полезено, когда Пакет запросов состоит из нескольких Источников и нескольких Запросов.

    Другими словами, он помогает "на месте" (не прокручивая выдачу, не заглядывая в Пакет запросов и Настройки) понять какие Источники и Запросы приносят нужную информацию, а какие нет.

    По умолчанию параметр выключен.

    Доступно в SiteSputnik Pro v.9.2.6 от 09.01.17 и выше.

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

    Два новых параметра, размещены на вкладке +News:

    - Не выводить Правило попадания в Рубрику - в конец Рубрики не дописывается Правило, которому она удовлетворила. Бывает полезным, если Правило очень большое (например, больше самой новости или сообщения) и мешает просмотру результатов работы.

    - Не Рубрицировать офисные и другие не-html-файлы - офисные файлы иногда попадаются очень большие, например, книга на 600 страниц, соотвественно, обработка такого файла ресурсоёмкая, и если точно известно, что в файле не будет нужной информации, например, если "вычисляем" все интервью Трампа за 2016 год, то есть смысл применить этот параметр.

    Доступно в SiteSputnik Pro+News v.9.2.7.3 от 02.02.17 и выше.

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
    Мониторинг страничек в Instagram

    В SiteSputnik News+WebSpider версии 9.3.2 от 20.02.17 добавлены средства мониторинга страничек из Инстаграм (внутрь100грамм).

    Прописать страничку из Инстаграм в Проекте можно следующим образом:

    %ИГ=https://www.instagram.com/mossobyanin/
    или
    https://www.instagram.com/mossobyanin/ +/p/


    Важное замечание.
    Т.к. в Инстаграм комментарии не оформляются отдельной ссылкой, а приписываются в ссылку, создаваемую при первом Посте, то для отслеживания новых комментариев, написанных после последнего выполнения Проекта, следует применить возможности модуля +WebSpiser, а именно, прописать в Проекте оператор ^^WebSpider;.
    В этом случае СайтСпутник будет сравнивать новые и предыдущие состояния ссылок, находить и выделять в них только новые комментарии и отправлять их на Рубрикацию.

    Пример небольшого Проекта для наблюдением сразу за 7 страничками из Инстаграм на предмет отслеживания новых сообщений и комментариев о "Масленице", "Днях рождениях" и "О полиции":


    %ИГ=https://www.instagram.com/alexei_mylnikov/
    %ИГ=https://www.instagram.com/mossobyanin/
    %ИГ=https://www.instagram.com/skyment/
    %ИГ=https://www.instagram.com/roman.romachev/
    %ИГ=https://www.instagram.com/tov.nachoperot/
    %ИГ=https://www.instagram.com/alex.mitrofanov/
    %ИГ=https://www.instagram.com/yushchuk/

    Рубрика://Праздники/Масленица
    Масленица | Масленница | !блины*

    Рубрика://Праздники/День Рождения
    День /1 рождения | Днюха

    Рубрика://МВД/О полиции
    Полиция | Милиция | !мент*

    ^^WebSpider;


    Результат работы на тему "Масленица" представлен на ссылке.
    В качестве одного из Правил попадания информации в Рубрику использовано: Масленница, на случай написания этого слова с грамматической ошибкой.


    Дополнительная информация.
    Если у Вас Internet Explorer 9 (IE 9), то обновите его до IE 11 из самого IE следующим образом: "Справка - Техническая поддержка - ...".

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

    Поиск новых Сайтов и Доменов 3-го уровня


    Список Ссылки новые уже сушествует давно.
    Он содержит только новые уникальные ссылки, которые не встречались ещё ни разу ни в одном из предыдущих выполнений Проекта (впервые найденные ссылки).

    Теперь к нему добавлены ещё два списка.

    Сайты новые (Домены 2-го уровня новые)

    Список "Сайты новые" содержит только впервые найденные сайты, то есть, те сайты, ссылки с которых ещё ни разу не были найдены ни в одном из предыдущих выполнений Проекта (Пакета запросов).

    Удобно, например, тогда, когда ищутся сайты, посвященные какой-то теме - Пользователю не придется повторно просматривать ранее найденные сайты.



    Домены 3-го уровня новые

    Список "Домены 3-го уровня новые" содержит только впервые найденные Домены 3-го уровня.

    Удобно, например, тогда, когда нужные темы находятся на таких cайтах как livejournal.com.


    Доступно, начиная с Site Sputnik версии 9.4.4 от 21.09.2017 г.


Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

    Сохранение в формате PDF, DOCX, RTF, TXT, MHT, HTM.



    Практически любой файл (Рубрику, Чистый поток, Объединение, Ссылки новые, ...) можно сохранить как документ в форматах, указанных в заголовке топика.

    Обращение: "Главное меню - Файлы - Сохранить как документ ..." (показано на картинке) или про нажатию правой кнопки мышки на нижней Табличке.

    Доступно, начиная с SiteSputnik 9.5.6 от 30.01.2018 г.

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

    Работа со списками "Сайты новые" и "Домены 3-го уровня новые"


    В топике № 88 из этой темы (см. на два топика выше) сообщалось о создании списков "Сайты новые" (Домены 2-го уровня новые) и "Домены 3-го уровня новые", в которые попадают невстретившиеся (ненайденные) ранее ни разу при выполнении Проекта адреса Сайтов и Доменов 3-го уровня.

    Для удобства работы с этими списками сделаны следующее две функции.


    1. Вручную отправить на Рубрикацию (на модуль +News) ссылки из списков

    На картинке ниже красная и зеленая стрелочки показывают пункты меню, выбрав которые можно применить данную функцию:





    2. Прописать в Проекте работу с Сайтами новыми и Доменами 3-го уровня новыми

    Чтобы не запоминать и не набирать на клавиатуре соответствующий оператор, его можно выбрать так, как показано на картинке ниже:



    Если операторы: ^^Сайты новые; или ^^Домены 3-го уровня новые; применены в теле Проекта, то Рубрикация будет выполнена для ссылок их этих списков, то есть для главных страниц сайтов и доменов 3-го уровня, а не для ссылок из списка "Ссылки новые".

    Допускается применение обоих операторов в одном Проекте.

    Поскольку, в общем случае, для главных страниц сайтов и доменов 3-го уровня выделение значимого контента программным образом не представляется возможным и целесообразным, их текстовый контент в новостную ленту помещается полностью, соответственно, и Рубрикация будет сделана по их полному текстовому содержанию.


    Доступно, начиная с SiteSputnik News версии 9.4.7.1 от 27.02.2018 г.


Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

    Доступно в SiteSputnik 9.5.7.3 от 12.03.2018:

    • В "Чистом потоке" (напомню, ЧП - это полнотекстовая новостная лента, в которую попадают контенты всех ссылок, собранных в Проекте) СайтСпутник отмечает галочкой контенты ссылок, которые попали хотя бы в одну Рубрику.

    Соотвественно, непопавшие ни в одну Рубрику ссылки галочкой не отмечаются.


    • Время Рубрикации - добавлено в "Статистика по Источникам текущая" для каждого Источника.


    • Время поиска и время Рубрикации - точность измерения до микросекунд, а не до секунд как было ранее, иначе на некоторых Источниках при исследовании может возникнуть большая погрешность.


Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

    Прописка Ящика (папки), в котором выполняется Проект


      1. Статическая прописка.


      Например, если в текcте (в теле) Проекта написано:

      ^^Internet\Поиск в Интернете\СоцСети\Твиттер\Выборы


      то Проект всегда будет выполняться в явно указанном Ящике (папке).

      При этом Ящик уже должен существовать.



      2. Динамическая прописка.


      Например, если в текcте (в теле) Проекта написано:

      Internet://Поиск в Интернете/Объекты/Юрлица


      то Проект всегда будет выполняться в явно указанном Ящике (папке).

      При этом, если Ящик не существует, то он создастся.



      3. Прописка по умолчанию (применяется только при вызове СайтСпутника из других программ).


      Например, если:
      - Ящик в теле Проекта явно не прописан,
      - и Вы вызываете СайтСпутник из другой программы: внешний Планировщик, bat-файл, любая другая программа,
      - и вызываемый Проект размещен в файле Новости\Города и регионы\Сочи,
      то Проект выполнится в следующем Ящике:

      Internet://Поиск в Интернете/Новости/Города и регионы/Сочи


      Соответственно, если Ящик не существует, то он создастся.


    Чтобы не запоминать рассмотренные выше операторы, воспользуйтесь меню для выбора статических и динамических Ящиков:



    Доступно, начиная с SiteSputnik 9.5.8.1 от 20.03.2018 г.

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

    Элементы мультимедиа в выдаче СайтСпутника

      Начиная с версии SiteSputnik 9.5.9 от 29.03.2018 г., элементы мультимедиа, встроенные в контенты ссылок и сниппетов, можно оставить в выдаче СайтСпутника: в Рубриках, в Чистых потоках, в списках "Ссылки новые", "Объединение" и некоторых других списках.

      Если предпочтительнее работать по-старому (без мультимедиа), то достаточно убрать галочку в: Настройка - Параметры - вкладка Общие - параметр "Сохранять адреса ссылок на изображения и другие мультимедиа" (см. картинку ниже):



Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

    Копии параметров, восстановление параметров, файлы с параметрами.




    • Кроме общей для всех Ящиков копии параметров, можно создать копию для конкретного Ящика и восстановиться из неё (см. по зеленой стрелочке).

    • Также можно создать копию параметров в файле (см. по красной стрелочке).

    • Можно вручную восстановиться из файла с параметрами,

    • но более важно, что можно прописать файл в Проекте, например, так:

      ^^Файл с параметрами\Параметры-05.cfg

    Это позволяет прописывать конкретные параметры в динамически создаваемых Проектах,
    а для статических быть уверенными, что Проект выполнится всегда с нужными параметрами, даже после сбоя.


    Чтобы не запоминать и не ошибиться в названии оператора и имени файла, можно воспользоваться меню (смотрите картинку ниже):



    с помощью которого выбрать оператор и имя файла в диалоге.


Доступно в версии SiteSputnik 9.6.4. от 05.01.2019г.


Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

    Вставка содержания файлов в тексты Проектов

    В последней версии 9.6.5 программы SiteSputnik:

    • можно в тексты Проектов делать вставки не только из текстовых файлов (*.txt), но и из файлов, подготовленные в приложениях:
    • - Excel (*.xls, *.xlsx) (красная стрелочка) и
    • - Word (*.doc, *.docx, *.rtf) (зеленая стрелочка);

    На картинке ниже показано меню, из которого осуществляются эти действия:




    • в одном Проекте могут быть использованы все указанные типы файлов;

    • в разные Проекты можно вставлять содержание одних и тех же файлов.

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
    О теге Text

    • Приписывается к сниппету и позволяет быстро на месте (прямо в окне браузера) просматривать полное тестовое содержание ссылок (для SiteSputnik Pro).

    • Отменить это действие можно в "Настройке" на вкладке "Pro".



    Новое в Переводчике

    • можно отменять перевод запроса, сниппета, ссылки, применив, соответственно, операторы:

    ^^Не переводить запросы
    ^^Не переводить сниппеты
    ^^Не переводить ссылки

    (не всегда нужны все три перевода, например, в SiteSputnik News переводить сниппеты, как правило, не обязательно)

    • можно явно прописать язык источника


    Доступно в версии SiteSputnik 9.6.7. от 12.03.2019г.


Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

    Выполнить все Проекты из выбранной папки

    В последней версии 9.7.3 программы SiteSputnik:

    можно выбрать папку, содержащую один или несколько Проектов, и по одному щелчку мышки:

    • выполнить Проекты из выбранной папки, не учитывая Проекты, размещённые во вложенных в неё папках (зеленая стрелочка),

    • выполнить Проекты из выбранной папки и всех вложенных в неё папок на полную глубину вложенности (коричневая стрелочка).

    На картинке ниже показано меню, из которого осуществляются эти действия:



    Важное замечание:

    • используйте в тексте Проектов Статическую или Динамическую прописку Ящиков, если хотите, чтобы проекты выполнились не в текущем, а в заданном Вами Ящике;

    • описание этого оператора см. выше в данной теме на ссылке Прописка Ящика (папки), в котором выполняется Проект.

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
    Работа с документами очень большого размера


    Иногда СайтСпутник формирует документы такого большого размера, что даже браузеры открывают их в течение нескольких минут.

    В этой связи, начиная с SiteSputnik версии 9.7.4.2 от 14.08.2019 г.,

    доступны следующие две возможности:


    • автоматически под большими документами создается строка "Открыть браузером" (см. картинку),

       позволяющая, не "нагружая" СайтСпутник, открыть документ внешним браузером

       или открыть папку, в которой расположен документ.




    • можно в "Настройках" на вкладке "Общие" в параметре "Оптимизировать работу с очень большими документами"

       прописать разбивку документа на две части: начальную и "Читать далее",

       это тоже позволяет снять часть "нагрузки" на СайтСпутник.



tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 803
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009
Как вариант, можно ли было разбивать большой документ на страницы? Внизу каждой страницы сделать кнопки "Предыдущая" и "Следующая"?
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
Думаю, что - да.
Это более гибкий вариант, чем "Читать далее".
Возможно, что даже вместо него.

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

    Прокси-серверы: применение при работе с Источниками

    Основная особенность реализации:

    • Пользователь подготавливает список хороших Прокси и следит за актуальность его элементов.

    • Автоматическая смена Прокси происходит после неудачного открытия ссылки, например, капчи.

    • Отработавший (сменяемый) Прокси перемещается в конец списка.

    • Если он открыл хотя бы одну ссылку, то к нему справа (в комментариях) приписывается 1,иначе 0.

    Список прокси находится в "Настройках" на вкладке "Интернет".

    Подробности на ссылке: Применение Прокси-серверов.

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

    Получения конкурентных преимуществ на рынке недвижимости
    (независимое Приложение на базе программы "Сайт Спутник")


    На базе программы Site Sputnik разработано независимое Приложение, при помощи которого

    можно:

    • Автоматически из открытых источников интернета сформировать полный список продаваемой Вашей фирмой недвижимости, например, вторичного жилья.

    • Для каждого элемента из этого списка (для каждой продаваемой Вами квартиры) сформировать:

    а) списки объявлений по продаже фирмами-конкурентами этой же квартиры по более низкой цене, чем Ваша цена.

    б) рейтинг объявлений - это место, на котором потенциальный Покупатель видит Ваше объявление при поиске подходящей ему квартиры.


    Подробности - на ссылке.

    При создании Приложения использовались Боты СайтСпутника.

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

    Ускоренное скачивание ссылок




    Если установить в "Настройках" галочку (см. по красной стрелочке), то СайтСпутнику для скачивания ссылок

    разрешено использование нескольких экземпляров Менеджера скачивания ссылок.

    Один экземпляр в настоящее время эффективно справляется с одновременным (параллельным) скачиванием до 50 ссылок.

    Соответственно, если готово к скачиванию большее количество ссылок, то запускается очередной экземпляр Менеджера,

    независящий от работающих экземпляров. Запуск - сразу по факту готовности ссылок.

    Доступно, начиная с SiteSputnik версии 9.8.4.

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

    Упрощённый режим обработки информации

    Доступно в SiteSputnik версии 9.8.10 и выше.



    Если установить галочку по зеленой стрелочке, то Сайт Спутник выполнит только самые необходимые действия:

    найдет "Ссылки новые" и сформирует "Рубрики".


    В этом случае такие результаты работы как:

    "Статистики по Источникам", "Ссылки открытые", "Все сниппеты", "Заголовки", "Статистики по Рубрикам", улучшенный вид выдачи, ... не создаются.

    Это экономит время и другие ресурсы. Бывает полезно на больших проектах.


Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

    Выполнить все Проекты из текущего Ящика

    В последней версии 9.9.4.30 программы SiteSputnik

    можно выбрать Ящик, содержащий несколько вложенных Ящиков, и по одному щелчку мышки:

    • выполнить Проекты из выбранного Ящика, и всех вложенных в него Ящиков на полную глубину вложенности (зеленая стрелочка),

    • выполнить Проекты из выбранного Ящика, и вложенных в него только дочерних Ящиков (коричневая стрелочка).

    На картинке ниже показано меню, из которого осуществляются эти действия:




    • если в Ящике прописан Главный проект, то выполняется именно он,

    • иначе Проект, прописанный в первой строке Ящика.

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

    Дополнительный список из новых функций и настроек

    • Он размещен на ссылке Дополнительный список.

    • В этот список будут попадать различные функции и настройки, которые не вошли ни в одну отдельную публикацию или сообщение на форуме.


  Вперед>>Страницы: 1 2 3 4 5 6 7 8 9 10 11
Печать
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Разработчик СайтСпутник, документация, где скачать »   Мелочи
RSS

Последние RSS
Учебник по конкурентной разведке
Конкурентная разведка: маркетинг рисков и возможностей
Книга "История частной разведки США"
Книга "Нетворкинг для разведчиков"
Поиск и сбор информации в интернете в программе СайтСпутник
Новые видеоуроки по программе СайтСпутник для начинающих
Технологическая разведка
SiteSputnik. Мониторинг Телеграм
СайтСпутник: возврат к ранее установленной версии
SiteSputnik. Доступ к результатам работы из браузера
Анализ URL
ВС разрешил пропускать работу без разрешения работодателя
Браузер для анонимной работы
Топливно-энергетический комплекс
Профессиональные сообщества СБ
Несколько Проектов в одном, выполнение Проектов по частям
SiteSputnik-Bot: Боты в программе СайтСпутник
К вопросу о телеграм
SiteSputnik: Автозамены до и после Рубрикации или Перевода
Демо-доступ к ИАС социальных сетей

Самые активные 20 тем RSS