Форум Сообщества Практиков Конкурентной разведки (СПКР) » Разработчик СайтСпутник, документация, где скачать » Мелочи |
![]() |
Вперед>> | Страницы: 1 2 3 * 4 5 6 7 8 9 10 11 | Печать |
shturman
Новичок (писатель)
Всего сообщений: 6 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 7 авг. 2012 |
Спасибо! А кто обучает работе с программой? В соседней веточке прочитал про вэбобучение, только что то нет объявлений, что будет в ближайшее время. ---
Навигация - основа мореплавания |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 875 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
SiteSputnik GetURL (SSGetURL)- многопоточный менеджер скачивания ссылок появился в версии 8.2.1 от 16.10.12. Для его применения в SiteSputnik News в "Настройки - Параметры - Вкладка News" в параметре "Применять менеджер скачивания ссылок" следует установить галочку. SSGetURL специально ориентирован на скачивание большого количества мелких и средних ссылок и файлов (размером от 1 до 500 кб). В подавляющем большинстве ссылки из новостных потоков, создаваемых и анализируемых в SiteSputnik News, попадают в этот диапазон. SSGetURL имеет смысл применять, когда надо скачать от 40-50 до сотен и тысяч таких ссылок. Применяется многопоточность. Далее, не относящаяся к самой программе SiteSputnik информация. В принципе, SSGetURL - это практически готовое ядро отдельной программы для скачивания множества мелких и средних по размеру ссылок "откуда нужно" и сохранение их "где нужно". Если реализовать настройки, то можно в будущем оформить её как отдельную программу. На входе SSGetURL принимает файл, условный вид которого: {ссылка 1, Путь 1\имя файла 1} {ссылка 2, Путь 2\имя файла 2} ... {ссылка N, Путь N\имя файла N} SSGetURL скачает все ссылки и разложит их в файлы. Если каких-то путей или папок не существует, то они будут созданы. Это пригодится в перспективе. |
Игорь Нежданов
Модератор форума
Прагматик Откуда: Советский Союз Всего сообщений: 1025 Рейтинг пользователя: 13 Ссылка Дата регистрации на форуме: 7 июня 2009 |
Вот это "мелочью" как то язык не поворачивается назвать. Скорость работы программы на моих объемах возросла в два раза. ---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ... Лаборатория Перспективных Разработок |
tungus1973
Модератор форума
Откуда: г. Санкт-Петербург Всего сообщений: 795 Рейтинг пользователя: 11 Ссылка Дата регистрации на форуме: 3 июля 2009 |
Профиль | Игнорировать
NEW! Сообщение отправлено: 16 октября 2012 16:36 Сообщение отредактировано: 16 октября 2012 16:40 Алексей Мыльников написал: Отличная функция! СайтСпутник с каждым днём работает всё быстрее и быстрее SSGetURL специально ориентирован на скачивание большого количества мелких и средних ссылок и файлов (размером от 1 до 500 кб). ![]() Возможно, эту функцию стоит применять с осторожностью с версией Invisible. Подавляющее большинство интернет-страниц не проходили валидацию и содержат ошибки. Некоторые виды ошибок содержат некорректные ссылки, из-за чего роботы поисковиков "не видят" часть страниц сайта. В обычном режиме СайтСпутник работает через браузер Internet Explorer, который автоматически исправляет многие виды ошибок, выдаёт корректный код страницы и содержит правильные ссылки. Если страница содержит ошибку в ссылке на другие страницы, то использование функции SSGetURL в версии Invisible может привести к тому, что СайтСпутник не увидит какие-то ссылки и не найдёт часть страниц. P.S. Возможно я ошибаюсь, но лишь потому, что не знаю, как СайтСпутник устроен "внутри". К примеру, автор Offline Explorer специально встраивал в программу валидатор для исправления некоторых видов подобных ошибок. Таким образом, его программа стала вытаскивать с веб-страницы большее количество ссылок, чем пауки поисковиков. |
petryashov
Администратор
Откуда: Москва Всего сообщений: 480 Рейтинг пользователя: 9 Ссылка Дата регистрации на форуме: 7 июня 2009 |
Да, скорость программы возросла. Раньше она работала часов 6, после перехода на новый интерфейс стала работать 3 часа, а сейчас за 1 час все собирается. Отлично! |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 875 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
Профиль | Игнорировать
NEW! Сообщение отправлено: 27 декабря 2012 12:20 Сообщение отредактировано: 27 декабря 2012 12:22
Начал приводить (изменять, приближать) интерфейс программы SiteSputnik к реализованным за последнее время функциональным возможностям. В Версии 8.2.3 от 27.12.2012 по развитию интерфейса сделал следующее. 1. Добавил вкладку "Рубрики" на нижней панели инструментов. У кого SiteSputnik News рекомендую сделать эту вкладку видимой. Для этого в "Настройки - Параметры - вкладка Вид" внизу под иконкой "Рубрики" поставьте галочку. Заодно уберите самую нижнюю галочку - сделайте нижние иконки крупнее (это просто для красоты). 2. Переименовал вкладки на нижней панели. Теперь они называются "Проекты", "Загрузки", "Сценарии", "Рубрики"... ![]() 3. Новые вкладки как бы связаны в цепочку, а именно, выбрав Проект и переключаясь на вкладки Загрузки, Рубрики... Пользователь попадает в Загрузки (Ссылки открытые) и Рубрики, задействованные (используемые) в выбранном Проекте. При закрытии программы запоминается в каком Проекте находился Пользователь. Соответственно, при открытии программы открывается последний Проект. Сценарии не стал привязывать к Проекту: они, как правило, "интернациональные", хотя не всегда. 4. Пока не на 100% доделал привязку к Проекту некоторых кнопок, менюшек, настроек, но "подрихтую" эту привязку в ближайшее время. |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 875 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
Профиль | Игнорировать
NEW! Сообщение отправлено: 15 января 2013 14:22 Сообщение отредактировано: 28 ноября 2018 9:28
В версии 8.2.4 от 15.01.2013 в Настройках на вкладке "Дополнительно" параметр "Оформление Папок" можно каждой Клиентской папке (локальная папка, е-майл адрес или папка сайта) прописать свой заголовок и свою текст, следующий в конце новостных потоков, попадающих в Клиентскую папку. Они пищутся на языке HTML. Если Вы нажмете на кнопку "Оформление папок", то увидите теги: <name></name> - внутри них помещается имя Клиентской папки <first></first> - здесь заголовок потоков на языке HTML, попадающих в эти папки, <last></last> - здесь текст, который выведется в конце потока, <function></function> Таким образом, для каждой Клиентской папки можно прописать свои заголовки и сообщения, следующие в конце потока. Выполнено по предложению участника форума с ником "permdetekti". |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 875 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
В SiteSputnik News доступен Пост-запрос, который определяется в "Настройки - Параметры - вкдадка WedSpider". В поле "Применить Пост-запрос" вводятся Правила попадания в Рубрику, в поле "Включить экспорт в Клиентские папки и адреса", при необходимости, - имена Клиентских папок: локальные папки, е-майлы или папки сайта. Назначение этих полей - такое же, как и в Рубриках. Достаточно удобно для мелких или личных потребностей, для отладки и эксперимента с правилами попадания в Рубики и Клиентскими папками. И ещё одно замечание Равно как Пост-запрос доступен в +News, так и любые Рубрики доступны в +WebSpider, то есть, контент обновлений страниц может быть "отфильтрован" на иерархической структуре Рубрик, приготовленных для +News. |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 875 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
![]() В процессе работы с программой SiteSputnik в Дереве достаточно часто появляются ветки, которые уже не нужны. В последней версии СайтСпутника можно оставить открытой только текущий узел дерева - пункт "Свернуть частично". "Свернуть полностью" - полное сворачивание дерева. "Развернуть полностью" - полное раскрытие дерева. "Развернуть частично" - раскрытие только текущей ветки: полностью, до последнего листа. Удобно, когда деревья вырастут большими. |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 875 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
Профиль | Игнорировать
NEW! Сообщение отправлено: 24 марта 2013 22:56 Сообщение отредактировано: 27 июня 2013 1:45
В версии 8.4.2 от 24.03.13 реализованы следующие способы работы с капчей и авторизацией: - остановка, ввод, капчи, продолжение работы, - остановка, авторизация, продолжение работы. О капче. Она определяется автоматически. Если программа программа SiteSputnik ошибочно определяет капчу (на самом деле её на странице нет), то внесите inurl таких источников в окошко в "Настройках" (смотрите по синей стрелке на картинке ниже). Inurl Источников отделяются друг от друга знаком "точка с запятой". Например: criminalnews.ru/; roem.ru/search; Капча вводится прямо в окне встроенного браузера. Если важнее выполнить задание полностью, например, при "ночном дозоре", то уберите галочку, относящуюся к капче. Тогда СайтСпутник, "наткнувшись" на капчу, проигнорирует её и продолжит свою работу. Об авторизации. Inurl источников, требующих авторизацию, вводятся в окно, на которое указывает зеленая стрелка, например: facebook.com/#!/search; value="Войти" twitter.com; >sign in< twitter.com; >Войти</ vk.com/; >Войти</ Слева прописывается inurl, справа, после точки с запятой, - признак, по которому СайтСпутник считает, что нужно пройти авторизацию. В будущем, когда будет реализована автоматическая авторизация, правее будут прописываться логин и пароль. Определив необходимость авторизации, СайтСпутник откроет Internet Explorer и предложит авторизоваться в нём. Это равносильно авторизации в самом СайтСпутнике (начиная с версии 8.5.4.4 авторизация проводится в самом СайтСпутнике, для этого следует нажать кнопку "Авторизация" в Мастере и ввести логин/пароль во встроенном браузере). Аналогично капче, проверку на авторизацию можно отменить при помощи соответствующей галочки (зеленая стрелка). ![]() |
Вперед>> | Страницы: 1 2 3 * 4 5 6 7 8 9 10 11 | Печать |
Форум Сообщества Практиков Конкурентной разведки (СПКР) » Разработчик СайтСпутник, документация, где скачать » Мелочи |
![]() |
Самые активные 20 тем |
![]() |