Форум Сообщества Практиков Конкурентной разведки (СПКР) » Разработчик СайтСпутник, документация, где скачать » Мелочи |
![]() |
Вперед>> | Страницы: 1 2 3 * 4 5 6 7 8 9 10 11 | Печать |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 875 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
SiteSputnik GetURL (SSGetURL)- многопоточный менеджер скачивания ссылок появился в версии 8.2.1 от 16.10.12. Для его применения в SiteSputnik News в "Настройки - Параметры - Вкладка News" в параметре "Применять менеджер скачивания ссылок" следует установить галочку. SSGetURL специально ориентирован на скачивание большого количества мелких и средних ссылок и файлов (размером от 1 до 500 кб). В подавляющем большинстве ссылки из новостных потоков, создаваемых и анализируемых в SiteSputnik News, попадают в этот диапазон. SSGetURL имеет смысл применять, когда надо скачать от 40-50 до сотен и тысяч таких ссылок. Применяется многопоточность. Далее, не относящаяся к самой программе SiteSputnik информация. В принципе, SSGetURL - это практически готовое ядро отдельной программы для скачивания множества мелких и средних по размеру ссылок "откуда нужно" и сохранение их "где нужно". Если реализовать настройки, то можно в будущем оформить её как отдельную программу. На входе SSGetURL принимает файл, условный вид которого: {ссылка 1, Путь 1\имя файла 1} {ссылка 2, Путь 2\имя файла 2} ... {ссылка N, Путь N\имя файла N} SSGetURL скачает все ссылки и разложит их в файлы. Если каких-то путей или папок не существует, то они будут созданы. Это пригодится в перспективе. |
Игорь Нежданов
Модератор форума
Прагматик Откуда: Советский Союз Всего сообщений: 1025 Рейтинг пользователя: 13 Ссылка Дата регистрации на форуме: 7 июня 2009 |
Вот это "мелочью" как то язык не поворачивается назвать. Скорость работы программы на моих объемах возросла в два раза. ---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ... Лаборатория Перспективных Разработок |
tungus1973
Модератор форума
Откуда: г. Санкт-Петербург Всего сообщений: 795 Рейтинг пользователя: 11 Ссылка Дата регистрации на форуме: 3 июля 2009 |
Профиль | Игнорировать
NEW! Сообщение отправлено: 16 октября 2012 16:36 Сообщение отредактировано: 16 октября 2012 16:40 Алексей Мыльников написал: Отличная функция! СайтСпутник с каждым днём работает всё быстрее и быстрее SSGetURL специально ориентирован на скачивание большого количества мелких и средних ссылок и файлов (размером от 1 до 500 кб). ![]() Возможно, эту функцию стоит применять с осторожностью с версией Invisible. Подавляющее большинство интернет-страниц не проходили валидацию и содержат ошибки. Некоторые виды ошибок содержат некорректные ссылки, из-за чего роботы поисковиков "не видят" часть страниц сайта. В обычном режиме СайтСпутник работает через браузер Internet Explorer, который автоматически исправляет многие виды ошибок, выдаёт корректный код страницы и содержит правильные ссылки. Если страница содержит ошибку в ссылке на другие страницы, то использование функции SSGetURL в версии Invisible может привести к тому, что СайтСпутник не увидит какие-то ссылки и не найдёт часть страниц. P.S. Возможно я ошибаюсь, но лишь потому, что не знаю, как СайтСпутник устроен "внутри". К примеру, автор Offline Explorer специально встраивал в программу валидатор для исправления некоторых видов подобных ошибок. Таким образом, его программа стала вытаскивать с веб-страницы большее количество ссылок, чем пауки поисковиков. |
petryashov
Администратор
Откуда: Москва Всего сообщений: 480 Рейтинг пользователя: 9 Ссылка Дата регистрации на форуме: 7 июня 2009 |
Да, скорость программы возросла. Раньше она работала часов 6, после перехода на новый интерфейс стала работать 3 часа, а сейчас за 1 час все собирается. Отлично! |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 875 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
Профиль | Игнорировать
NEW! Сообщение отправлено: 27 декабря 2012 12:20 Сообщение отредактировано: 27 декабря 2012 12:22
Начал приводить (изменять, приближать) интерфейс программы SiteSputnik к реализованным за последнее время функциональным возможностям. В Версии 8.2.3 от 27.12.2012 по развитию интерфейса сделал следующее. 1. Добавил вкладку "Рубрики" на нижней панели инструментов. У кого SiteSputnik News рекомендую сделать эту вкладку видимой. Для этого в "Настройки - Параметры - вкладка Вид" внизу под иконкой "Рубрики" поставьте галочку. Заодно уберите самую нижнюю галочку - сделайте нижние иконки крупнее (это просто для красоты). 2. Переименовал вкладки на нижней панели. Теперь они называются "Проекты", "Загрузки", "Сценарии", "Рубрики"... ![]() 3. Новые вкладки как бы связаны в цепочку, а именно, выбрав Проект и переключаясь на вкладки Загрузки, Рубрики... Пользователь попадает в Загрузки (Ссылки открытые) и Рубрики, задействованные (используемые) в выбранном Проекте. При закрытии программы запоминается в каком Проекте находился Пользователь. Соответственно, при открытии программы открывается последний Проект. Сценарии не стал привязывать к Проекту: они, как правило, "интернациональные", хотя не всегда. 4. Пока не на 100% доделал привязку к Проекту некоторых кнопок, менюшек, настроек, но "подрихтую" эту привязку в ближайшее время. |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 875 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
Профиль | Игнорировать
NEW! Сообщение отправлено: 15 января 2013 14:22 Сообщение отредактировано: 28 ноября 2018 9:28
В версии 8.2.4 от 15.01.2013 в Настройках на вкладке "Дополнительно" параметр "Оформление Папок" можно каждой Клиентской папке (локальная папка, е-майл адрес или папка сайта) прописать свой заголовок и свою текст, следующий в конце новостных потоков, попадающих в Клиентскую папку. Они пищутся на языке HTML. Если Вы нажмете на кнопку "Оформление папок", то увидите теги: <name></name> - внутри них помещается имя Клиентской папки <first></first> - здесь заголовок потоков на языке HTML, попадающих в эти папки, <last></last> - здесь текст, который выведется в конце потока, <function></function> Таким образом, для каждой Клиентской папки можно прописать свои заголовки и сообщения, следующие в конце потока. Выполнено по предложению участника форума с ником "permdetekti". |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 875 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
В SiteSputnik News доступен Пост-запрос, который определяется в "Настройки - Параметры - вкдадка WedSpider". В поле "Применить Пост-запрос" вводятся Правила попадания в Рубрику, в поле "Включить экспорт в Клиентские папки и адреса", при необходимости, - имена Клиентских папок: локальные папки, е-майлы или папки сайта. Назначение этих полей - такое же, как и в Рубриках. Достаточно удобно для мелких или личных потребностей, для отладки и эксперимента с правилами попадания в Рубики и Клиентскими папками. И ещё одно замечание Равно как Пост-запрос доступен в +News, так и любые Рубрики доступны в +WebSpider, то есть, контент обновлений страниц может быть "отфильтрован" на иерархической структуре Рубрик, приготовленных для +News. |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 875 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
![]() В процессе работы с программой SiteSputnik в Дереве достаточно часто появляются ветки, которые уже не нужны. В последней версии СайтСпутника можно оставить открытой только текущий узел дерева - пункт "Свернуть частично". "Свернуть полностью" - полное сворачивание дерева. "Развернуть полностью" - полное раскрытие дерева. "Развернуть частично" - раскрытие только текущей ветки: полностью, до последнего листа. Удобно, когда деревья вырастут большими. |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 875 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
Профиль | Игнорировать
NEW! Сообщение отправлено: 24 марта 2013 22:56 Сообщение отредактировано: 27 июня 2013 1:45
В версии 8.4.2 от 24.03.13 реализованы следующие способы работы с капчей и авторизацией: - остановка, ввод, капчи, продолжение работы, - остановка, авторизация, продолжение работы. О капче. Она определяется автоматически. Если программа программа SiteSputnik ошибочно определяет капчу (на самом деле её на странице нет), то внесите inurl таких источников в окошко в "Настройках" (смотрите по синей стрелке на картинке ниже). Inurl Источников отделяются друг от друга знаком "точка с запятой". Например: criminalnews.ru/; roem.ru/search; Капча вводится прямо в окне встроенного браузера. Если важнее выполнить задание полностью, например, при "ночном дозоре", то уберите галочку, относящуюся к капче. Тогда СайтСпутник, "наткнувшись" на капчу, проигнорирует её и продолжит свою работу. Об авторизации. Inurl источников, требующих авторизацию, вводятся в окно, на которое указывает зеленая стрелка, например: facebook.com/#!/search; value="Войти" twitter.com; >sign in< twitter.com; >Войти</ vk.com/; >Войти</ Слева прописывается inurl, справа, после точки с запятой, - признак, по которому СайтСпутник считает, что нужно пройти авторизацию. В будущем, когда будет реализована автоматическая авторизация, правее будут прописываться логин и пароль. Определив необходимость авторизации, СайтСпутник откроет Internet Explorer и предложит авторизоваться в нём. Это равносильно авторизации в самом СайтСпутнике (начиная с версии 8.5.4.4 авторизация проводится в самом СайтСпутнике, для этого следует нажать кнопку "Авторизация" в Мастере и ввести логин/пароль во встроенном браузере). Аналогично капче, проверку на авторизацию можно отменить при помощи соответствующей галочки (зеленая стрелка). ![]() |
tungus1973
Модератор форума
Откуда: г. Санкт-Петербург Всего сообщений: 795 Рейтинг пользователя: 11 Ссылка Дата регистрации на форуме: 3 июля 2009 |
Профиль | Игнорировать
NEW! Сообщение отправлено: 25 марта 2013 8:02 Сообщение отредактировано: 25 марта 2013 8:04 Алексей Мыльников написал: Можно этот функционал сделать проще? После остановки программы покажите пользователю кнопку "На этой странице нет каптчи", нажав на которую, программа занесёт ссылку в список. При дальнейших проверках страниц из этого списка, можно выводить кнопку "На этой странице появилась каптча", нажав на которую, программа удалит ссылку из списка. Если программа программа SiteSputnik ошибочно определяет капчу (на самом деле её на странице нет), то внесите inurl таких источников в окошко в "Настройках" То же самое с авторизацией. |
Вперед>> | Страницы: 1 2 3 * 4 5 6 7 8 9 10 11 | Печать |
Форум Сообщества Практиков Конкурентной разведки (СПКР) » Разработчик СайтСпутник, документация, где скачать » Мелочи |
![]() |
Самые активные 20 тем |
![]() |