Форум Сообщества Практиков Конкурентной разведки (СПКР) » Предложения по программе для допроса Интернета СайтСпутник » Перерубрикация в +News |
<<Назад Вперед>> | Страницы: 1 2 | Печать |
petryashov
Администратор
Откуда: Москва Всего сообщений: 480 Рейтинг пользователя: 9 Ссылка Дата регистрации на форуме: 7 июня 2009 |
Алексей, в ходе практической работы с компонентом News столкнулся с двумя проблемами: : 1. в процессе мониторинга новостей тяжело сразу прописать все рубрики. При изучении скачанного материала может возникнуть необходимость выделить еще ряд рубрик; 2. в описании условий попадания материала в рубрику можно сделать ошибки, в результате чего информация не будет попадать в рубрику или же будет приходить много мусора. И в первом, и во втором случае можно внести необходимые изменения в Рубрики, но они будут действовать только для следующих сеансов. Весь ранее накопленный материал перерубрицирован не будет, что часто бывает необходимым. В этой связи просьба: можно ли сделать процедуру перерубрикации уже скачанного материала? |
tungus1973
Модератор форума
Откуда: г. Санкт-Петербург Всего сообщений: 795 Рейтинг пользователя: 11 Ссылка Дата регистрации на форуме: 3 июля 2009 |
Поддерживаю идею. |
Игорь Нежданов
Модератор форума
Прагматик Откуда: Советский Союз Всего сообщений: 1025 Рейтинг пользователя: 13 Ссылка Дата регистрации на форуме: 7 июня 2009 |
Давно настаиваю на необходимости такой опции. ---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ... Лаборатория Перспективных Разработок |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 877 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
petryashov написал: можно ли сделать процедуру перерубрикации уже скачанного материала? Технически - реально, понятно, что такая процедура полезна. Но на большой базе данных она будет идти долго, а на маленькой не очень то и нужна. Со временем сделаю. Сейчас можно, а может быть и нужно, делать так. Создали Рубрику и вложенные в неё Рубрики, прописали в пакете в операторе ^^Рубрики именно её, задали поиск погрубже по тем сценариям, которые необходимы, выполнили пакет и получили то, что хотели. Так, по-моему, проще, надежнее и гибче: можно учесть в запросах специфику Рубрики. Плюс уже сделал две опции (выложу в следующей версии), которые позволяют не сохранять условно отработанный материал, а именно: - удалять открытые ссылки после выделения из них контента Новостей и - оставлять в Рубриках только список "Всё по Рубрике" Это позволит раза в два-три экономить дисковое пространство. |
Vinni
Администратор
Всего сообщений: 2136 Рейтинг пользователя: 22 Ссылка Дата регистрации на форуме: 5 июня 2009 |
Alexei Mylnikov написал: Технически - реально, понятно, что такая процедура полезна. Хм. Вообще-то в Аваланче эта возможность давно уже присутствует И идет она там достаточно быстро... |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 877 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
Vinni написал: Вообще-то в Аваланче эта возможность давно уже присутствует Вы хотите сказать, что в нём хранятся все страницы (в исходном виде), которые он когда-либо проглядывал на предмет монторинга? |
tungus1973
Модератор форума
Откуда: г. Санкт-Петербург Всего сообщений: 795 Рейтинг пользователя: 11 Ссылка Дата регистрации на форуме: 3 июля 2009 |
Alexei Mylnikov написал: Плюс уже сделал две опции (выложу в следующей версии), которые позволяют не сохранять условно отработанный материал, а именно: Алексей Борисович, можно эти функции включать-выключать через настройки? В обычном режиме работы скачанные странички не нужны, а в режиме отладки пакетов, сценариев, рубрикации - не помешали бы. |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 877 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
Профиль | Игнорировать
NEW! Сообщение отправлено: 14 февраля 2011 9:02 Сообщение отредактировано: 14 февраля 2011 9:02 tungus1973 написал:
Да можно, я так и сделал. Их можно будет не сохранять или сохранять, а если не сохранил, то и перерубрицировать уже нельзя. Если же перерубрикацию делать относительно того, что хранится в Рубриках, то это будет не перерубрикация, а полуперерубрикация или четвертьперерубрикация, так как масса обрабатываемых ссылок может не попасть ни в одну из Рубрику. Важно, что SiteSputnik News спроектирован так, что полноценная перерубкация в нём возможна, и она будет сделана в недалеком будущем. |
Vinni
Администратор
Всего сообщений: 2136 Рейтинг пользователя: 22 Ссылка Дата регистрации на форуме: 5 июня 2009 |
Alexei Mylnikov написал: Вы хотите сказать, что в нём хранятся все страницы (в исходном виде), которые он когда-либо проглядывал на предмет монторинга? Угу. |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 877 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
В версии 6.5.4.2 от 14.02.11 можно прописать в настройках: - удалять открытые ссылки после выделения из них контента Новостей; - оставлять в Рубриках только список "Всё по Рубрике" При применении первой настройки перерубрикация в будущем не может быть выполнена - удаляются ссылки, которые должны быть перерубрицированы. Заполнить новые Рубрики можно будет только поиском на большую глубину. |
tungus1973
Модератор форума
Откуда: г. Санкт-Петербург Всего сообщений: 795 Рейтинг пользователя: 11 Ссылка Дата регистрации на форуме: 3 июля 2009 |
Спасибо! |
petryashov
Администратор
Откуда: Москва Всего сообщений: 480 Рейтинг пользователя: 9 Ссылка Дата регистрации на форуме: 7 июня 2009 |
У меня работа с программой скоро в тупик зайдет- в процессе изучения вопросов постоянно появляются новые рубрики, и мне надо, чтобы уже найденный материал смог в них попасть. Перерубрикация нужна позарез просто! |
tungus1973
Модератор форума
Откуда: г. Санкт-Петербург Всего сообщений: 795 Рейтинг пользователя: 11 Ссылка Дата регистрации на форуме: 3 июля 2009 |
Для: petryashov см. forum.razved.info/index.php?t=1695&p=19019#pp19019 и forum.razved.info/index.php?t=1695&p=18674#pp18674 |
petryashov
Администратор
Откуда: Москва Всего сообщений: 480 Рейтинг пользователя: 9 Ссылка Дата регистрации на форуме: 7 июня 2009 |
Профиль | Игнорировать
NEW! Сообщение отправлено: 12 апреля 2011 12:34 Сообщение отредактировано: 12 апреля 2011 12:35
tungus1973 Увы, не вариант- ЯД у нас не входит в число разрешенных программ из-за опасений в возможной утечке данных. Поэтому вопрос с перерубрикацией остается в силе. |
tungus1973
Модератор форума
Откуда: г. Санкт-Петербург Всего сообщений: 795 Рейтинг пользователя: 11 Ссылка Дата регистрации на форуме: 3 июля 2009 |
petryashov написал: А "Архивариус 3000"? В нем можно сделать то же самое через веб-доступ. ЯД у нас не входит в число разрешенных программ |
petryashov
Администратор
Откуда: Москва Всего сообщений: 480 Рейтинг пользователя: 9 Ссылка Дата регистрации на форуме: 7 июня 2009 |
tungus1973 написал: А "Архивариус 3000"? В нем можно сделать то же самое через веб-доступ. Спасибо, посмотрю. Но в любом случае, это надо рассматривать как временное решение- ИМХО, перерубрикацию очень нужно видеть в самом СайтСпутнике |
CI-KP
Администратор
Откуда: Екатеринбург Всего сообщений: 5565 Рейтинг пользователя: 24 Ссылка Дата регистрации на форуме: 15 мая 2009 |
petryashov написал: ЯД у нас не входит в число разрешенных программ из-за опасений в возможной утечке данных А нельзя ему запретить выходить в Сеть вообще? Это не решение вопроса? ---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь. |
petryashov
Администратор
Откуда: Москва Всего сообщений: 480 Рейтинг пользователя: 9 Ссылка Дата регистрации на форуме: 7 июня 2009 |
CI-KP написал: А нельзя ему запретить выходить в Сеть вообще? Это не решение вопроса? Можно, но как и в случае с Архивариусом, это временная мера. Этот функционал, ИМХО, нужен в SiteSputnikе, а натравливать на собранные программой файлы другие программы резко усложнить эксплуатацию системы мониторинга, а значит, снизить потребительские свойства программы |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 877 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
petryashov написал: Можно, но как и в случае с Архивариусом, это временная мера. Этот функционал, ИМХО, нужен в SiteSputnik В версии 7.1.4 от 19.04.11 появилась перерубрикация. Она выполняется следующим образом. 1. Становитесь на ту Рубрику, для которой собираетесь сделать перерубрикацию. Перерубрикация будет сделана и для всех Рубрик, вложенных в выбранную. 2. На правой кнопке мышки в меню выбираете пункт "Перерубрикация - Ссылки открытые - По одной строке Ящика" или "По всем строкам Ящика". 3. Выбираете в режиме диалога тот Ящик в "Ссылках открытых", из которого будет браться исходный материал - ссылки, проверяемые на предмет их попадания в Рубрику. Если был выбран пункт "По одной строке Ящика", то перерубрикация произойдет только для ссылок из нижней Таблицы, подчиненных выбранной строке из верхней Таблицы. Это удобно при перерубрикации для конкретного выполнения конкретного новостного пакета. Если был выбран пункт "По всем строкам Ящика", то перерубрикация произойдет для всех ссылок, сохраненных в Ящике. Скоро сделаю перерубрикацию "По всем вложенным Ящикам". Планируется также реализовать перерубрикацию не только из "Ссылок открытых", но и из произвольных внешних папок . При перерубрикации происходит удаление дублей ссылок с одинаковым контентом, если соответствующая опция установлена в "Настройках". В данном случае такая функция просто необходима. |
petryashov
Администратор
Откуда: Москва Всего сообщений: 480 Рейтинг пользователя: 9 Ссылка Дата регистрации на форуме: 7 июня 2009 |
Профиль | Игнорировать
NEW! Сообщение отправлено: 19 апреля 2011 10:57 Сообщение отредактировано: 12 января 2013 18:41
Alexei Mylnikov Отлично, спасибо! |
<<Назад Вперед>> | Страницы: 1 2 | Печать |
Форум Сообщества Практиков Конкурентной разведки (СПКР) » Предложения по программе для допроса Интернета СайтСпутник » Перерубрикация в +News |
Самые активные 20 тем | |
В связи с полной реализацией запрашиваемого функционала тема закрыта для добавления сообщений