Версия для печати

-   Форум Сообщества Практиков Конкурентной разведки (СПКР) http://forum.razved.info/
--  Предложения по программе для допроса Интернета СайтСпутник http://forum.razved.info//index.php?f=40
--- Перерубрикация в +News http://forum.razved.info//index.php?t=1580




-- petryashov написал 13 февраля 2011 19:14
Алексей, в ходе практической работы с компонентом News столкнулся с двумя проблемами: :
1. в процессе мониторинга новостей тяжело сразу прописать все рубрики. При изучении скачанного материала может возникнуть необходимость выделить еще ряд рубрик;
2. в описании условий попадания материала в рубрику можно сделать ошибки, в результате чего информация не будет попадать в рубрику или же будет приходить много мусора.

И в первом, и во втором случае можно внести необходимые изменения в Рубрики, но они будут действовать только для следующих сеансов. Весь ранее накопленный материал перерубрицирован не будет, что часто бывает необходимым.

В этой связи просьба: можно ли сделать процедуру перерубрикации уже скачанного материала?


-- tungus1973 написал 13 февраля 2011 19:58
Поддерживаю идею.


-- Игорь Нежданов написал 13 февраля 2011 21:33
Давно настаиваю на необходимости такой опции.


-- Алексей Мыльников написал 13 февраля 2011 22:02

petryashov написал:
[q]
можно ли сделать процедуру перерубрикации уже скачанного материала?
[/q]

Технически - реально, понятно, что такая процедура полезна.

Но на большой базе данных она будет идти долго, а на маленькой не очень то и нужна.
Со временем сделаю.

Сейчас можно, а может быть и нужно, делать так.
Создали Рубрику и вложенные в неё Рубрики,
прописали в пакете в операторе ^^Рубрики именно её, задали поиск погрубже по тем сценариям, которые необходимы, выполнили пакет и получили то, что хотели.

Так, по-моему, проще, надежнее и гибче: можно учесть в запросах специфику Рубрики.
Плюс уже сделал две опции (выложу в следующей версии), которые позволяют не сохранять условно отработанный материал, а именно:
- удалять открытые ссылки после выделения из них контента Новостей и
- оставлять в Рубриках только список "Всё по Рубрике"
Это позволит раза в два-три экономить дисковое пространство.


-- Vinni написал 14 февраля 2011 0:22

Alexei Mylnikov написал:
[q]
Технически - реально, понятно, что такая процедура полезна.
Но на большой базе данных она будет идти долго, а на маленькой не очень то и нужна.
Со временем сделаю.
[/q]


Хм. Вообще-то в Аваланче эта возможность давно уже присутствует :wink:
И идет она там достаточно быстро...




-- Алексей Мыльников написал 14 февраля 2011 6:52

Vinni написал:
[q]
Вообще-то в Аваланче эта возможность давно уже присутствует
[/q]

Вы хотите сказать, что в нём хранятся все страницы (в исходном виде), которые он когда-либо проглядывал на предмет монторинга?


-- tungus1973 написал 14 февраля 2011 8:12

Alexei Mylnikov написал:
[q]
Плюс уже сделал две опции (выложу в следующей версии), которые позволяют не сохранять условно отработанный материал, а именно:
- удалять открытые ссылки после выделения из них контента Новостей и
- оставлять в Рубриках только список "Всё по Рубрике"
[/q]

Алексей Борисович, можно эти функции включать-выключать через настройки? В обычном режиме работы скачанные странички не нужны, а в режиме отладки пакетов, сценариев, рубрикации - не помешали бы.


-- Алексей Мыльников написал 14 февраля 2011 9:02

tungus1973 написал:
[q]

Alexei Mylnikov написал:
[q]
Плюс уже сделал две опции (выложу в следующей версии), которые позволяют не сохранять условно отработанный материал, а именно:
- удалять открытые ссылки после выделения из них контента Новостей и
- оставлять в Рубриках только список "Всё по Рубрике"
[/q]

Алексей Борисович, можно эти функции включать-выключать через настройки? В обычном режиме работы скачанные странички не нужны, а в режиме отладки пакетов, сценариев, рубрикации - не помешали бы.
[/q]

Да можно, я так и сделал.
Их можно будет не сохранять или сохранять, а если не сохранил, то и перерубрицировать уже нельзя.
Если же перерубрикацию делать относительно того, что хранится в Рубриках, то это будет не перерубрикация, а полуперерубрикация или четвертьперерубрикация, так как масса обрабатываемых ссылок может не попасть ни в одну из Рубрику.

Важно, что SiteSputnik News спроектирован так, что полноценная перерубкация в нём возможна, и она будет сделана в недалеком будущем.


-- Vinni написал 14 февраля 2011 10:13

Alexei Mylnikov написал:
[q]
Вы хотите сказать, что в нём хранятся все страницы (в исходном виде), которые он когда-либо проглядывал на предмет монторинга?
[/q]


Угу.


-- Алексей Мыльников написал 14 февраля 2011 14:03
В версии 6.5.4.2 от 14.02.11 можно прописать в настройках:
- удалять открытые ссылки после выделения из них контента Новостей;
- оставлять в Рубриках только список "Всё по Рубрике"

При применении первой настройки перерубрикация в будущем не может быть выполнена - удаляются ссылки, которые должны быть перерубрицированы. Заполнить новые Рубрики можно будет только поиском на большую глубину.


-- tungus1973 написал 14 февраля 2011 14:40
Спасибо! :hi:


-- petryashov написал 8 апреля 2011 16:46
У меня работа с программой скоро в тупик зайдет- в процессе изучения вопросов постоянно появляются новые рубрики, и мне надо, чтобы уже найденный материал смог в них попасть. Перерубрикация нужна позарез просто!


-- tungus1973 написал 8 апреля 2011 17:16
Для: petryashov
см. forum.razved.info/index.php?t=1695&p=19019#pp19019 и forum.razved.info/index.php?t=1695&p=18674#pp18674


-- petryashov написал 12 апреля 2011 12:34
tungus1973
Увы, не вариант- ЯД у нас не входит в число разрешенных программ из-за опасений в возможной утечке данных. Поэтому вопрос с перерубрикацией остается в силе.


-- tungus1973 написал 12 апреля 2011 14:02

petryashov написал:
[q]
ЯД у нас не входит в число разрешенных программ
[/q]
А "Архивариус 3000"? В нем можно сделать то же самое через веб-доступ.



-- petryashov написал 12 апреля 2011 14:31

tungus1973 написал:
[q]
А "Архивариус 3000"? В нем можно сделать то же самое через веб-доступ.
[/q]

Спасибо, посмотрю.

Но в любом случае, это надо рассматривать как временное решение- ИМХО, перерубрикацию очень нужно видеть в самом СайтСпутнике



-- CI-KP написал 12 апреля 2011 14:58

petryashov написал:
[q]
ЯД у нас не входит в число разрешенных программ из-за опасений в возможной утечке данных
[/q]

А нельзя ему запретить выходить в Сеть вообще? Это не решение вопроса?


-- petryashov написал 12 апреля 2011 15:46

CI-KP написал:
[q]
А нельзя ему запретить выходить в Сеть вообще? Это не решение вопроса?
[/q]

Можно, но как и в случае с Архивариусом, это временная мера. Этот функционал, ИМХО, нужен в SiteSputnikе, а натравливать на собранные программой файлы другие программы резко усложнить эксплуатацию системы мониторинга, а значит, снизить потребительские свойства программы



-- Алексей Мыльников написал 19 апреля 2011 10:43

petryashov написал:
[q]
Можно, но как и в случае с Архивариусом, это временная мера. Этот функционал, ИМХО, нужен в SiteSputnik
[/q]


В версии 7.1.4 от 19.04.11 появилась перерубрикация.

Она выполняется следующим образом.

1. Становитесь на ту Рубрику, для которой собираетесь сделать перерубрикацию. Перерубрикация будет сделана и для всех Рубрик, вложенных в выбранную.

2. На правой кнопке мышки в меню выбираете пункт "Перерубрикация - Ссылки открытые - По одной строке Ящика" или "По всем строкам Ящика".

3. Выбираете в режиме диалога тот Ящик в "Ссылках открытых", из которого будет браться исходный материал - ссылки, проверяемые на предмет их попадания в Рубрику.

Если был выбран пункт "По одной строке Ящика", то перерубрикация произойдет только для ссылок из нижней Таблицы, подчиненных выбранной строке из верхней Таблицы. Это удобно при перерубрикации для конкретного выполнения конкретного новостного пакета.

Если был выбран пункт "По всем строкам Ящика", то перерубрикация произойдет для всех ссылок, сохраненных в Ящике.

Скоро сделаю перерубрикацию "По всем вложенным Ящикам".
Планируется также реализовать перерубрикацию не только из "Ссылок открытых", но и из произвольных внешних папок .

При перерубрикации происходит удаление дублей ссылок с одинаковым контентом, если соответствующая опция установлена в "Настройках". В данном случае такая функция просто необходима.


-- petryashov написал 19 апреля 2011 10:57
Alexei Mylnikov
Отлично, спасибо!


Этот форум работает на скрипте Intellect Board
© 2004-2007, 4X_Pro, Объединенный Открытый Проект