Перерубрикация в +News

Форум Сообщества Практиков Конкурентной разведки (СПКР)

Конкурентная разведка, Бизнес-разведка, Корпоративная разведка,
Деловая разведка по открытым источникам в бизнесе.
Работаем строго в рамках закона.

Дезинформация и активные мероприятия в бизнесе
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Предложения по программе для допроса Интернета СайтСпутник »   Перерубрикация в +News
RSS

Перерубрикация в +News

<<Назад  Вперед>>Страницы: 1 2
Печать
 
petryashov
Администратор

Откуда: Москва
Всего сообщений: 480
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009
Алексей, в ходе практической работы с компонентом News столкнулся с двумя проблемами: :
1. в процессе мониторинга новостей тяжело сразу прописать все рубрики. При изучении скачанного материала может возникнуть необходимость выделить еще ряд рубрик;
2. в описании условий попадания материала в рубрику можно сделать ошибки, в результате чего информация не будет попадать в рубрику или же будет приходить много мусора.

И в первом, и во втором случае можно внести необходимые изменения в Рубрики, но они будут действовать только для следующих сеансов. Весь ранее накопленный материал перерубрицирован не будет, что часто бывает необходимым.

В этой связи просьба: можно ли сделать процедуру перерубрикации уже скачанного материала?

tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 793
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009
Поддерживаю идею.
Игорь Нежданов
Модератор форума
Прагматик
Откуда: Советский Союз
Всего сообщений: 1025
Рейтинг пользователя: 13


Ссылка


Дата регистрации на форуме:
7 июня 2009
Давно настаиваю на необходимости такой опции.

---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

petryashov написал:
[q]
можно ли сделать процедуру перерубрикации уже скачанного материала?
[/q]

Технически - реально, понятно, что такая процедура полезна.

Но на большой базе данных она будет идти долго, а на маленькой не очень то и нужна.
Со временем сделаю.

Сейчас можно, а может быть и нужно, делать так.
Создали Рубрику и вложенные в неё Рубрики,
прописали в пакете в операторе ^^Рубрики именно её, задали поиск погрубже по тем сценариям, которые необходимы, выполнили пакет и получили то, что хотели.

Так, по-моему, проще, надежнее и гибче: можно учесть в запросах специфику Рубрики.
Плюс уже сделал две опции (выложу в следующей версии), которые позволяют не сохранять условно отработанный материал, а именно:
- удалять открытые ссылки после выделения из них контента Новостей и
- оставлять в Рубриках только список "Всё по Рубрике"
Это позволит раза в два-три экономить дисковое пространство.

Vinni
Администратор

Всего сообщений: 2136
Рейтинг пользователя: 22


Ссылка


Дата регистрации на форуме:
5 июня 2009

Alexei Mylnikov написал:
[q]
Технически - реально, понятно, что такая процедура полезна.
Но на большой базе данных она будет идти долго, а на маленькой не очень то и нужна.
Со временем сделаю.
[/q]


Хм. Вообще-то в Аваланче эта возможность давно уже присутствует :wink:
И идет она там достаточно быстро...

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

Vinni написал:
[q]
Вообще-то в Аваланче эта возможность давно уже присутствует
[/q]

Вы хотите сказать, что в нём хранятся все страницы (в исходном виде), которые он когда-либо проглядывал на предмет монторинга?

tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 793
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009

Alexei Mylnikov написал:
[q]
Плюс уже сделал две опции (выложу в следующей версии), которые позволяют не сохранять условно отработанный материал, а именно:
- удалять открытые ссылки после выделения из них контента Новостей и
- оставлять в Рубриках только список "Всё по Рубрике"
[/q]

Алексей Борисович, можно эти функции включать-выключать через настройки? В обычном режиме работы скачанные странички не нужны, а в режиме отладки пакетов, сценариев, рубрикации - не помешали бы.
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

tungus1973 написал:
[q]

Alexei Mylnikov написал:
[q]
Плюс уже сделал две опции (выложу в следующей версии), которые позволяют не сохранять условно отработанный материал, а именно:
- удалять открытые ссылки после выделения из них контента Новостей и
- оставлять в Рубриках только список "Всё по Рубрике"
[/q]

Алексей Борисович, можно эти функции включать-выключать через настройки? В обычном режиме работы скачанные странички не нужны, а в режиме отладки пакетов, сценариев, рубрикации - не помешали бы.
[/q]

Да можно, я так и сделал.
Их можно будет не сохранять или сохранять, а если не сохранил, то и перерубрицировать уже нельзя.
Если же перерубрикацию делать относительно того, что хранится в Рубриках, то это будет не перерубрикация, а полуперерубрикация или четвертьперерубрикация, так как масса обрабатываемых ссылок может не попасть ни в одну из Рубрику.

Важно, что SiteSputnik News спроектирован так, что полноценная перерубкация в нём возможна, и она будет сделана в недалеком будущем.

Vinni
Администратор

Всего сообщений: 2136
Рейтинг пользователя: 22


Ссылка


Дата регистрации на форуме:
5 июня 2009

Alexei Mylnikov написал:
[q]
Вы хотите сказать, что в нём хранятся все страницы (в исходном виде), которые он когда-либо проглядывал на предмет монторинга?
[/q]


Угу.
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
В версии 6.5.4.2 от 14.02.11 можно прописать в настройках:
- удалять открытые ссылки после выделения из них контента Новостей;
- оставлять в Рубриках только список "Всё по Рубрике"

При применении первой настройки перерубрикация в будущем не может быть выполнена - удаляются ссылки, которые должны быть перерубрицированы. Заполнить новые Рубрики можно будет только поиском на большую глубину.

tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 793
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009
Спасибо! :hi:
petryashov
Администратор

Откуда: Москва
Всего сообщений: 480
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009
У меня работа с программой скоро в тупик зайдет- в процессе изучения вопросов постоянно появляются новые рубрики, и мне надо, чтобы уже найденный материал смог в них попасть. Перерубрикация нужна позарез просто!

tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 793
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009
Для: petryashov
см. forum.razved.info/index.php?t=1695&p=19019#pp19019 и forum.razved.info/index.php?t=1695&p=18674#pp18674
petryashov
Администратор

Откуда: Москва
Всего сообщений: 480
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009
tungus1973
Увы, не вариант- ЯД у нас не входит в число разрешенных программ из-за опасений в возможной утечке данных. Поэтому вопрос с перерубрикацией остается в силе.

tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 793
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009

petryashov написал:
[q]
ЯД у нас не входит в число разрешенных программ
[/q]
А "Архивариус 3000"? В нем можно сделать то же самое через веб-доступ.
petryashov
Администратор

Откуда: Москва
Всего сообщений: 480
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009

tungus1973 написал:
[q]
А "Архивариус 3000"? В нем можно сделать то же самое через веб-доступ.
[/q]

Спасибо, посмотрю.

Но в любом случае, это надо рассматривать как временное решение- ИМХО, перерубрикацию очень нужно видеть в самом СайтСпутнике

CI-KP
Администратор

Откуда: Екатеринбург
Всего сообщений: 5565
Рейтинг пользователя: 24


Ссылка


Дата регистрации на форуме:
15 мая 2009

petryashov написал:
[q]
ЯД у нас не входит в число разрешенных программ из-за опасений в возможной утечке данных
[/q]

А нельзя ему запретить выходить в Сеть вообще? Это не решение вопроса?

---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru
Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь.
petryashov
Администратор

Откуда: Москва
Всего сообщений: 480
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009

CI-KP написал:
[q]
А нельзя ему запретить выходить в Сеть вообще? Это не решение вопроса?
[/q]

Можно, но как и в случае с Архивариусом, это временная мера. Этот функционал, ИМХО, нужен в SiteSputnikе, а натравливать на собранные программой файлы другие программы резко усложнить эксплуатацию системы мониторинга, а значит, снизить потребительские свойства программы

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

petryashov написал:
[q]
Можно, но как и в случае с Архивариусом, это временная мера. Этот функционал, ИМХО, нужен в SiteSputnik
[/q]


В версии 7.1.4 от 19.04.11 появилась перерубрикация.

Она выполняется следующим образом.

1. Становитесь на ту Рубрику, для которой собираетесь сделать перерубрикацию. Перерубрикация будет сделана и для всех Рубрик, вложенных в выбранную.

2. На правой кнопке мышки в меню выбираете пункт "Перерубрикация - Ссылки открытые - По одной строке Ящика" или "По всем строкам Ящика".

3. Выбираете в режиме диалога тот Ящик в "Ссылках открытых", из которого будет браться исходный материал - ссылки, проверяемые на предмет их попадания в Рубрику.

Если был выбран пункт "По одной строке Ящика", то перерубрикация произойдет только для ссылок из нижней Таблицы, подчиненных выбранной строке из верхней Таблицы. Это удобно при перерубрикации для конкретного выполнения конкретного новостного пакета.

Если был выбран пункт "По всем строкам Ящика", то перерубрикация произойдет для всех ссылок, сохраненных в Ящике.

Скоро сделаю перерубрикацию "По всем вложенным Ящикам".
Планируется также реализовать перерубрикацию не только из "Ссылок открытых", но и из произвольных внешних папок .

При перерубрикации происходит удаление дублей ссылок с одинаковым контентом, если соответствующая опция установлена в "Настройках". В данном случае такая функция просто необходима.

petryashov
Администратор

Откуда: Москва
Всего сообщений: 480
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009
Alexei Mylnikov
Отлично, спасибо!


Комментарий модератора:
В связи с полной реализацией запрашиваемого функционала тема закрыта для добавления сообщений


<<Назад  Вперед>>Страницы: 1 2
Печать
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Предложения по программе для допроса Интернета СайтСпутник »   Перерубрикация в +News
RSS

Последние RSS
Учебник по конкурентной разведке
Конкурентная разведка: маркетинг рисков и возможностей
Книга "История частной разведки США"
Книга "Нетворкинг для разведчиков"
Поиск и сбор информации в интернете в программе СайтСпутник
Новые видеоуроки по программе СайтСпутник для начинающих
Технологическая разведка
SiteSputnik. Мониторинг Телеграм
СайтСпутник: возврат к ранее установленной версии
SiteSputnik. Доступ к результатам работы из браузера
Анализ URL
Браузер для анонимной работы
Топливно-энергетический комплекс
Профессиональные сообщества СБ
Несколько Проектов в одном, выполнение Проектов по частям
SiteSputnik-Bot: Боты в программе СайтСпутник
К вопросу о телеграм
SiteSputnik: Автозамены до и после Рубрикации или Перевода
Демо-доступ к ИАС социальных сетей
Лог-файл в программе СайтСпутник

Самые активные 20 тем RSS