Мониторинг региональных СМИ на примере Челябинской области

Форум Сообщества Практиков Конкурентной разведки (СПКР)

Конкурентная разведка, Бизнес-разведка, Корпоративная разведка,
Деловая разведка по открытым источникам в бизнесе.
Работаем строго в рамках закона.

Дезинформация и активные мероприятия в бизнесе
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Приемы работы с программой СайтСпутник (SiteSputnik) »   Мониторинг региональных СМИ на примере Челябинской области
RSS

Мониторинг региональных СМИ на примере Челябинской области

Пример применения программы SiteSputnik News

<<Назад  Вперед>>Страницы: 1 * 2
Печать
 
Квазиморда
Новичок

Всего сообщений: 4
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
16 июня 2009
В RSS потоках подключение идет через Мастер и правую кнопку.
Прописывается только начало пункта и следующая страница.
Затем уже фильтр рубрики выбирает по ключевым словам признак нужной информации.

Алексей, сорри что влез.

Я делал мониторинг ЖЖ политбомонда прям отдельным сценарием т.к. их уже много таких кто в "тренде", а поскольку фильтр контента не часто распространенный (конкретные интересующие ФИО, места и события) мусора валится в рубрики не так уж и много.
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 841
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

Квазиморда написал:
[q]
Алексей, сорри что влез.
[/q]
Спасибо, что "влез".

Квазиморда написал:
[q]
Я делал мониторинг ЖЖ политбомонда прям отдельным сценарием т.к. их уже много таких кто в "тренде", а поскольку фильтр контента не часто распространенный (конкретные интересующие ФИО, места и события) мусора валится в рубрики не так уж и много.
[/q]

Да, новостной и другой "отраслевой" контент тем и хорош, что если написано Сергей Иванов, то это тот, который Борисыч, а не из 9-го "Б".
Для того, чтобы меньше мусора попадало в Рубрики, Вам следует тщательнее формулировать правила попадания в Рубрики, а мне совершенствовать эти правила.

petryashov
Администратор

Откуда: Москва
Всего сообщений: 490
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009
Попытался свой ЖЖ подключить как сайт, вроде получилось (см. приложенный сценарий поиска по блогу petryashov.livejournal.com- там надо расширение на txt поменять). В СайтСпутник попадают все нужные посты в количестве более ста.

Но вылез один маленький нюанс: программа не раскрывает так называемые каты (тег lj-cut часто используется для скрытия части текста), в результате часть текста, причем часто важного, в СайтСпутник не попадает...

С этим как-нибудь бороться можно?

Прикрепленный файл (Поисковик~RS, 567 байт, скачан: 318 раз)
petryashov
Администратор

Откуда: Москва
Всего сообщений: 490
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009
Попытался подключить RSS своего блога. Признаком начала снипета поставил те знаки, которые написал Алексей. Получилось как-то странно- выдает максимум 25 сообщений из Ленты и все... см. приложенный файл

UPD: понял, почему. Дело в том, что блог в ЖЖ отдает в ленту ограниченное число постов. По- моему, как раз 25. В этом можно убедиться, пройдя по ссылке: petryashov.livejournal.com/data/rss

Если все правильно, то тогда мониторить ЖЖ таким образом можно только в плане появления новых постов. При этом если ЖЖ обновляется активно (тот же Бигдан, например), а мониторится он нечасто, есть риск непопадания в ленту части постов. Ну а раз так, мониторить ЖЖ по RSS- ленте- не самая удачная идея, ИМХО...

UPD1: та же ситуация и с Вордпрессом- в RSS- поток отдаются лишь последние посты

Прикрепленный файл (Поисковик~RS, 514 байт, скачан: 322 раза)
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 841
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

petryashov написал:
[q]
Но вылез один маленький нюанс: программа не раскрывает так называемые каты (тег lj-cut часто используется для скрытия части текста), в результате часть текста, причем часто важного, в СайтСпутник не попадает...
С этим как-нибудь бороться можно?
[/q]

Можно. Бросьте мне ссылку, где lj-cat не раскрылся.

petryashov написал:
[q]
Ну а раз так, мониторить ЖЖ по RSS- ленте- не самая удачная идея, ИМХО...
[/q]

Не самая. Бывает, что RSS вообще нет на странице.
Для этого есть встроенный поиск, можно подключить главную или другую более нужную страницу.

Vinni
Администратор

Всего сообщений: 2711
Рейтинг пользователя: 22


Ссылка


Дата регистрации на форуме:
5 июня 2009

petryashov написал:
[q]
Если все правильно, то тогда мониторить ЖЖ таким образом можно только в плане появления новых постов. При этом если ЖЖ обновляется активно (тот же Бигдан, например), а мониторится он нечасто, есть риск непопадания в ленту части постов. Ну а раз так, мониторить ЖЖ по RSS- ленте- не самая удачная идея, ИМХО...
[/q]


Да - RSS для отслеживания новостей, а не для показа всего контента.
Средняя частота опроса RSS - 1 час. Как правило, даже большие сайты хранят информацию в RSS-ленте за неделю и их ленты имеют сотни элементов.
В блоге 25 новостей - разумное число, так как публикаций в блоге обычно мало. :laugh:

Попробуйте, например, поработать с RSS в Outlook2007 :wink: и увидите что никаких потерь новостей нет (я сам сего помощью смотрю десятки лент). Кстати, в Outlook2007 есть даже рубрикация есть с помощью встроенных правил.

petryashov
Администратор

Откуда: Москва
Всего сообщений: 490
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009

Alexei Mylnikov написал:
[q]

Можно. Бросьте мне ссылку, где lj-cat не раскрылся.
[/q]


вот, например: petryashov.livejournal.com/52304.html

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 841
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

petryashov написал:
[q]

Alexei Mylnikov написал:
[q]

Можно. Бросьте мне ссылку, где lj-cat не раскрылся.
[/q]



вот, например: petryashov.livejournal.com/52304.html
[/q]

Нет там тега <lj-cat>, поэтому это другой вопрос. Отсекаются теги и комментарии. Так и задумано. Возможно, введу в следующей версии настройку для управления этой ситуацией.

petryashov
Администратор

Откуда: Москва
Всего сообщений: 490
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009

Alexei Mylnikov написал:
[q]
Нет там тега , поэтому это другой вопрос. Отсекаются теги и комментарии. Так и задумано.
[/q]


Есть там такой тег, просто при нажатии на прямую ссылку пост в ЖЖ целиком открывается, и то, что часть информации находится под катом, не видно. Кат виден во френд- ленте и в RSS - потоке, а также если блог просматривать в стандартном режиме, когда на одной странице отображается по 10 постов.

В скриншоте видно, что ссылка "( Read more... ) " есть и что CайтСпутник ее не раскрыл


Alexei Mylnikov написал:
[q]
Возможно, введу в следующей версии настройку для управления этой ситуацией.
[/q]

На всякий случай напомню, что у разных блогохостингов теги, которыми маркируются каты, различные, поэтому учтите это, пожалуйста, при доработке программы. ;-)

Прикрепленный файл (кат.JPG, 178445 байт, скачан: 405 раз)
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 841
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

petryashov написал:
[q]
В скриншоте видно, что ссылка "( Read more... ) " есть и что CайтСпутник ее не раскрыл
[/q]

Теперь понятно о чём Вы пишите. Не раскрыл потому, что Вы смотрите список "Объединение", то есть списки сниппетов, в нем ничего не раскрывается по определению. Полнотекстовые контенты выдаются при применении функции +News. Вы ее не применили.
Если Вы задействуете этот поиск в новостном пакете, то он раскроется в новостной ленте. У меня всё получилось.

<<Назад  Вперед>>Страницы: 1 * 2
Печать
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Приемы работы с программой СайтСпутник (SiteSputnik) »   Мониторинг региональных СМИ на примере Челябинской области
RSS

Последние RSS
SiteSputnik-Bot: Боты в программе СайтСпутник
К вопросу о телеграм
SiteSputnik: Автозамены до и после Рубрикации или Перевода
Демо-доступ к ИАС социальных сетей
Лог-файл в программе СайтСпутник
шантаж, угрозы по Интернету
Практически весь интернет становится русскоязычным
SiteSputnik. Об одном подходе к мониторингу Телеграм
Безопасность при работе на ПК
Книги о критическом мышлении
Наказывать за вмешательство в частную жизнь, Верховный суд
CI Academic Materials
CiMi.CON Evolution USA
Поиск в КЭШ поисковиков по запросу и пакету запросов
СайтСпутник: Многоязычность, Юникод, MS ACCESS
Новый курс OSINT от АИС
Год тюрьмы за отказ удалять
Книга "Строим доверие по методикам спецслужб"
аналог "Консультанта" о зарубежном законодательстве
Открытые данные ФНС

Самые активные 20 тем RSS
Новости блогов
SiteSputnik-Bot: Боты в программе СайтСпутник