Мастер подключения поисковиков, сайтов и RSS-потоков

Форум Сообщества Практиков Конкурентной разведки (СПКР)

Конкурентная разведка, Бизнес-разведка, Корпоративная разведка,
Деловая разведка по открытым источникам в бизнесе.
Работаем строго в рамках закона.

Дезинформация и активные мероприятия в бизнесе
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Библиотека источников и иструменты её создания и ведения »   Мастер подключения поисковиков, сайтов и RSS-потоков
RSS

Мастер подключения поисковиков, сайтов и RSS-потоков

<<Назад  Вперед>>Страницы: 1 2 3 4 5 6 7 8 * 9
Печать
 
Игорь Нежданов
Модератор форума
Прагматик
Откуда: Советский Союз
Всего сообщений: 1055
Рейтинг пользователя: 13


Ссылка


Дата регистрации на форуме:
7 июня 2009

petryashov написал:
[q]
Как определять, какие записи старые, а какие новые? В тексте RSS- потока даты появления сообщений маркируются специальными тегами, причем самое новое сообщение находится наверху.
[/q]

Дим, я пару раз столкнулся с RSS-потоками, которые были отсортированы наоборот, а число записей в ленте превышало 200. Самый свежий материал был в конце ленты. Поэтому не советую брать за константу, что в RSSках всегда прямая сортировка. Если найду эти ленты - скину, но дело было года полтора назад, причем ленты были с буржуйских финансовых порталов.

---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок
petryashov
Администратор

Откуда: Москва
Всего сообщений: 490
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009
Для: Игорь Нежданов и Vinni
Спасибо!

petryashov
Администратор

Откуда: Москва
Всего сообщений: 490
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009
2 Алексей Мыльников
Понял, спасибо! Версию обновил, по итогам запуска напишу

petryashov
Администратор

Откуда: Москва
Всего сообщений: 490
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009
Совместными усилиями с Алексеем выяснили, что при обработке больших объемов данных программа могла работать некорректно: не выделялся список "Новые", в результате чего программа каждый раз обрабатывала тысячи ссылок. Момент возникновения бага зависел от оперативной памяти компьютера: например, на машине с оперативной памятью 1 ГБайт он был выявлен при обработке примерно 3 000 ссылок, на машинах с бОльшим объемом памяти данная ошибка выплыла при обработке 13 000 ссылок.

В результате была выпущена версия 8.4.2.9., в которой данная ошибка устранена. Кроме того, желательно увеличить объем оперативной памяти для повышения скорости работы

SiRafim
Молчун

Всего сообщений: 6
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
9 нояб. 2012
[q=Игорь Нежданов][/q]
[q=Алексей Мыльников][/q]
Что-то изменилось в механизме создания сценариев? Или поисковики что поменяли?
Пытаюсь использовать "старые" сценарии ориентированные на поиск в новостях Google и Яндекс - результат "новые ссылки не найдены"
Пытаюсь создать новые сценарии - результат "новые ссылки не найдены". :binocular:
Что я делаю на примере Google:
1. www.google.com раздел новости Google.
2. Инструменты поиска: "за неделю" и "по дате"
3. в поисковой строке: "сайт"
4. вновь сгенерированный адрес страницы копирую в "мастер подключения новых источников"
5. На кнопке "открыть" левой кнопкой мыши.
6. далее дважды определить автоматически
7. ну а дальше тестируем
может при описании что-то пропустил, но это не существенно.
факт в том, что старые сценарии не работают - новые не создаются.
Help!!!
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 835
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

SiRafim написал:
[q]
Help!!!
[/q]

Вы всё правильно делали.
Ошибку в программе для указанного Вами поиска в новостях Гугля за последнюю неделю, упорядоченный по дате, исправил. Обновитесь до версии 8.8.7.15.

Файл экспорта-импорта этого поиска, на всякий случай, прикрепил. Автоматом в Мастере "Признак начала сниппета" для него выдается таким: <h3 и ещё символы, вручную его укоротил до: <h3 - этого достаточно.

Если есть ещё неудачные поиски, то прикрепите их файлы экспорта-импорта.

Прикрепленный файл (GoogleNewsDW.rar, 559 байт, скачан: 168 раз)
SiRafim
Молчун

Всего сообщений: 6
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
9 нояб. 2012
[q=Алексей Мыльников]Ошибку в программе ... исправил[/q]
Спасибо :good: .

:blush:
но для такого начинающего пользователя как объясните пожалуйста или ссылку на разъяснение скиньте пожалуйста сто такое [q=Алексей Мыльников]прикрепите их файлы экспорта-импорта[/q]
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 835
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

SiRafim написал:
[q]
или ссылку на разъяснение скиньте
[/q]

Смотрите сообщение #20 из этой темы, и ещё это можно прочитать: Экспорт-импорт поисковых средств.

petryashov
Администратор

Откуда: Москва
Всего сообщений: 490
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009
Алексей, как подключать вот такие ресурсы? ttp://www.interrao.ru/press-center/news/ ? У них нет разбивки на страницы, новая порция информации появляется после нажатия кнопки "Показать еще" или аналогичной

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 835
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

petryashov написал:
[q]
Алексей, как подключать вот такие ресурсы? ttp://www.interrao.ru/press-center/news/ ? У них нет разбивки на страницы, новая порция информации появляется после нажатия кнопки "Показать еще" или аналогичной
[/q]

    Ничего страшного. Так и пишите: Показать еще или >Показать еще< .
    Иногда, если адрес перехода на следующую страницу задан не явно, следует добавить >Клик< , например: >Показать еще<>Клик< .
    Можно вообще какую-нибудь уникальную лексему из адреса прописать, например я прописал: PAGEN_1=2 . СайтСпутник найдет её и выполнит подкачку следующей страницы. Затем оттолкнувшись от неё найдет третью страницу и так далее.

    Прикрепил файлы импорта двух сценариев с названиями, говорящими сами за себя:

    Interrao - ИНТЕР РАО ЕЭС - поиск по сайту по Пресс-центру
    Interrao - ИНТЕР РАО ЕЭС - поиск по всему сайту

Прикрепленный файл (InterRao.rar, 1357 байт, скачан: 227 раз)
<<Назад  Вперед>>Страницы: 1 2 3 4 5 6 7 8 * 9
Печать
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Библиотека источников и иструменты её создания и ведения »   Мастер подключения поисковиков, сайтов и RSS-потоков
RSS

Последние RSS
шантаж, угрозы по Интернету
Практически весь интернет становится русскоязычным
SiteSputnik. Об одном подходе к мониторингу Телеграм
Безопасность при работе на ПК
Книги о критическом мышлении
Наказывать за вмешательство в частную жизнь, Верховный суд
CI Academic Materials
CiMi.CON Evolution USA
Поиск в КЭШ поисковиков по запросу и пакету запросов
СайтСпутник: Многоязычность, Юникод, MS ACCESS
Новый курс OSINT от АИС
Год тюрьмы за отказ удалять
Книга "Строим доверие по методикам спецслужб"
аналог "Консультанта" о зарубежном законодательстве
Открытые данные ФНС
Получаем информацию по VIN
Competitive-Market Intelligence Conference, Berlin 2018
Не все VPN-сервисы одинаково полезны
«Яндекс» научился выдавать в поиске не скрытые Google-документы. Правда лавочку
War and marketing: 1937 July 7th vs. 2018 July 1st

Самые активные 20 тем RSS