Мастер подключения поисковиков, сайтов и RSS-потоков

Форум Сообщества Практиков Конкурентной разведки (СПКР)

Конкурентная разведка, Бизнес-разведка, Корпоративная разведка,
Деловая разведка по открытым источникам в бизнесе.
Работаем строго в рамках закона.

Дезинформация и активные мероприятия в бизнесе
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Библиотека источников и иструменты её создания и ведения »   Мастер подключения поисковиков, сайтов и RSS-потоков
RSS

Мастер подключения поисковиков, сайтов и RSS-потоков

<<Назад  Вперед>>Страницы: 1 2 3 4 5 6 7 8 * 9
Печать
 
Игорь Нежданов
Модератор форума
Прагматик
Откуда: Советский Союз
Всего сообщений: 1055
Рейтинг пользователя: 13


Ссылка


Дата регистрации на форуме:
7 июня 2009

petryashov написал:
[q]
Как определять, какие записи старые, а какие новые? В тексте RSS- потока даты появления сообщений маркируются специальными тегами, причем самое новое сообщение находится наверху.
[/q]

Дим, я пару раз столкнулся с RSS-потоками, которые были отсортированы наоборот, а число записей в ленте превышало 200. Самый свежий материал был в конце ленты. Поэтому не советую брать за константу, что в RSSках всегда прямая сортировка. Если найду эти ленты - скину, но дело было года полтора назад, причем ленты были с буржуйских финансовых порталов.

---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок
petryashov
Администратор

Откуда: Москва
Всего сообщений: 487
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009
Для: Игорь Нежданов и Vinni
Спасибо!

petryashov
Администратор

Откуда: Москва
Всего сообщений: 487
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009
2 Алексей Мыльников
Понял, спасибо! Версию обновил, по итогам запуска напишу

petryashov
Администратор

Откуда: Москва
Всего сообщений: 487
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009
Совместными усилиями с Алексеем выяснили, что при обработке больших объемов данных программа могла работать некорректно: не выделялся список "Новые", в результате чего программа каждый раз обрабатывала тысячи ссылок. Момент возникновения бага зависел от оперативной памяти компьютера: например, на машине с оперативной памятью 1 ГБайт он был выявлен при обработке примерно 3 000 ссылок, на машинах с бОльшим объемом памяти данная ошибка выплыла при обработке 13 000 ссылок.

В результате была выпущена версия 8.4.2.9., в которой данная ошибка устранена. Кроме того, желательно увеличить объем оперативной памяти для повышения скорости работы

SiRafim
Молчун

Всего сообщений: 6
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
9 нояб. 2012
[q=Игорь Нежданов][/q]
[q=Алексей Мыльников][/q]
Что-то изменилось в механизме создания сценариев? Или поисковики что поменяли?
Пытаюсь использовать "старые" сценарии ориентированные на поиск в новостях Google и Яндекс - результат "новые ссылки не найдены"
Пытаюсь создать новые сценарии - результат "новые ссылки не найдены". :binocular:
Что я делаю на примере Google:
1. www.google.com раздел новости Google.
2. Инструменты поиска: "за неделю" и "по дате"
3. в поисковой строке: "сайт"
4. вновь сгенерированный адрес страницы копирую в "мастер подключения новых источников"
5. На кнопке "открыть" левой кнопкой мыши.
6. далее дважды определить автоматически
7. ну а дальше тестируем
может при описании что-то пропустил, но это не существенно.
факт в том, что старые сценарии не работают - новые не создаются.
Help!!!
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 798
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

SiRafim написал:
[q]
Help!!!
[/q]

Вы всё правильно делали.
Ошибку в программе для указанного Вами поиска в новостях Гугля за последнюю неделю, упорядоченный по дате, исправил. Обновитесь до версии 8.8.7.15.

Файл экспорта-импорта этого поиска, на всякий случай, прикрепил. Автоматом в Мастере "Признак начала сниппета" для него выдается таким: <h3 и ещё символы, вручную его укоротил до: <h3 - этого достаточно.

Если есть ещё неудачные поиски, то прикрепите их файлы экспорта-импорта.

Прикрепленный файл (GoogleNewsDW.rar, 559 байт, скачан: 93 раза)
SiRafim
Молчун

Всего сообщений: 6
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
9 нояб. 2012
[q=Алексей Мыльников]Ошибку в программе ... исправил[/q]
Спасибо :good: .

:blush:
но для такого начинающего пользователя как объясните пожалуйста или ссылку на разъяснение скиньте пожалуйста сто такое [q=Алексей Мыльников]прикрепите их файлы экспорта-импорта[/q]
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 798
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

SiRafim написал:
[q]
или ссылку на разъяснение скиньте
[/q]

Смотрите сообщение #20 из этой темы, и ещё это можно прочитать: Экспорт-импорт поисковых средств.

petryashov
Администратор

Откуда: Москва
Всего сообщений: 487
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009
Алексей, как подключать вот такие ресурсы? ttp://www.interrao.ru/press-center/news/ ? У них нет разбивки на страницы, новая порция информации появляется после нажатия кнопки "Показать еще" или аналогичной

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 798
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

petryashov написал:
[q]
Алексей, как подключать вот такие ресурсы? ttp://www.interrao.ru/press-center/news/ ? У них нет разбивки на страницы, новая порция информации появляется после нажатия кнопки "Показать еще" или аналогичной
[/q]

    Ничего страшного. Так и пишите: Показать еще или >Показать еще< .
    Иногда, если адрес перехода на следующую страницу задан не явно, следует добавить >Клик< , например: >Показать еще<>Клик< .
    Можно вообще какую-нибудь уникальную лексему из адреса прописать, например я прописал: PAGEN_1=2 . СайтСпутник найдет её и выполнит подкачку следующей страницы. Затем оттолкнувшись от неё найдет третью страницу и так далее.

    Прикрепил файлы импорта двух сценариев с названиями, говорящими сами за себя:

    Interrao - ИНТЕР РАО ЕЭС - поиск по сайту по Пресс-центру
    Interrao - ИНТЕР РАО ЕЭС - поиск по всему сайту

Прикрепленный файл (InterRao.rar, 1357 байт, скачан: 113 раз)
<<Назад  Вперед>>Страницы: 1 2 3 4 5 6 7 8 * 9
Печать
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Библиотека источников и иструменты её создания и ведения »   Мастер подключения поисковиков, сайтов и RSS-потоков
RSS

Последние RSS
Социнжиниринг в военной пропаганде
Тут будем жаловаться
Новое на блоге HRazvedka
История создания ИГИЛовской спецслужбы ЭМНИ (Emni)
«МИРУ-МИР» (Короткометражный фильм) 2017
Парсер для сайта Реформа ЖКХ
Darknet, Deep Web. Как посещать закрытые сайты?
Баланс банковской карты по её номеру
Сборка инструментов для OSINT
This Week SCIP Is in India
Яндекс запустил открытое бета-тестирование Яндекс.Медианы
Яндекс представит свой новый поиск
Kaspersky Who Calls
DarkNet
Книга "Наружное наблюдение"
Larina, SPKR and US 2016 Election
Засветились...
Экономический шпионаж с китайской спецификой
Обновление на блоге HRazvedka
Как найти email нужного человека: инструменты, хитрости, тактика

Самые активные 20 тем RSS
Мелочи
Тут будем жаловаться
Социнжиниринг в военной пропаганде