Форум Сообщества Практиков Конкурентной разведки (СПКР) » Библиотека источников и иструменты её создания и ведения » Мастер подключения поисковиков, сайтов и RSS-потоков |
Вперед>> | Страницы: 1 2 3 4 5 6 7 8 * 9 | Печать |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 877 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
petryashov написал: еще какие-нибудь способы выделения новых материалов в RSS - потоке среди прочитанных? 1. Из 50 источников, задействованных у Вас, только 4 RSS, остальные поиски или эмуляция, в которых нет информации, упомянутой Винни. Далеко не над всеми потоками информации создаются RSS. 2. В СайтСпутнике все материалы скачиваются только при первом прогоне. Если они (материалы) не нужны, по после окончания поиска можно остановить процесс (скачивать и рубрицировать не обязательно). 3. Можно обновиться и выполнить задание, список "Новые" должен появиться и, соответственно, повторных скачиваний не будет. |
Vinni
Администратор
Всего сообщений: 2136 Рейтинг пользователя: 22 Ссылка Дата регистрации на форуме: 5 июня 2009 |
petryashov написал: Спасибо, интересно. Может быть, Вы знаете еще какие-нибудь способы выделения новых материалов в RSS - потоке среди прочитанных? Ну вообще согласно спецификации RSS это штатный способ Можно конечно и по тегу даты-времени новости, но это более ненадежный способ Собсно, RSS-поток по определению избыточен... |
Игорь Нежданов
Модератор форума
Прагматик Откуда: Советский Союз Всего сообщений: 1025 Рейтинг пользователя: 13 Ссылка Дата регистрации на форуме: 7 июня 2009 |
petryashov написал: Как определять, какие записи старые, а какие новые? В тексте RSS- потока даты появления сообщений маркируются специальными тегами, причем самое новое сообщение находится наверху. Дим, я пару раз столкнулся с RSS-потоками, которые были отсортированы наоборот, а число записей в ленте превышало 200. Самый свежий материал был в конце ленты. Поэтому не советую брать за константу, что в RSSках всегда прямая сортировка. Если найду эти ленты - скину, но дело было года полтора назад, причем ленты были с буржуйских финансовых порталов. ---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ... Лаборатория Перспективных Разработок |
petryashov
Администратор
Откуда: Москва Всего сообщений: 480 Рейтинг пользователя: 9 Ссылка Дата регистрации на форуме: 7 июня 2009 |
Профиль | Игнорировать
NEW! Сообщение отправлено: 5 апреля 2013 9:19 Сообщение отредактировано: 5 апреля 2013 9:19
Для: Игорь Нежданов и Vinni Спасибо! |
petryashov
Администратор
Откуда: Москва Всего сообщений: 480 Рейтинг пользователя: 9 Ссылка Дата регистрации на форуме: 7 июня 2009 |
2 Алексей Мыльников Понял, спасибо! Версию обновил, по итогам запуска напишу |
petryashov
Администратор
Откуда: Москва Всего сообщений: 480 Рейтинг пользователя: 9 Ссылка Дата регистрации на форуме: 7 июня 2009 |
Профиль | Игнорировать
NEW! Сообщение отправлено: 15 апреля 2013 16:45 Сообщение отредактировано: 15 апреля 2013 16:51
Совместными усилиями с Алексеем выяснили, что при обработке больших объемов данных программа могла работать некорректно: не выделялся список "Новые", в результате чего программа каждый раз обрабатывала тысячи ссылок. Момент возникновения бага зависел от оперативной памяти компьютера: например, на машине с оперативной памятью 1 ГБайт он был выявлен при обработке примерно 3 000 ссылок, на машинах с бОльшим объемом памяти данная ошибка выплыла при обработке 13 000 ссылок. В результате была выпущена версия 8.4.2.9., в которой данная ошибка устранена. Кроме того, желательно увеличить объем оперативной памяти для повышения скорости работы |
SiRafim |
[q=Игорь Нежданов][/q] [q=Алексей Мыльников][/q] Что-то изменилось в механизме создания сценариев? Или поисковики что поменяли? Пытаюсь использовать "старые" сценарии ориентированные на поиск в новостях Google и Яндекс - результат "новые ссылки не найдены" Пытаюсь создать новые сценарии - результат "новые ссылки не найдены". Что я делаю на примере Google: 1. www.google.com раздел новости Google. 2. Инструменты поиска: "за неделю" и "по дате" 3. в поисковой строке: "сайт" 4. вновь сгенерированный адрес страницы копирую в "мастер подключения новых источников" 5. На кнопке "открыть" левой кнопкой мыши. 6. далее дважды определить автоматически 7. ну а дальше тестируем может при описании что-то пропустил, но это не существенно. факт в том, что старые сценарии не работают - новые не создаются. Help!!! |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 877 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
SiRafim написал: Help!!! Вы всё правильно делали. Ошибку в программе для указанного Вами поиска в новостях Гугля за последнюю неделю, упорядоченный по дате, исправил. Обновитесь до версии 8.8.7.15. Файл экспорта-импорта этого поиска, на всякий случай, прикрепил. Автоматом в Мастере "Признак начала сниппета" для него выдается таким: <h3 и ещё символы, вручную его укоротил до: <h3 - этого достаточно. Если есть ещё неудачные поиски, то прикрепите их файлы экспорта-импорта. Прикрепленный файл (GoogleNewsDW.rar, 559 байт, скачан: 417 раз) |
SiRafim |
Профиль | Игнорировать
NEW! Сообщение отправлено: 1 июня 2015 10:15 Сообщение отредактировано: 1 июня 2015 10:16
[q=Алексей Мыльников]Ошибку в программе ... исправил[/q] Спасибо . но для такого начинающего пользователя как объясните пожалуйста или ссылку на разъяснение скиньте пожалуйста сто такое [q=Алексей Мыльников]прикрепите их файлы экспорта-импорта[/q] |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 877 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
Профиль | Игнорировать
NEW! Сообщение отправлено: 1 июня 2015 10:26 Сообщение отредактировано: 1 июня 2015 10:27 SiRafim написал: или ссылку на разъяснение скиньте Смотрите сообщение #20 из этой темы, и ещё это можно прочитать: Экспорт-импорт поисковых средств. |
Вперед>> | Страницы: 1 2 3 4 5 6 7 8 * 9 | Печать |
Форум Сообщества Практиков Конкурентной разведки (СПКР) » Библиотека источников и иструменты её создания и ведения » Мастер подключения поисковиков, сайтов и RSS-потоков |
Самые активные 20 тем | |