Версия для печати
- Форум Сообщества Практиков Конкурентной разведки (СПКР) http://forum.razved.info/
-- Приемы работы с программой СайтСпутник (SiteSputnik) http://forum.razved.info//index.php?f=38
--- Мониторинг и сравнение http://forum.razved.info//index.php?t=1281
-- Игорь Нежданов написал 17 ноября 2010 16:41
Коллеги, наставте на путь истинный.
Задача:
Отслеживать появление новых данных в определенном секторе интернета и фиксация когда какое изменение произошло.
С первой частью задачи никаких проблем - СайтСпутник всё делает за меня. Достаточно было один раз настроить. А вот со второй частью не очень получается. Сделал так: создал отдельную папочку и в ней выполняю один и тот же пакет, но каждый день с новым именем (дата). Но сравнение уже приходиться в ручную делать. Может есть возможность как то это автоматизировать, а я не знаю 
? Пока результатов было несколько десятков -нормально, но когда перевалило за несколько сотен стало тоскливо....
-- Vinni написал 17 ноября 2010 19:11
Так там не только сравнение надо делать, но и по-хорошему делать список "ссылка - дата появления/список дат изменений контента"
По-моему, это Аваланч умеет делать - он вроде выявлял изменения в новостях и хранить в базе с указанием для новости даты-времени 
А для СайтСпутника видимо скрипт 
писать придется для такой задачи, который парсит хтмл-страницы с результатами 
-- Игорь Нежданов написал 17 ноября 2010 20:49
Vinni написал:[q]
А для СайтСпутника видимо скрипт писать придется для такой задачи, который парсит хтмл-страницы с результатами [/q]
Мы ж давно просим тебя - возьми над нами шевство - научи нас создавать простенькие скрипты. Представляешь сколько мы понаделаем с нашими то знаниями и энтузиазмом?.... 
("хуже дурака только дурак с инициативой")
-- Алексей Мыльников написал 17 ноября 2010 20:58
Игорь Нежданов написал:[q]
выполняю один и тот же пакет, но каждый день с новым именем (дата). [/q]
А зачем в качестве имени использовать дату? Она есть в столбце верхней таблицы.
Зайдите в "Настройки - Имена и видимость столбцов" и укажите "Да" для даты.
-- Игорь Нежданов написал 17 ноября 2010 21:44
Alexei Mylnikov написал:[q]
А зачем в качестве имени использовать дату? Она есть в столбце верхней таблицы.
Зайдите в "Настройки - Имена и видимость столбцов" и укажите "Да" для даты. [/q]
О - уже легче. Спасибо!
Но это только некоторое облегченье. А вот как решить вопрос с фиксацией ежедневных изменений?
-- Алексей Мыльников написал 17 ноября 2010 21:56
Игорь Нежданов написал:[q]
А вот как решить вопрос с фиксацией ежедневных изменений? [/q]
Что Вы сравниваете? Что фиксируете?
Если речь идет о появившихся новых ссылках, то они фиксируются в списке "Новые".
Если Вас интересует изменение контента ссылок, то используйте БД "Мониторинг".
-- Игорь Нежданов написал 18 ноября 2010 10:26
Ни то и не другое. Мне нужно отслеживать появление новой информации по теме и "исчезновение" старой. Например - наблюдаем за некой компанией. кроме прочих источников информации используем "рекрутинговую активность" данной компании, т.е. когда и кого они набирают. Это в сочетании с другими источниками, позволяет понять изменение стратегии компании (поиск людей на совершенно новое направление), проблемы на каком то направлении (поиск людей на это направлении при условии, что соответствующий персонал уже есть), климат в коллективе (по текучке)... Но для этого нужно видеть когда какая вакансия появилась.
-- Семёныч написал 18 ноября 2010 11:13
Когда один и тот же пакет используется, то новые ссылки подсвечиваются зелёным, если я правильно понял. А что бы видеть когда и какая инфа появилась, надо скачивать страницу, сохранять в базу данных. Если я правильно вопрос понял.
-- Vinni написал 18 ноября 2010 11:55
Игорь Нежданов написал:[q]
Ни то и не другое. Мне нужно отслеживать появление новой информации по теме и "исчезновение" старой. Например - наблюдаем за некой компанией. кроме прочих источников информации используем "рекрутинговую активность" данной компании, т.е. когда и кого они набирают. Это в сочетании с другими источниками, позволяет понять изменение стратегии компании (поиск людей на совершенно новое направление), проблемы на каком то направлении (поиск людей на это направлении при условии, что соответствующий персонал уже есть), климат в коллективе (по текучке)... Но для этого нужно видеть когда какая вакансия появилась. [/q]
А чем Аваланч для такой задачи не подходит? 
-- Алексей Мыльников написал 18 ноября 2010 13:02
Игорь Нежданов написал:[q]
А вот как решить вопрос с фиксацией ежедневных изменений?[/q]
Семёныч написал:[q]
Когда один и тот же пакет используется, то новые ссылки подсвечиваются зелёным, если я правильно понял. А что бы видеть когда и какая инфа появилась, надо скачивать страницу, сохранять в базу данных. Если я правильно вопрос понял. [/q]
Первая цитата - вопрос.
Вторая цитата - ответ на него.
То есть Вы периодически в одной базе данных запускаете настроенный (как Вы пишите в первом топике) запрос или пакет запросов и смотрите список "Новые". В нем содержатся ссылки, отсутствующие в девяноста предыдущих аналогичных поисках.
-- Алексей Мыльников написал 18 ноября 2010 13:07
Если сниппетов "не хватает" для понимания того, что вы нашли нужную информацию, то надо иметь вариант SiteSputnik Pro+News и использовать поиск по новостям и Рубрики .
-- Игорь Нежданов написал 18 ноября 2010 15:23
Alexei Mylnikov написал:[q]
Первая цитата - вопрос.
Вторая цитата - ответ на него....[/q]
Это если глубина архива равна двум (сегодня и прошлый раз). А мне нужно хотя бы десяток "этажей". Мне нужно понять какие изменения произошли сегодня, какие вчера, какие позавчера,.... какие две недели назад.
Vinni написал:[q]
А чем Аваланч для такой задачи не подходит? [/q]
Сегодня буду его тестить на этот предмет. Я его использовал как продвинутого новостного агента.
Alexei Mylnikov написал:[q]
Если сниппетов "не хватает" для понимания того, что вы нашли нужную информацию, то надо иметь вариант SiteSputnik Pro+News и использовать поиск по новостям и Рубрики . [/q]
А можно поподробнее - как это реализовано? И - а блок News уже готов? 
-- Алексей Мыльников написал 18 ноября 2010 15:47
Игорь Нежданов написал:[q]
Это если глубина архива равна двум (сегодня и прошлый раз). А мне нужно хотя бы десяток "этажей". Мне нужно понять какие изменения произошли сегодня, какие вчера, какие позавчера,.... какие две недели назад.[/q]
Глубина архива не имеет ограничений.
Игорь Нежданов написал:[q]
А можно поподробнее - как это реализовано? [/q]
Посмотрите: мониторинг новостей (http://sitesputnik.ru/Help/SSNews.htm), подробнее о рубриках (http://sitesputnik.ru/Help/SSRubriki.htm), пробуйте на демонстрационном примере прогнозы аналитиков 2 (http://sitesputnik.ru/Files/ZPrognoz2.rar).
-- Vinni написал 18 ноября 2010 16:01
Игорь Нежданов написал:[q]
Сегодня буду его тестить на этот предмет. Я его использовал как продвинутого новостного агента.[/q]
ну для такой задачи лучше всего свой SQL-запрос написать для получения такого отчета - задача-то нестандартная выходит 
-- Игорь Нежданов написал 18 ноября 2010 16:49
Vinni написал:[q]
ну для такой задачи лучше всего свой SQL-запрос написать для получения такого отчета - задача-то нестандартная выходит [/q]
не знаком я с этим зверем. Вот с кроносом да 
, с аксесом вроде тоже понимаем друг друга 
. А с сиквелом - ну никак 
Alexei Mylnikov написал:[q]
Игорь Нежданов написал:
[q]
Это если глубина архива равна двум (сегодня и прошлый раз). А мне нужно хотя бы десяток "этажей". Мне нужно понять какие изменения произошли сегодня, какие вчера, какие позавчера,.... какие две недели назад.
[/q]
Глубина архива не имеет ограничений.[/q]
Т.е. в имеющейся версии СайтСпутника отдельно сохраняется каждое обновление запроса?
-- Семёныч написал 18 ноября 2010 17:44
Игорь Нежданов написал:[q]
Т.е. в имеющейся версии СайтСпутника отдельно сохраняется каждое обновление запроса? [/q]
Именно так. Название запроса одинаковое, даты разные, открывая выбранные запросы, видим зелёным цветом выделены новые ссылки (новые по отношению к предыдущим). Если в первом запросе закачать все актуальные ссылки, то потом можно будет только подкачивать вновь появившиеся. Закачивать лучше, чтоб потом не путаться (сниппеты не полностью отображают информацию).
-- Vinni написал 18 ноября 2010 18:11
Так как на кадровых сайтах каждая вакансия имеет свою ссылку, то будет достаточно и списка ссылок.
Так что СайтСпутник вполне в состоянии автоматизировать большую часть рутинной работы для такой задачи.
-- Алексей Мыльников написал 18 ноября 2010 18:18
Игорь Нежданов написал:[q]
Т.е. в имеющейся версии СайтСпутника отдельно сохраняется каждое обновление запроса? [/q]
Да. Вы только выполняйте очередной запрос не поверх (не на месте) предыдущего, а на новом месте (через "Золотой ключик", а не через "Глобус с линзой").
В "Настройти - Параметры - Мониторинг" самый верхний параметр регулирует количество ранее выполненных точно таких же запросов или одноименных пакетов запросов, относительно которых ищутся новые ссылки. По умолчанию там стоит 90. В этом случае, СайтСпутник в список "Новые" поместит только те ссылки из последнего запроса, которых нет ни в одном из 90 предыдущих.
-- Игорь Нежданов написал 18 ноября 2010 20:44
Alexei Mylnikov написал:[q]
Да. Вы только выполняйте очередной запрос не поверх (не на месте) предыдущего, а на новом месте (через "Золотой ключик", а не через "Глобус с линзой").[/q]
Если так делать, то получается совершенно новый запрос и никакого сравнени не происходит 
видимо я не туда кликаю....
Семёныч написал:[q]
Именно так. Название запроса одинаковое, даты разные, открывая выбранные запросы, видим зелёным цветом выделены новые ссылки (новые по отношению к предыдущим). Если в первом запросе закачать все актуальные ссылки, то потом можно будет только подкачивать вновь появившиеся. Закачивать лучше, чтоб потом не путаться (сниппеты не полностью отображают информацию). [/q]
Мужчина, вы в субботу будете? Если да - пальцем покажешь куда кликнут? А то что то никак не соображу..... 
-- Алексей Мыльников написал 18 ноября 2010 20:58
Игорь Нежданов написал:[q]
Если так делать, то получается совершенно новый запрос и никакого сравнени не происходит видимо я не туда кликаю....[/q]
(http://sitesputnik.ru/Help/Pic/BlackList.GIF)
Нажмите туда куда показывает серая стрелочка и выберите ранее выполненный запрос.
Ещё можно воспользоваться буфером обмена и через него восстановить текст нужного запроса.
-- Игорь Нежданов написал 19 ноября 2010 9:55
Сограждане - "помедленнее пожалуйста - я записыаю...."
Alexei Mylnikov написал:[q]
Ещё можно воспользоваться буфером обмена и через него восстановить текст нужного запроса. [/q]
С этим проблем не возникает - скопировать нужный запрос и повторить его под новым именем (или под старым с суффиксом ~Х) - это легко. Сложность возникает в последствии - в сравнении. Если использовать механизм обновления заложенный в СайтСпутнике, то новые ссылки подсвечиваются. А ежели каждый день по новой запускать запрос, то этой подсветки (сравнения) нет. И выверять нужно вручную. Вот где затык то. К стати "Взятие разности" видимо тоже поможет лишь частично - выявит что появилось нового. А вот что пропало в новом запросе по сравнению со старым - не покажет.
Как вариант должна помочь выгрузка в Excel списка ссылок, но после выгрузки верификация мновь почти в ручную (с использованием иснтрументария Excel).
-- Алексей Мыльников написал 19 ноября 2010 10:13
Игорь Нежданов написал:[q]
А ежели каждый день по новой запускать запрос, то этой подсветки (сравнения) нет. [/q]
Сравнение есть! Смотрите внимательнее.
На всякий случай проверьте не отключено ли оно у Вас в "Настройка - Параметры - Мониторинг" первый параметр.
Игорь Нежданов написал:[q]
Взятие разности" видимо тоже поможет лишь частично - выявит что появилось нового. А вот что пропало в новом запросе по сравнению со старым - не покажет.[/q]
Для того, чтобы определить что появилось нового из нового выполнения запросы надо вычесть старое.
Для того, чтобы увидеть, что пропало, наоборот, из старого надо вычесть новое.
-- Игорь Нежданов написал 19 ноября 2010 12:05
Alexei Mylnikov написал:[q]
Для того, чтобы определить что появилось нового из нового выполнения запросы надо вычесть старое.
Для того, чтобы увидеть, что пропало, наоборот, из старого надо вычесть новое. [/q]
О... точно! - вот это уже вариант. Спасибо!
Alexei Mylnikov написал:[q]
Сравнение есть! Смотрите внимательнее.
На всякий случай проверьте не отключено ли оно у Вас в "Настройка - Параметры - Мониторинг" первый параметр.[/q]
Проверил - включено. Но как использовать не могу понять
-- Алексей Мыльников написал 19 ноября 2010 16:42
Игорь Нежданов написал:[q]
Проверил - включено. Но как использовать не могу понять [/q]
У Вас список "Новые" создается?
Сколько в нем сниппетов?
В каком сценарии у Вас не видно новых ссылок?
На всякий случай подкачайте версию 6.4.8.1 (об этом я две минуты назад сообщил в теме "Техподдержка").
-- Игорь Нежданов написал 19 ноября 2010 18:46
У меня складывается ощущение, что мы говорим о разных вещах
Alexei Mylnikov написал:[q]
У Вас список "Новые" создается? [/q]
Да
Alexei Mylnikov написал:[q]
Сколько в нем сниппетов?[/q]
По разному. Сейчас пять. 
Alexei Mylnikov написал:[q]
В каком сценарии у Вас не видно новых ссылок?[/q]
Новые ссылки видны. Но мне нужно НЕ только новые. Мне нужно посмотреть какие изменения были вчера. Какие позавчера. Какие неделю нахад..... Можно это увидеть? И если да то как?
-- Алексей Мыльников написал 19 ноября 2010 19:20
Игорь Нежданов написал:[q]
Мне нужно посмотреть какие изменения были вчера. Какие позавчера. Какие неделю нахад..... [/q]
1. Изменения чего: ссылок, контента ссылок, появление новых ссылок ?
2. Изменения относительно чего: того, что было 3 дня назад относительно того что было 7 дней назад?
3. Отслеживалась ли обстановка по объекту в течение 7 дней или задача была задана сегодня?
4. Можно ли привести пример задачи из реальной практики?
-- Игорь Нежданов написал 19 ноября 2010 19:43
Alexei Mylnikov написал:[q]
1. Изменения чего: ссылок, контента ссылок, появление новых ссылок ?[/q]
Появление новых ссылок
Alexei Mylnikov написал:[q]
2. Изменения относительно чего: того, что было 3 дня назад относительно того что было 7 дней назад?[/q]
Сегодняшнее по сравнению со вчерашним, вчерашнего с позавчерашним, позавчерашнее с поза-позавчерашним....
Alexei Mylnikov написал:[q]
3. Отслеживалась ли обстановка по объекту в течение 7 дней или задача была задана сегодня?[/q]
Да - ежедневно
Alexei Mylnikov написал:[q]
4. Можно ли привести пример задачи из реальной практики? [/q]
Отслеживание изменений рекрутинговой политики компаний (поиск сотрудников). Периодичность от ежедневно, до раз в неделю.
-- Алексей Мыльников написал 19 ноября 2010 20:00
Тогда чем Вас не устраивает ежедневное или еженедельно выполнение пакета, собирающего списки ссылок на заданную тему?
-- Игорь Нежданов написал 19 ноября 2010 20:41
Alexei Mylnikov написал:[q]
Тогда чем Вас не устраивает ежедневное или еженедельно выполнение пакета, собирающего списки ссылок на заданную тему? [/q]
всем устраивает. Но как увидеть какие изменения были вчера, какие позавчера, какие неделю назад? При условии, что обновление делается ежедневно.
-- Алексей Мыльников написал 19 ноября 2010 20:52
Игорь Нежданов написал:[q]
всем устраивает. Но как увидеть какие изменения были вчера, какие позавчера, какие неделю назад? При условии, что обновление делается ежедневно[/q]
Если обновление делается ежедневно и требуется узнать какие вакансии искались неделю назад, то становитесь в БД "Поиск в Интернете" на запрос, сделанный неделю назад и смотрите список "Новые".
-- Игорь Нежданов написал 20 ноября 2010 18:16
Alexei Mylnikov написал:[q]
Если обновление делается ежедневно и требуется узнать какие вакансии искались неделю назад, то становитесь в БД "Поиск в Интернете" на запрос, сделанный неделю назад и смотрите список "Новые". [/q]
Чтобы это сделать нужно каждый раз выполнять запрос по новой, а не обновлять уже имеющийся (иначе доступен только один (последний) результат). А если каждый раз выполнять запрос по новой, то НЕ выявляются новые ссылки и естественно НЕ подсвечиваются. Речь идет о работе в блоке "Поиск в интернете".
Есть ли возможность отработки сложных запросов, пакетов, ассемблеров и сценариев в блоке "Мониторинг"? Если такая возможность есть, то там сохраняется вся история.
-- Алексей Мыльников написал 20 ноября 2010 19:17
Игорь Нежданов написал:[q]
Чтобы это сделать нужно каждый раз выполнять запрос по новой, а не обновлять уже имеющийся (иначе доступен только один (последний) результат). А если каждый раз выполнять запрос по новой, то НЕ выявляются новые ссылки и естественно НЕ подсвечиваются. Речь идет о работе в блоке "Поиск в интернете".[/q]
Да, каждый раз запрос надо выполнять по новой, а не обновлять уже имеющийся. А если каждый раз выполнять запрос по новой, то БУДУТ выявляются новые ссылки и, естественно, БУДУТ подсвечиваться. Речь идет о работе в блоке "Поиск в интернете". Потому что, если у Вас при обновлении есть подсветка, то при работе по новой она тоже будет. Иначе быть не может. Или подсветка есть в обоих случаях, или ее нет в обоих случаях. Других вариантов НЕТ. При работе по новой, в общем случае, будет подсвечено НЕ больше ссылок, чем при работе по обновлению, потому что ссылки берутся не только из последнего запуска, а из 90 предыдущих запусков, включая последний. Иногда, но не всегда, это может привести к пустому списку "Новые", то есть отсутствию подсветки, потому что в 90 последних запусках больше ссылок, чем в одном последнем, входящим в эти 90.
-- Алексей Мыльников написал 20 ноября 2010 19:24
Вы, надеюсь, при работе по новой не удаляете предыдущие результаты работы.
-- Игорь Нежданов написал 21 ноября 2010 8:30
Мы точно о разном говорим....
-- Игорь Нежданов написал 21 ноября 2010 16:35
Итак, после практически индивидуальной консультации, я таки научился делать ЭТО!!! С согласия автора СайтСпутника рассказываю что и как.
Для начала (исключительно для удобства) нужно создать в папке Condition Files , что в папке СайтСпутника на диске, папку под регулярные задачи. Я назвал ее "Мониторинг" - а вообще кому как приятнее так и называйте. Затем рекомендую в запущенном СайтСпутнике в разделе "Поиск в интернете" создать такуюже папку (в моем случае "Мониторинг"). И уже в ней сделать столько папок, сколько у вас будет пакетов на мониторинге или регулярно выполняемых пакетов - под каждый пакет своя папка. Так точно ничего не перепутаете. Всё - подготовка закончена.
Теперь обычным способом создаете задание (пакет, набор пакетов, ассемблер...) и запускаете. Но окончании его работы в корне папки Condition Files будет создан файл с названием совпадающим с созданным вами заданием. Аккуратно его скопируйте (именно скопируйте, а не перенесите) в папку "Мониторинг".
Теперь работаем только в открытой программе СайтСпутник - когда нужно будет повторить задание, активируете ту папку в разделе "Поиск в интеренете" СайтСпутника, в которой накапливаете результаты по данному заданию (выделяете ее), открываете через "Золотой ключик" "Пакет запросов". Нажимаете кнопку "Обзор" , что внизу формы. И открыв папку "Мониторинг" выбираете тот пакет, который хотите запустить. И жмете кнопку "Совместно".
Всё! - каждый новый запуск НЕ убирает результаты предыдущих запусков, а прописывается ниже. И всегда можно посмотреть что было вчера, позавчера, неделю назад...
Удачи! 
Мне сильно облегчило работу.
-- tungus1973 написал 21 ноября 2010 16:56
Игорь Нежданов написал:[q]
С согласия автора СайтСпутника рассказываю что и как...[/q]
Надо бы в рамочку вставить - настолько получилась короткая и понятная инструкция
Спасибо! 
-- Алексей Мыльников написал 21 ноября 2010 17:20
Игорь Нежданов написал:[q]
Мне сильно облегчило работу. [/q]
То, о чем идет речь в этой теме называется в СайтСпутнике "Мониторинг поиска".
В этом мониторинге поиска, на мой взгляд, - один из плюсов СайтСпутника. В отличие от других программ на мониторинг ставится большой пакет из разных запросов, с разными поисковиками, с просмотром на заданную глубину страниц поисковиков. По одному клику мышки пользователь получает список "Новые", содержащий только новые ссылки, появившиеся со времени последнего запуска этого же большого пакета.
В других программах, чтобы отследить подобную "обстановку" по теме требуется ставить на мониторинг много много отдельных страниц поисковиков и поисков по сайтам, а потом прыгать от одной к другой, очень часто сталкиваюсь с дублями ссылок. Глубина просмотра поисковых страниц в таких подходах ограничивается одной страницей, так как вторую ставить на мониторинг нет смысла - на нее будут переползать ссылки с первой страницы, и Вы окончательно запутаетесь, где новая, а где старая ссылка.
Как этим воспользоваться. Надо один и то же запрос или пакет просто периодически запускать и просматривать список "Новые". И это всё.
В предыдущем своем сообщении Игорь посоветовал создавать вложенные папки в папке "Condition Files" и раскладывать в них свои пакеты, аналогично тому, как Tungus1973 сделал это для папки "Condition Forms", содержащий пакеты с параметрами, а также создавать вложенные папки и в БД "Поиск в Интернете".
Этот форум работает на скрипте Intellect Board
© 2004-2007, 4X_Pro, Объединенный Открытый Проект