Форум Сообщества Практиков Конкурентной разведки (СПКР)

Коллеги, наставте на путь истинный.

Задача:
Отслеживать появление новых данных в определенном секторе интернета и фиксация когда какое изменение произошло.

С первой частью задачи никаких проблем - СайтСпутник всё делает за меня. Достаточно было один раз настроить. А вот со второй частью не очень получается. Сделал так: создал отдельную папочку и в ней выполняю один и тот же пакет, но каждый день с новым именем (дата). Но сравнение уже приходиться в ручную делать. Может есть возможность как то это автоматизировать, а я не знаю ? Пока результатов было несколько десятков -нормально, но когда перевалило за несколько сотен стало тоскливо....

Vinni написал:

[q]

А для СайтСпутника видимо скрипт писать придется для такой задачи, который парсит хтмл-страницы с результатами

[/q]

Мы ж давно просим тебя - возьми над нами шевство - научи нас создавать простенькие скрипты. Представляешь сколько мы понаделаем с нашими то знаниями и энтузиазмом?.... ("хуже дурака только дурак с инициативой")

Alexei Mylnikov написал:

[q]

А зачем в качестве имени использовать дату? Она есть в столбце верхней таблицы.
Зайдите в "Настройки - Имена и видимость столбцов" и укажите "Да" для даты.

[/q]

О - уже легче. Спасибо!
Но это только некоторое облегченье. А вот как решить вопрос с фиксацией ежедневных изменений?

Ни то и не другое. Мне нужно отслеживать появление новой информации по теме и "исчезновение" старой. Например - наблюдаем за некой компанией. кроме прочих источников информации используем "рекрутинговую активность" данной компании, т.е. когда и кого они набирают. Это в сочетании с другими источниками, позволяет понять изменение стратегии компании (поиск людей на совершенно новое направление), проблемы на каком то направлении (поиск людей на это направлении при условии, что соответствующий персонал уже есть), климат в коллективе (по текучке)... Но для этого нужно видеть когда какая вакансия появилась.

Игорь Нежданов написал:

[q]

Ни то и не другое. Мне нужно отслеживать появление новой информации по теме и "исчезновение" старой. Например - наблюдаем за некой компанией. кроме прочих источников информации используем "рекрутинговую активность" данной компании, т.е. когда и кого они набирают. Это в сочетании с другими источниками, позволяет понять изменение стратегии компании (поиск людей на совершенно новое направление), проблемы на каком то направлении (поиск людей на это направлении при условии, что соответствующий персонал уже есть), климат в коллективе (по текучке)... Но для этого нужно видеть когда какая вакансия появилась.

[/q]

А чем Аваланч для такой задачи не подходит?

Если сниппетов "не хватает" для понимания того, что вы нашли нужную информацию, то надо иметь вариант SiteSputnik Pro+News и использовать поиск по новостям и Рубрики .

Игорь Нежданов написал:

[q]

Это если глубина архива равна двум (сегодня и прошлый раз). А мне нужно хотя бы десяток "этажей". Мне нужно понять какие изменения произошли сегодня, какие вчера, какие позавчера,.... какие две недели назад.

[/q]

Глубина архива не имеет ограничений.


Игорь Нежданов написал:

[q]

А можно поподробнее - как это реализовано?

[/q]

Посмотрите: мониторинг новостей, подробнее о рубриках, пробуйте на демонстрационном примере прогнозы аналитиков 2.

Vinni написал:

[q]

ну для такой задачи лучше всего свой SQL-запрос написать для получения такого отчета - задача-то нестандартная выходит

[/q]

не знаком я с этим зверем. Вот с кроносом да , с аксесом вроде тоже понимаем друг друга . А с сиквелом - ну никак


Alexei Mylnikov написал:

[q]

Игорь Нежданов написал:

[q]

Это если глубина архива равна двум (сегодня и прошлый раз). А мне нужно хотя бы десяток "этажей". Мне нужно понять какие изменения произошли сегодня, какие вчера, какие позавчера,.... какие две недели назад.

[/q]

Глубина архива не имеет ограничений.

[/q]

Т.е. в имеющейся версии СайтСпутника отдельно сохраняется каждое обновление запроса?

Так как на кадровых сайтах каждая вакансия имеет свою ссылку, то будет достаточно и списка ссылок.

Так что СайтСпутник вполне в состоянии автоматизировать большую часть рутинной работы для такой задачи.

Alexei Mylnikov написал:

[q]

Да. Вы только выполняйте очередной запрос не поверх (не на месте) предыдущего, а на новом месте (через "Золотой ключик", а не через "Глобус с линзой").

[/q]

Если так делать, то получается совершенно новый запрос и никакого сравнени не происходит видимо я не туда кликаю....


Семёныч написал:

[q]

Именно так. Название запроса одинаковое, даты разные, открывая выбранные запросы, видим зелёным цветом выделены новые ссылки (новые по отношению к предыдущим). Если в первом запросе закачать все актуальные ссылки, то потом можно будет только подкачивать вновь появившиеся. Закачивать лучше, чтоб потом не путаться (сниппеты не полностью отображают информацию).

[/q]

Мужчина, вы в субботу будете? Если да - пальцем покажешь куда кликнут? А то что то никак не соображу.....

Сограждане - "помедленнее пожалуйста - я записыаю...."

Alexei Mylnikov написал:

[q]

Ещё можно воспользоваться буфером обмена и через него восстановить текст нужного запроса.

[/q]

С этим проблем не возникает - скопировать нужный запрос и повторить его под новым именем (или под старым с суффиксом ~Х) - это легко. Сложность возникает в последствии - в сравнении. Если использовать механизм обновления заложенный в СайтСпутнике, то новые ссылки подсвечиваются. А ежели каждый день по новой запускать запрос, то этой подсветки (сравнения) нет. И выверять нужно вручную. Вот где затык то. К стати "Взятие разности" видимо тоже поможет лишь частично - выявит что появилось нового. А вот что пропало в новом запросе по сравнению со старым - не покажет.

Как вариант должна помочь выгрузка в Excel списка ссылок, но после выгрузки верификация мновь почти в ручную (с использованием иснтрументария Excel).

Alexei Mylnikov написал:

[q]

Для того, чтобы определить что появилось нового из нового выполнения запросы надо вычесть старое.
Для того, чтобы увидеть, что пропало, наоборот, из старого надо вычесть новое.

[/q]

О... точно! - вот это уже вариант. Спасибо!


Alexei Mylnikov написал:

[q]

Сравнение есть! Смотрите внимательнее.
На всякий случай проверьте не отключено ли оно у Вас в "Настройка - Параметры - Мониторинг" первый параметр.

[/q]

Проверил - включено. Но как использовать не могу понять

У меня складывается ощущение, что мы говорим о разных вещах


Alexei Mylnikov написал:

[q]

У Вас список "Новые" создается?

[/q]

Да

Alexei Mylnikov написал:

[q]

Сколько в нем сниппетов?

[/q]

По разному. Сейчас пять.

Alexei Mylnikov написал:

[q]

В каком сценарии у Вас не видно новых ссылок?

[/q]

Новые ссылки видны. Но мне нужно НЕ только новые. Мне нужно посмотреть какие изменения были вчера. Какие позавчера. Какие неделю нахад..... Можно это увидеть? И если да то как?

Alexei Mylnikov написал:

[q]

1. Изменения чего: ссылок, контента ссылок, появление новых ссылок ?

[/q]

Появление новых ссылок


Alexei Mylnikov написал:

[q]

2. Изменения относительно чего: того, что было 3 дня назад относительно того что было 7 дней назад?

[/q]

Сегодняшнее по сравнению со вчерашним, вчерашнего с позавчерашним, позавчерашнее с поза-позавчерашним....


Alexei Mylnikov написал:

[q]

3. Отслеживалась ли обстановка по объекту в течение 7 дней или задача была задана сегодня?

[/q]

Да - ежедневно


Alexei Mylnikov написал:

[q]

4. Можно ли привести пример задачи из реальной практики?

[/q]

Отслеживание изменений рекрутинговой политики компаний (поиск сотрудников). Периодичность от ежедневно, до раз в неделю.

Alexei Mylnikov написал:

[q]

Тогда чем Вас не устраивает ежедневное или еженедельно выполнение пакета, собирающего списки ссылок на заданную тему?

[/q]

всем устраивает. Но как увидеть какие изменения были вчера, какие позавчера, какие неделю назад? При условии, что обновление делается ежедневно.

Alexei Mylnikov написал:

[q]

Если обновление делается ежедневно и требуется узнать какие вакансии искались неделю назад, то становитесь в БД "Поиск в Интернете" на запрос, сделанный неделю назад и смотрите список "Новые".

[/q]

Чтобы это сделать нужно каждый раз выполнять запрос по новой, а не обновлять уже имеющийся (иначе доступен только один (последний) результат). А если каждый раз выполнять запрос по новой, то НЕ выявляются новые ссылки и естественно НЕ подсвечиваются. Речь идет о работе в блоке "Поиск в интернете".

Есть ли возможность отработки сложных запросов, пакетов, ассемблеров и сценариев в блоке "Мониторинг"? Если такая возможность есть, то там сохраняется вся история.

Вы, надеюсь, при работе по новой не удаляете предыдущие результаты работы.

Итак, после практически индивидуальной консультации, я таки научился делать ЭТО!!! С согласия автора СайтСпутника рассказываю что и как.

Для начала (исключительно для удобства) нужно создать в папке Condition Files , что в папке СайтСпутника на диске, папку под регулярные задачи. Я назвал ее "Мониторинг" - а вообще кому как приятнее так и называйте. Затем рекомендую в запущенном СайтСпутнике в разделе "Поиск в интернете" создать такуюже папку (в моем случае "Мониторинг"). И уже в ней сделать столько папок, сколько у вас будет пакетов на мониторинге или регулярно выполняемых пакетов - под каждый пакет своя папка. Так точно ничего не перепутаете. Всё - подготовка закончена.

Теперь обычным способом создаете задание (пакет, набор пакетов, ассемблер...) и запускаете. Но окончании его работы в корне папки Condition Files будет создан файл с названием совпадающим с созданным вами заданием. Аккуратно его скопируйте (именно скопируйте, а не перенесите) в папку "Мониторинг".

Теперь работаем только в открытой программе СайтСпутник - когда нужно будет повторить задание, активируете ту папку в разделе "Поиск в интеренете" СайтСпутника, в которой накапливаете результаты по данному заданию (выделяете ее), открываете через "Золотой ключик" "Пакет запросов". Нажимаете кнопку "Обзор" , что внизу формы. И открыв папку "Мониторинг" выбираете тот пакет, который хотите запустить. И жмете кнопку "Совместно".

Всё! - каждый новый запуск НЕ убирает результаты предыдущих запусков, а прописывается ниже. И всегда можно посмотреть что было вчера, позавчера, неделю назад...

Удачи!
Мне сильно облегчило работу.

Игорь Нежданов написал:

[q]

Мне сильно облегчило работу.

[/q]

То, о чем идет речь в этой теме называется в СайтСпутнике "Мониторинг поиска".

В этом мониторинге поиска, на мой взгляд, - один из плюсов СайтСпутника. В отличие от других программ на мониторинг ставится большой пакет из разных запросов, с разными поисковиками, с просмотром на заданную глубину страниц поисковиков. По одному клику мышки пользователь получает список "Новые", содержащий только новые ссылки, появившиеся со времени последнего запуска этого же большого пакета.

В других программах, чтобы отследить подобную "обстановку" по теме требуется ставить на мониторинг много много отдельных страниц поисковиков и поисков по сайтам, а потом прыгать от одной к другой, очень часто сталкиваюсь с дублями ссылок. Глубина просмотра поисковых страниц в таких подходах ограничивается одной страницей, так как вторую ставить на мониторинг нет смысла - на нее будут переползать ссылки с первой страницы, и Вы окончательно запутаетесь, где новая, а где старая ссылка.

Как этим воспользоваться. Надо один и то же запрос или пакет просто периодически запускать и просматривать список "Новые". И это всё.

В предыдущем своем сообщении Игорь посоветовал создавать вложенные папки в папке "Condition Files" и раскладывать в них свои пакеты, аналогично тому, как Tungus1973 сделал это для папки "Condition Forms", содержащий пакеты с параметрами, а также создавать вложенные папки и в БД "Поиск в Интернете".