Форум Сообщества Практиков Конкурентной разведки (СПКР)

Да - хороший плагин для СайтСпутника, позволяющий делать значительно больше. Первое это то, что сама система рубрик это фактически дополнительный фильтр. Основной фильтр в соответствующем пакете (так сказать фильтр грубой очистки), а в каждой рубрике еще один фильтр (тонкий). В результате на выходе более релевантная информация. А второе - работа с полнотекстовым документом - пользователь получает весь заинтересовавший его текст, а не сниппет.

А к Invisible можно News прикрутить или это совсем разные программы получаются?

Как было упомянуто Выше, применение SiteSputnik News возможно не только для собственно новостей, но и для прочих однородных объектов.

В данном сообщении речь пойдет о мониторинге резюме с job-сайтов. Адреса нескольких источников мне любезно предоставила Елена Ларина.

Последовательность действий такова.

1. Подключил пять рекрутинговых источников:

e-prof.ru
finstaff.ru
it-rabota.ru
rabota.mail.ru
job.qip.ru

и поместил их в сценарий "Соискатели".


2. Составил пакет: поиск новых резюме соискателей на должность директора.
Вот этот пакеты:

^^Новости;
^^Рубрики\Резюме
директор || Соискатели=1

Первый оператор - признак новостного пакета,
второй адрес Рубрики (этот оператор необязательный),
третий - собственно метапоиск по рекрутинговым сайтам.

3. Отправил пакет на выполнение.

4. Получил результаты, которые размещены прикрепленном файле.

Суть результатов такова. СайтСпутник прошёл по пяти источникам, нашёл новые резюме соискателей по прописанной в пакете специальности, открыл страницы с резюме, выделил значимую информацию (само резюме очищенное от "мусора") и составил из найденных резюме новостную ленту (она как раз и приведена в прикрепленном файле).

Пакеты запускались вчера. Сегодня их выполнение принесло новые результаты - резюме, которых не было в предыдущих поисках.

Кроме этого, в специально подготовленные папки, вложенные в папку "Рубрики\Резюме", резюме соискателей были разложены по "полочкам":

Языки: Английский язык, итальянский, ...,
Фирмы: Газпром, СургутНефтегаз,...
Ученые степени: к.т.н, к.э.н, д.ф-м.н, ...,
Компьютерные навыки: Word, Excel, 1C, ...
и так далее.

Это всё, но напрашивается аналитическая обработка Рубрик, например, поиск кандидатов, удовлетворяющих заданному перечню Рубрик (сразу нескольким критериям).
Пока или уже! СайтСпутник Новости умеет это делать в рамках выполнения одного пакета. Если задать поиск поглубже, то с большей вероятностью можно найти подобных соискателей.

tungus1973 написал:

[q]

Вопрос в тему: расскажите, пожалуйста, как подключали сайт it-rabota.ru? Там стоит php-скрипт. Ключевые слова не отображаются в адресной строке, СайтСпутник не принимает этот адрес.

[/q]

В данном случае, взял адрес внизу, там где переход к i-ой странице, первую страницу.
tungus1973 написал:

[q]

Проблема с сайтом finstaff.ru - не находит ключевые слова "сайт", "это". Что сделать?

[/q]

Берите слово "я".

Сценарий "Соискатели" - в прикрепленном файле.

В файле два сценария - один для поиска людей, а другой для поиска вакансий. В обоих этот сайт есть.

ЗЫ
криво прицепился файл - это *.rar

tungus1973 написал:

[q]

Спасибо!
Еще интересует сам процесс подключения. Как были найдены шаблоны начала блока?

[/q]

Вот ты какой... не помню - давно это было. Вот приедешь на встречу - я тебе на пальцах объясню

Вот здесь на видеоролике продемонстрировано как в программе SiteSputnik News можно отслеживать (мониторить) появление новых резюме сразу на пяти рекрутинговых сайтах: e-prof.ru, finstaff.ru, it-rabota.ru, rabota.mail.ru, job.qip.ru. СайтСпутник опрашивает перечисленные сайты, определяет страницы, на которых появились новые резюме, автоматически выделяет только принадлежащую резюме информацию, оформляет ее в виде новостной ленты и раскладывает резюме по Рубрикам (в ролике задействовани только одна Рубрика для принципиальной демонстрации процесса работы).

Alexei Mylnikov написал:

[q]

Вот здесь на видеоролике продемонстрировано как в программе SiteSputnik News можно отслеживать (мониторить) появление новых резюме

[/q]

На мой взгляд, это не что иное, как формирование собственной новостной ленты из новых резюме соискателей на вакантную должность, "добываемых" сразу из нескольких кадровых сайтов.

Елена, а можно про форумы, на которых ищут работу, по подробнее - очень интересно.

Elena_Larina написал:

[q]

А "Мой круг" превратился просто в рекрутинговую сеть.

[/q]

Классно! Спасибо, Елена. Не смотрел под таким углом на него раньше.

В версии SiteSputnik 7.0, вышедшей вчера 01.03.2011г., завершен очередной этап реализации модуля SiteSputnik News .
В ближайшие месяцы функционал SiteSputnik News получит свое дальнейшее развитие и совершенствование.
В настоящий момент это уже реально помогает, работает и может быть использовано.

Назначение SiteSputnik News.
Этот программый модуль позволяет автоматизировать сбор и мониторинг информации, поступающей на несколько источников в реальном масштабе времени.
Его применение целесообразно при мониторинге огромных потоков информации: когда тем, источников, критериев отбора и самой информации так много,
что физически переработать этот поток невозможно ни при помощи великолепной Яндекс.Подписки, ни других доступных инструментов.

SiteSputnik News поддерживает следующие функциональные возможности.

1. Создание собственных новостных лент.
Для каждой темы пользователь может подключить нужные источники и определить критерии выбора из них информации.
Пример создания собственной новостной ленты для отслеживания новых резюме соискателей здесь - www.youtube.com/watch?v=lzaPA6cy4m0
Этот пример показывает, что в качестве новости можут быть задействованы не только собственно новости.

2. Работа с полнотекстовыми документоми.
Пользователь имеет дело с текстами новостей, а не с их частью или сниппетом.
У него нет необходимости открывать ссылку, чтобы ознакомиться с новостью.

3. Два уровня критериев выбора новостей.
Можно прописывать два уровня критериев выбора новостей: а) в запросе к источнику; б) в "Рубриках".
В терминологии Игоря Нежданова - это фильтры грубой и тонкой очистки.

4. Текст новости поставляется в очищенном от мусора виде.
Вся информация, отружающая новость, отбрасывается.
Это не только удобно пользователю, но и является необходимым условием для обеспечения очень точного попадания новости в нужные Рубрики,
поскольку отсутствует "побочный эффект", а именно: попадание новости в Рубрику из-за того, что ключевые слова присутствуют в мусоре.
По грубой оценке, страница, содержащая новость, на половину состоит из мусора.

5. Тематические новостные ленты.
Из основной новостной ленты формируются тематические новостные ленты: в каждую Рубрику попадают не только отдельные новости,
но и составляется специальный список из этих новостей, называемый "Всё по рубрике".

6. Список Новость-рубрики.
Для каждой Новости формируется список всех Рубрик, в которые она попала.
Это позволяет обнаружить те Новости (ссылки), на которых присутствует информационный максимум, другими словами, пересекаются несколько критериев отбора информации (несколько объектов).
Например, если у нас есть Рубрики "Фирма-А", "Фирма-Б", "Фирма-С", то данный список позволяет обнаружить новости, где все три фирмы упомянуты;
или если есть Рубрики "Директор", "Металлург", "Автоматизация техпроцессов", то данный список поможет обнаружить резюме, удовлетворяющее всем трем критериям.

7. Отсев новостей с одинаковым контентом (содержанием).
Новости из разных источников с одинаковым содержанием в выдачу повторно не попадают (реализовано пока в рамках выполнения одного задания).
Отсев повторно найденных ссылок (адресов ссылок) для всех ранее выполненных заданий остается в силе.

8. Возможность подключения внутренних поисков.
Это поиск и мониторинг так называемого "серого интернета", причем всего сайта и его актуального состояния, а не какой-то части сайта двухнедельной давности.
Информация из серого интернета также может быть помещена в ленту.

9. Подключение Яндекс.Подписки.
Можно оформить Яндекс.Подписку в Internet Explorer и использовать её в качестве одного из источников в формируемой собственной новостной ленте.
В прикрепленном файле содержится сценарий с обращением к Яндекс.Подписке.

10. Сохраняется вся история работы с новостными лентами:
- все найденные ссылки в исходном виде на момент мониторинга и адрес ссылки,
- все созданные новостные ленты и тематические новостные ленты,
- все "очищенные" контенты новостей, попавшие в Рубрики.

11. Манипулирование лентами.
а) Можно объединять ленты:
- операция "Аналитическое объединение задач" или "Аналитическое объединение";
- на уровне запроса (в пакете запросов).
Б) Можно вычитать содержание одной ленты из другой: операция "Взятие разности".

12. Выполнение работ по расписанию.

tungus1973 написал:

[q]

Alexei Mylnikov написал:

[q]

8. Возможность подключения внутренних поисков...

[/q]

Alexei Mylnikov, можно об этом поподробнее? Что здесь имеется виду?

[/q]

Подключаете источник (встроенный поиск по сайту) при помощи Мастера и прописываете его в новостном пакете.

Видиоролик о мониторинге тендеров.
Продемонстрировано как в программе SiteSputnik News (СайтСпутник Новости) можно отслеживать появление новых тендерных предложений сразу на шести сайтах, на которых размещаются сведения об электорнных аукционах: etp-micex.ru, multitender.ru, etp.zakazrf.ru, bicotender.ru, is-zakupki.ru, rts-tender.ru. СайтСпутник опрашивает перечисленные сайты, определяет страницы, на которых появились новые предложения, автоматически выделяет только принадлежащую аукциону информацию, оформляет ее в виде новостной ленты и раскладывает по Рубрикам.

Класс!!!
Спасибо, Алексей Борисович!!!

Игорь Нежданов написал:

[q]

Да - это весьма полезный функционал.
Спасибо!

Еще бы с точным набором символов сделать так чтоб отрабатывался именно точный набор символов без каких либо вариантов.

[/q]

Точная фраза или слово заключается в одинарные кавычки.

Alexei Mylnikov, скажите пожалуйста, если мне будет необходимо внести изменения или дополнения в новостной пакет и продолжить мониторинг темы, то к какой именно пакет нужно вносить изменения:
- в начальный пакет, помещенный в папку "FileForFiles\Condition Files\Новости";
- в первый пакет мониторинга "FileForFiles\Condition Files\тема~1.txt";
- в последний пакет мониторинга "FileForFiles\Condition Files\тема~36.txt"?

Логично было предположить, что вносить изменения нужно в изначальный пакет, который размещен в папке "Новости", но это у меня не получилось.

Alexei Mylnikov написал:

[q]

Кнопки "Сохранить как" пока нет. Сделаю её в ближайшее время.

[/q]

В новой версии можно для Пакетов запросов выдолнять действие "Сохранить как".
Оно прикреплено к клику правой кнопки мышки на кнопке "Обзор":