Версия для печати

-   Форум Сообщества Практиков Конкурентной разведки (СПКР) http://forum.razved.info/
--  Библиотека источников и иструменты её создания и ведения http://forum.razved.info//index.php?f=79
--- SiteSputnik: Подключение источников с параметрами http://forum.razved.info//index.php?t=4145

В версии программы SiteSputnik 8.5.5 от 01.08.13 продолжено развитие Мастера подключения источников информации: реализована работа с параметрами поиска и выбора информации из источника.

Рассмотрим новые возможности Мастера на конкретном примере: детализация поиска и выбора информации с источника _http://elibrary.ru/ - Научная электронная библиотека.

Продолжение следует...

ШАГ 1.

Открываем Мастер: "Главное меню - Интернет - Мастер подключеня новых источников"

(http://sitesputnik.ru/Help/Pic/F/MII_page_1.jpg)

и на его первой вкладке:

- вводим адрес страницы расширенного поиска _http://elibrary.ru/querybox.asp?scope=newquery (зелёная стрелка) (если бы сайт требовал авторизации, то мы нажали бы на кнопку "Авторизация" и авторизовались бы в СайтСпутнике);

- указываем, что поиск осуществляется по кнопке "Поиск" (коричневая стрелка), оставляем смещение поля запроса относительно кнопки "Поиск" (черная стрелка) равным 1 (если это окажется не так, то СайтСпутник подскажет нужное смещение);

- нажимаем на кнопку "Открыть" (правую кнопку мышки) (серая стрелка).

После этого видим, в окне встроенного в СайтСпутник браузера,

(http://sitesputnik.ru/Help/Pic/F/MII_Browser_1.jpg)

что запрос "сайт" попал на свое место в поле "Что искать" (зеленая стрелка), значит не надо пользоваться подсказкой Мастера и повторять шаг 1 с другим смещением.

Коричневая стрелка на картинке показывает на кнопку "Поиск". Именно её мы установили на первой картинке (тоже коричневая стрелка).

Продолжение следует...

Мастер СайтСпутника откроет поисковую страницу по запросу "сайт" и перейдет на свою вторую вкладку.

(http://sitesputnik.ru/Help/Pic/F/MII_page_2.jpg)

ШАГ 3.

На второй вкладке мы определим признаки начала сниппета (зеленая стрелка) и следующей страницы (коричневая стрелка). В данном случае правильно срабатывают кнопки "Автоматически" (серые стрелки).

Замечание.
Иногда признаки начала сниппета и следующей страницы следует определить позднее, после выбора параметров, так как параметры могут изменять формат выдачи.

Продолжение следует...

ШАГ 3.

Переходим на третью вкладку Мастера:

(http://sitesputnik.ru/Help/Pic/F/MII_page_3.jpg)

и проверяем работоспособность подключенния источника (зеленая стрелка) по одному параметру, например, по запросу "Интернет". Убеждаемся, что всё работает правильно. Для этого можно открыть свой любимый браузер, выполнить в нем поиск по запросу "Интернет" и сравнить его выдачу с выдачей СайтСпутника.

Таким образом, мы подключили поиск по одному параметру - по запросу. Если этого достаточно для Пользователя, то он может запомнить его в "Настройке поиска" и закончить работу. Это уже было в предыдущей версии программы SiteSputnik. Далее переходим к новым возможностям, реализованным в версии 8.5.5.

Продолжение следует...

ШАГ 4.

Введем дополнительные параметры поиска. Для этого нажимаем на кнопку "Ввести параметры" (красная стрелка на картинке выше) и в окне встроенного браузера делаем, например, следующее (зеленые стрелки):

(http://sitesputnik.ru/Help/Pic/F/MII_Browser_2.jpg)

- устанавливаем галочку для параметра "в полном тексте публикации",
- в "Тематику" через кнопку "Добавить", по которой откроется меню в IE, добавляем две темы (серая стрелка),
- устанавливаем интересующие годы публикации,
- изменяем вид сортировки.

(http://sitesputnik.ru/Help/Pic/F/MII_page_3_B.jpg)

Установив нужные параметры, сохраняем их (коричневая стрелка на картинке выше) и делаем проверку "налету" уже с учетом дополнительных параметров. Для верности можно повторить эти же действия в Вашем любимом браузере и сравнить результаты, полученные в нем и в программе SiteSputnik.

Продолжение следует...

ШАГ 5.

Переходим на четвертую вкладку Мастера и регистрируем источник с прописанными параметрами в новом или уже существующем сценарии. После чего можем использовать его в любых пакетах. Поверять работоспособность "налету" всего сценария совсем не обязательно.

Продолжение следует ...

Рассмотрим другой конкретный пример: детализация поиска по данному форуму.

Мне, например, интересно отслеживать информацию по программе SiteSputnik (http://sitesputnik.ru/), появляющуюся не в темах о программе (не в разделе forum.razved.info/index.php?ct=7&f=0 , где я всегда увижу появление нового), а в других разделах.
При этом ещё интересно получать выдачу отсортированную по дате и не группировать сообщения по разделам.

Другими словами, требуется один раз прописать нужные параметры поиска и выбора информации с форума СПКР, а затем периодически пользоваться ими по одному клику мышки.

Открываем Мастер и на первой вкладке:

- вводим адрес поисковой страницы по форуму forum.razved.info/index.php?m=search;

- указываем, что поиск осуществляется по кнопке "Искать", оставляем смещение равным 1;

- нажимаем на кнопку "Открыть" (правую кнопку мышки).

Источник forum.razved.info/ вернёт сообщение "Не выбран ни один раздел" (редкий случай, как правило, если разделы не выбраны, то ищется во всех разделах). Это не страшно, нажимаем на кнопку "OK" и дожидаемся открытия страницы.

Видим, что запрос "сайт" не попал в поле "Текст для поиска" (см. картинку ниже зеленую стрелку),

(http://sitesputnik.ru/Help/Pic/F/MII_Browser_3.jpg)

На первой вкладке Мастера (см. следующую картинку) видим подсказку (красная стрелка) о том, какие смещения рекомендуется попробовать выбрать.

(http://sitesputnik.ru/Help/Pic/F/MII_page_1_2.jpg)

Наиболее вероятное смещение - 19. Оно определилась по трём признакам. Устанавливаем его вместо 1 и нажимаем правой кнопкой мышки на кнопку "Открыть". В окне встроенного браузера видим, что запрос "сайт" попал на свое место в окно "Текст для поиска".

Продолжение следует...

Если бы поиск по форуму выдал в данный момент, как это было при работе с предыдущим источником, результат, то мы могли бы на второй вкладке Мастера определить признаки начала сниппета и следующей страницы. Но поскольку выдача пуста и для её получения требуется выбрать разделы, в которых осуществляется поиск, переходим к третьей вкладке Мастера и нажимает на кнопку "Ввести параметры".

Получаем во встроенном браузере следующую картинку, на которой вводим нужные параметры,

(http://sitesputnik.ru/Help/Pic/F/MII_Browser_4.jpg)

а именно:
- максимальную дату отправки сообщения - 31.12.2020,
- сортировать по дате,
- не группировать сообщения по разделам,
- выбираем нужные разделы поиска, можно это сделать следующим образом: нажать на "Выделить все", затем по Ctrl+КЛИК отказаться от тем из раздела "СайтСпутник (SiteSputnik)".

Параметры выбраны, запоминает их. Для этого нажимаем на кнопку "Сохранить параметры".

Продолжение следует...

Далее нажимаем на кнопку "Проверить работоспособность подключаемого ИИ "налету"", вводим запрос, например, "сайтспутник" и выполняем поиск.

Поскольку мы ещё не определили признаки начала сниппета и следующей страницы, то выдача будет пуста. Для определения признаков переходим на первую страницу в нижней табличке (см. картинку ниже),

(http://sitesputnik.ru/Help/Pic/F/MII_Browser_5.jpg)

затем на вторую вкладку Мастера и определяем признаки. Они таковы:

<TD class=postentry
>2</A>клик<

Теперь проверяем работоспособность "налету" и смотрим выдачу. Можно открыть Ваш любимый браузер, провести в нем аналогичный поиск и сверить результаты в нем и в СайтСпутнике.

Продолжение следует...





---

-- Алексей Мыльников написал 1 августа 2013 11:29


Переходим на четвертую вкладку Мастера и регистрируем созданный поиск с нужным именем (его мы можем изменить на третьей вкладке) и в нужном сценарии (новом или уже существующем).

Если поиску дадим имя "СПКР - СС в других разделах", а сценарию "Поиски по форумам", то сформировав пакет из одного запроса:

сайтспутник | sitesputnik | "сайт спутник" | "site sputnik" | Мыльников || Поиски по форумам->СПКР - СС в других разделах=100

мы можем периодически по нажатию одной кнопки выполнять поиск и в списке "Новые" наблюдать, что нового появилось на форуме СПКР о программе СайтСпутник в темах, которые не находятся в разделах "СайтСпутник (SiteSputnik)". Здесь даже достаточно иметь вариант SiteSputnik Pro. Если же есть SiteSputnik News, то сообщения о СайтСпутнике можно отправлять в соответствующие Рубрики.

Если включить этот пакет в Планировщик, то по одной кнопке можно будет отслеживать нужную информацию вместе с другими работами.

Конечно, все источники по всем параметрам подключить нельзя, но, в целом, возможности поиска, сбора и мониторинга информации на заданные темы в программе SiteSputnik расширились.






---

-- petryashov написал 1 августа 2013 14:36
по e-library хочу сразу предупредить, что на сайте существует блокировка ip адреса в случае подозрительный активности, коей и является использование Сайтспутника...



---

-- petryashov написал 1 августа 2013 14:39
Алексей, сможете сделать так, чтобы по ссылкам на pdf на выше указанном сайте можно было скачать их содержимое, а не только анонсы?



---

-- Алексей Мыльников написал 1 августа 2013 16:16

petryashov написал:

[q]

по e-library хочу сразу предупредить, что на сайте существует блокировка ip адреса в случае подозрительный активности, коей и является использование Сайтспутника...

[/q]


Вы этот источник подключите "по дате", а не по "релевантности", тогда будет достаточно качать не глубоко, если Вы новые поступления отслеживаете.

petryashov написал:

[q]

Алексей, сможете сделать так, чтобы по ссылкам на pdf на выше указанном сайте можно было скачать их содержимое, а не только анонсы?

[/q]


Реализация этого в будущем предусмотрена.




---

Этот форум работает на скрипте Intellect Board
© 2004-2007, 4X_Pro, Объединенный Открытый Проект