Мастер подключения поисковиков, сайтов и RSS-потоков

Форум Сообщества Практиков Конкурентной разведки (СПКР)

Конкурентная разведка, Бизнес-разведка, Корпоративная разведка,
Деловая разведка по открытым источникам в бизнесе.
Работаем строго в рамках закона.

Дезинформация и активные мероприятия в бизнесе
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Библиотека источников и иструменты её создания и ведения »   Мастер подключения поисковиков, сайтов и RSS-потоков
RSS

Мастер подключения поисковиков, сайтов и RSS-потоков

  Вперед>>Страницы: 1 2 3 * 4 5 6 7 8 9
Печать
 
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
Троекратное пожалуйста.

petryashov написал:
[q]
Алексей, я сейчас активно занимаюсь подключением в сценарии ряда технических сайтов с системой поиска. Например, вот такого : www.elec.ru Хочу создать библиотеку таких сценариев и выкладывать их, например, на данном форуме, как это в свое время сделал ув. Тунгус 1973 с пакетами с параметрами.Если будете выкладывать их на своем сайте, возражать также не буду. Пока не могу разобраться, как это можно сделать. . Подскажите, пожалуйста!
[/q]

Подсказал.
По поводу выкладывания на форуме и на моем сайте - я "за".

tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 793
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009
Для: Alexei Mylnikov
Хотелось бы проводить сбор информации с онлайн-сервисов типа СКРИН, публикации ФНС: такие, такие, такие и такие.
К сожалению, в них требуется указывать ИНН / ОГРН, а "СайтСпутник" работает только со словами "я", "это" и "сайт". Нельзя ли в каких-нибудь будущих версиях программы предусмотреть ввод ключевого слова пользователем? Например, введу я при подключении поисковика номер ИНН, и этот же ИНН введу в СайтСпутник для распознавания начала-конца текстового блока.

Один раз я встретился с поисковиком электронного СМИ, который принципиально не принимал слова короче 5 символов. Поэтому я так и не смог подключить его через "я", "это" и "сайт". Ввод ключевого слова мог бы решить и эту проблему.
Игорь Нежданов
Модератор форума
Прагматик
Откуда: Советский Союз
Всего сообщений: 1025
Рейтинг пользователя: 13


Ссылка


Дата регистрации на форуме:
7 июня 2009
Да - тоже сталкивался с такими особенностями.

---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
Мастер обязательно будет развиваться и сопровождаться. Здесь можно сделать много полезных усовершенствований.

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009


В Мастер подключения новых источников информации добавлено поле "Номер главной ссылки в сниппете" (см. третье окошко на картинке выше).
Интервал допустимых значений для этого параметра: [0,127].
Это удобно для некоторых сайтов, например, если они формируют выдачу в виде таблички.
Подобное бывает на форумах, электронных аукционах и некоторых других источниках (сайтах).
Как правило, в подобных случаях нужная информация находится не на первой ссылке сниппета.
Может пригодиться и в других случаях: например, в блогах Яндекса второй ссылкой идет "Показать полный текст".

Подробнее о нулевом значении параметра.
В SiteSputnik News его применение позволяет разложить по полочкам (по Рубрикам) сами сниппеты.
Существуют также поиски и новостные страницы, сниппеты и новостные блоки которых не содержат ссылок - вся информация содержится в самом сниппете.

Это доступно в SiteSputnik 7.1.5. Подкачаться можно из главного меню: "? - Проверить наличие обновлений".

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
В новой версии программы SiteSputnik 7.1.6 от 18.05.11 усовершенствован Мастер подключения источников информации.

В предыдущих версиях было подключение:
- поисковиков и встроенных в сайты поисков, использующих GET-метод передачи данных.

В новой версии доработано или реализовано подключение:

- RSS-потоков,
- произвольных веб-страниц,
- встроенных в сайты поисков, использующих POST-метод передачи данных.

Пояснения к тому, как подключать различные типы источников.



1. Подключение встроенных в сайты поисков, в которых используется GET-метод передачи данных. Оно не претерпело изменений - используется URL первой поисковой страницы по запросам: сайт, это или я, - и нажимается кнопка "Открыть".

2. Подключение RSS-потоков. Используется URL потока и на кнопке "Открыть" нажимается правая кнопка мышки.



3. Подключение произвольных страниц сайтов . Используется URL подключаемой страницы, снимается галочка, обведенная синей окружностью и на кнопке "Открыть" нажимается правая кнопка мышки.

4. Подключение встроенных в сайты поисков, в которых используется POST-метод передачи данных. Используется URL с обращением к поиску, устанавливается галочка, вводится запрос (на картинке это "сайт"), имя кнопки ("Найти") и расстояние от кнопки до поля ввода запроса ("1") и на кнопке "Открыть" нажимается правая кнопка мышки.

POST-метод в отличие от GET-метода не передает через URL параметр поиска (текст запроса), соответственно, пользователь не может увидеть его в URL.

Новые виды источников могут быть задействованы в SiteSputnik News для мониторинга СМИ, новостных и других источников информации.

Подробнее в инструкции по применению Мастера подключения источников информации.

Игорь Нежданов
Модератор форума
Прагматик
Откуда: Советский Союз
Всего сообщений: 1025
Рейтинг пользователя: 13


Ссылка


Дата регистрации на форуме:
7 июня 2009
Вот это очень хорошая новость!
Спасибо!

---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 793
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009
Спасибо, Алексей Борисович!!! :good: :hi:
CI-KP
Администратор

Откуда: Екатеринбург
Всего сообщений: 5565
Рейтинг пользователя: 24


Ссылка


Дата регистрации на форуме:
15 мая 2009

Алексей Мыльников написал:
[q]
Подключение произвольных страниц сайтов
[/q]

А что Сайтспутник делает с произвольной страницей сайта? Изменения на ней, подобно Вебсайт вочеру отслеживает или что-то другое?

---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru
Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь.
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

CI-KP написал:
[q]
А что Сайтспутник делает с произвольной страницей сайта? Изменения на ней, подобно Вебсайт вочеру отслеживает или что-то другое?
[/q]

Хороший вопрос.

СайтСпутник делает оба варианта.

1. Можно как в Вотчере отслеживать и выделять цветом изменение контента страниц плюс сохранять историю этих изменений (реализована пока бета-версия такого мониторинга), но это не главное, важнее второй пункт.

2. Можно подключить произвольную страницу и использовать ее в SiteSputnik News для мониторинга новостей, причем можно страницу подключить несколько раз, если на ней несколько видов новостных "потоков". Например, если взять gazeta.ru, то только с её главной страницы можно снимать несколько потоков информации, а именно:

- слева постоянно меняется колонка "Новость часа",
- справа также периодически изменяется колонка, в ней другие новости,
- в середине основной новостной поток газеты,
- еще есть несколько блоков новостной информации другого вида.

Практически все эти потоки в программе СайтСпутник уже можно подключить и мониторить по полной программе с разнесением информации по Рубрикам.
Это не исключает подключение RSS-потока (он есть и приносит по 15 новостей) и встроенного поиска по сайту, а дополняет эти возможности.

  Вперед>>Страницы: 1 2 3 * 4 5 6 7 8 9
Печать
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Библиотека источников и иструменты её создания и ведения »   Мастер подключения поисковиков, сайтов и RSS-потоков
RSS

Последние RSS
Учебник по конкурентной разведке
Конкурентная разведка: маркетинг рисков и возможностей
Книга "История частной разведки США"
Книга "Нетворкинг для разведчиков"
Поиск и сбор информации в интернете в программе СайтСпутник
Новые видеоуроки по программе СайтСпутник для начинающих
Технологическая разведка
SiteSputnik. Мониторинг Телеграм
СайтСпутник: возврат к ранее установленной версии
SiteSputnik. Доступ к результатам работы из браузера
Анализ URL
Браузер для анонимной работы
Топливно-энергетический комплекс
Профессиональные сообщества СБ
Несколько Проектов в одном, выполнение Проектов по частям
SiteSputnik-Bot: Боты в программе СайтСпутник
К вопросу о телеграм
SiteSputnik: Автозамены до и после Рубрикации или Перевода
Демо-доступ к ИАС социальных сетей
Лог-файл в программе СайтСпутник

Самые активные 20 тем RSS