Форум Сообщества Практиков Конкурентной разведки (СПКР) » Библиотека источников и иструменты её создания и ведения » Мастер подключения поисковиков, сайтов и RSS-потоков |
Вперед>> | Страницы: 1 2 3 * 4 5 6 7 8 9 | Печать |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 877 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
В Мастер подключения новых источников информации добавлено поле "Номер главной ссылки в сниппете" (см. третье окошко на картинке выше). Интервал допустимых значений для этого параметра: [0,127]. Это удобно для некоторых сайтов, например, если они формируют выдачу в виде таблички. Подобное бывает на форумах, электронных аукционах и некоторых других источниках (сайтах). Как правило, в подобных случаях нужная информация находится не на первой ссылке сниппета. Может пригодиться и в других случаях: например, в блогах Яндекса второй ссылкой идет "Показать полный текст". Подробнее о нулевом значении параметра. В SiteSputnik News его применение позволяет разложить по полочкам (по Рубрикам) сами сниппеты. Существуют также поиски и новостные страницы, сниппеты и новостные блоки которых не содержат ссылок - вся информация содержится в самом сниппете. Это доступно в SiteSputnik 7.1.5. Подкачаться можно из главного меню: "? - Проверить наличие обновлений". |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 877 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
В новой версии программы SiteSputnik 7.1.6 от 18.05.11 усовершенствован Мастер подключения источников информации. В предыдущих версиях было подключение: - поисковиков и встроенных в сайты поисков, использующих GET-метод передачи данных. В новой версии доработано или реализовано подключение: - RSS-потоков, - произвольных веб-страниц, - встроенных в сайты поисков, использующих POST-метод передачи данных. Пояснения к тому, как подключать различные типы источников. 1. Подключение встроенных в сайты поисков, в которых используется GET-метод передачи данных. Оно не претерпело изменений - используется URL первой поисковой страницы по запросам: сайт, это или я, - и нажимается кнопка "Открыть". 2. Подключение RSS-потоков. Используется URL потока и на кнопке "Открыть" нажимается правая кнопка мышки. 3. Подключение произвольных страниц сайтов . Используется URL подключаемой страницы, снимается галочка, обведенная синей окружностью и на кнопке "Открыть" нажимается правая кнопка мышки. 4. Подключение встроенных в сайты поисков, в которых используется POST-метод передачи данных. Используется URL с обращением к поиску, устанавливается галочка, вводится запрос (на картинке это "сайт"), имя кнопки ("Найти") и расстояние от кнопки до поля ввода запроса ("1") и на кнопке "Открыть" нажимается правая кнопка мышки. POST-метод в отличие от GET-метода не передает через URL параметр поиска (текст запроса), соответственно, пользователь не может увидеть его в URL. Новые виды источников могут быть задействованы в SiteSputnik News для мониторинга СМИ, новостных и других источников информации. Подробнее в инструкции по применению Мастера подключения источников информации. |
Игорь Нежданов
Модератор форума
Прагматик Откуда: Советский Союз Всего сообщений: 1025 Рейтинг пользователя: 13 Ссылка Дата регистрации на форуме: 7 июня 2009 |
Вот это очень хорошая новость! Спасибо! ---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ... Лаборатория Перспективных Разработок |
tungus1973
Модератор форума
Откуда: г. Санкт-Петербург Всего сообщений: 795 Рейтинг пользователя: 11 Ссылка Дата регистрации на форуме: 3 июля 2009 |
Спасибо, Алексей Борисович!!! |
CI-KP
Администратор
Откуда: Екатеринбург Всего сообщений: 5565 Рейтинг пользователя: 24 Ссылка Дата регистрации на форуме: 15 мая 2009 |
Алексей Мыльников написал: Подключение произвольных страниц сайтов А что Сайтспутник делает с произвольной страницей сайта? Изменения на ней, подобно Вебсайт вочеру отслеживает или что-то другое? ---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь. |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 877 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
CI-KP написал: А что Сайтспутник делает с произвольной страницей сайта? Изменения на ней, подобно Вебсайт вочеру отслеживает или что-то другое? Хороший вопрос. СайтСпутник делает оба варианта. 1. Можно как в Вотчере отслеживать и выделять цветом изменение контента страниц плюс сохранять историю этих изменений (реализована пока бета-версия такого мониторинга), но это не главное, важнее второй пункт. 2. Можно подключить произвольную страницу и использовать ее в SiteSputnik News для мониторинга новостей, причем можно страницу подключить несколько раз, если на ней несколько видов новостных "потоков". Например, если взять gazeta.ru, то только с её главной страницы можно снимать несколько потоков информации, а именно: - слева постоянно меняется колонка "Новость часа", - справа также периодически изменяется колонка, в ней другие новости, - в середине основной новостной поток газеты, - еще есть несколько блоков новостной информации другого вида. Практически все эти потоки в программе СайтСпутник уже можно подключить и мониторить по полной программе с разнесением информации по Рубрикам. Это не исключает подключение RSS-потока (он есть и приносит по 15 новостей) и встроенного поиска по сайту, а дополняет эти возможности. |
CI-KP
Администратор
Откуда: Екатеринбург Всего сообщений: 5565 Рейтинг пользователя: 24 Ссылка Дата регистрации на форуме: 15 мая 2009 |
Профиль | Игнорировать
NEW! Сообщение отправлено: 22 мая 2011 11:45 Сообщение отредактировано: 22 мая 2011 11:57
Я не очень продвинутый пользователь СайтСпутника (пока, во всяком случае). На сегодня мне для практических целей нравится такая реализация: 1. СайтСпутник сделал первичный поиск информации и затем может отслеживать появление новых страниц. 2. Вочер смотрит изменения на конкретной странице. Что важно - без привязки к наличию или отсутствию RSS. Фильтрами постепенно отсекаются всякие ложные срабатывания типа баннеров, времени или счетчиков. 3. RSS-агрегаторы смотрят на RSS-потоки, и папки там делаются легко. Доступ к ним из любой точки Земного шара в любое время, нет привязки к софту вообще. 4. Интегрум смотрит СМИ и сторожок тащит в Личный кабинет все, что надо. Бесспорный плюс этого решения в том, что там есть СМИ, которых вообще нет в Интернете. Бесспорный минус - в платности. Все эти решения вместе дают хороший результат и, что немаловажно, очень просты в настройках. Т.е., необходимости прогрызаться через массу настроек, как в СайтСпутнике, просто нет. Вочер дешев и его можно считать бесплатным на этих величинах. RSS-агрегаторы бесплатны в принципе. Получается, что если нет Интегрума, то Сайтспутник берет на себя часть его функций и помогает сэкономить. Но взамен требует недюжинного желания (да и способностей) ковыряться в его настройках и не приносит того, что отсутствует в Интернете. Напомню, что основа популярности советских танков, к примеру, была не только в том, что они имели неплохие (хотя и не лучшие в мире) характеристики, и не в том, что при этом стоили не очень дорого, но и в том, что из трех крестьян любой страны за три месяца можно было подготовить боеспособный экипаж. Таким образом, если моя логика верна, то единственное, в чем Сайтспутник незаменим - это "первичный допрос Интернета". Для чего он, собственно, изначально и создавался. В некоторой степени - в возможностях наковырять спайдером невидимые поисковиками ссылки (на практике это очень нечасто приносит значимые результаты - что, впрочем, совершенно не вина Сайтспутника, а отражает реальное положение дел на сайтах). В остальном - при нынешнем интерфейсе - он все больше превращается в подобие операционной системы Windows - когда даже простое расставление галочек в нужных местах приобретает такие масштабы, что родило новую специальность системного администратора. Произошел переход количества (возможностей и связанных с ними настроек) в качество (пригодность к быстрому использованию неподготовленным человеком). Если это действительно так, и мне не показалось, то интерфейс стал тормозом к использованию программы. Так, кстати, в свое время появился графический интерфейс, созданный Apple и подтянутый затем Майкрософтом. Допускаю, что в моих рассуждениях есть изъян, т.к. я не очень хорошо ориентируюсь в глубинах СайтСпутника. Расскажите, в чем он, если это так. ---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь. |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 877 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
Высказываю свое мнение по пунктам. CI-KP написал: 1. СайтСпутник сделал первичный поиск информации и затем может отслеживать появление новых страниц. Да, это так. CI-KP написал: 2. Вочер смотрит изменения на конкретной странице. Что важно - без привязки к наличию или отсутствию RSS. Фильтрами постепенно отсекаются всякие ложные срабатывания типа баннеров, времени или счетчиков. Да, этот инструмент давно себя зарекомендовал с хорошей стороны. RSS здесь совсем не причём. CI-KP написал: 3. RSS-агрегаторы смотрят на RSS-потоки, и папки там делаются легко. Доступ к ним из любой точки Земного шара в любое время, нет привязки к софту вообще. В СайтСпутнике RSS-подключаются без проблем (автоматом) по адресу RSS: указываешь адрес и запоминаешь его. Но в отличие от RSS-аргегаторов, СайтСпутник позволяет делать две принципиально важные вещи. 1) Из единого потока, полученного из нескольких агрерируемых RSS, получить потоки на заданные темы (через Рубрики), отсеив большой объем ненужной информации. 2) Можно в этот поток направить еше следующие потоки: встроенные в сайты поиски и информацию с произвольных страниц (об этом чуть выше я высказался). Не редкость, что нужный Вам источник не содержит RSS или нужен поиск, а не новости. CI-KP написал: 4. Интегрум смотрит СМИ и сторожок тащит в Личный кабинет все, что надо. Бесспорный плюс этого решения в том, что там есть СМИ, которых вообще нет в Интернете. Бесспорный минус - в платности. Не знаком с этой программой в реале. Иду на сайт. Читаю (выделено мною), что можно "... получать оперативные мониторинги всего за несколько кликов в любое удобное для Вас время на вашем личном компьютере. Обучение, первичная настройка системы, а также последующая коррекция поисковых запросов обеспечивается Вашим персональным менеджером поддержки". Если я правильно понял, то какое может быть сравнение: там требуется разработчик (персональный менеджер со стороны Интегриума), а в СайтСпутнике продвинутый пользователь на Вашей фирме? Я не откажусь от круглой суммы за настройку системы, что займет у меня пару-тройку часов, ну может в некоторых случаях дней. И Вы получите за пару кликов в любое удобное время информацию на своем компьютере. А если ещё получать абонентскую плату и оплату за последующую коррекцию (вот крючок: сядите - не слезете, так как Вы зависите от разработчика), то вообще лафа. Может я не правильно понял то, что написано на сайте, тогда поправьте меня. В этой связи о сложности. Да, с одной стороны, если используются не только RSS, но и потоки со встроенных поисков и произвольных страниц, то их надо подключить. Это принципиально нельзя сделать просто: по нажатию двух-трех кнопок, так как это не RSS, - достаточной стандартизации нет. Но, с другой стороны, при применении СайтСпутника не надо "идти" к разработчику и даже прибегать к помощи своего программиста - достаточно быть продвинутым пользователем или иметь такого на фирме. Если использовать примененную Евгением аналогию про советские танки, то эти танки ещё нужно сделать. Вот в СайтСпутнике они и делаются, именно это и требует усилий. Сделал - садисть и жми на одну педаль (на кнопку "Поиск"). Дальше программа всё сделает сама. |
CI-KP
Администратор
Откуда: Екатеринбург Всего сообщений: 5565 Рейтинг пользователя: 24 Ссылка Дата регистрации на форуме: 15 мая 2009 |
Алексей Мыльников написал: В СайтСпутнике RSS-подключаются без проблем (автоматом) по адресу RSS: указываешь адрес и запоминаешь его. Да, это интересно. Я попробую посмотреть поближе на этот момент. Папки в той же Ленте Янлекса, если я правильно понял, выполняют функцию рубрик сайтСпутника. а вот результаты встроенного поиска никто не собирает. Кроме Вочера, правда. Но Вочер - тоже программа, устанавливаемая на компьютер, и поэтому не имеет явных преимуществ перед Сайтспутником, по сравнению с онлайновыми агрегаторами. Алексей Мыльников написал: Не знаком с этой программой в реале. Иду на сайт. Читаю (выделено мною), что можно "... получать оперативные мониторинги всего за несколько кликов в любое удобное для Вас время на вашем личном компьютере. Обучение, первичная настройка системы, а также последующая коррекция поисковых запросов обеспечивается Вашим персональным менеджером поддержки". Там есть язык запросов и есть менеджер. Видимо, менеджер потому и появился, что язык запросов вызывал у мнгих обморок одним своим видом. В принципе, можно Вам, как мне кажется, говорить о настройке за отдельную плату. Только лучше не круглую сумму, а нормальную. Хотя там проблема всегда - в формулировке задачи заказчиком. Не умеет он ее формулировать, как правило. Алексей Мыльников написал: В этой связи о сложности. Тогда получается. что к СайтСпутнику нужен инструктор. или - очень подробное (в смысле - на разные случаи жизни) видео. ---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь. |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 877 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
CI-KP написал: Папки в той же Ленте Янлекса, если я правильно понял, выполняют функцию рубрик сайтСпутника. Нет, не выполняют функцию Рубрик! В этом и преимущество перед Яндекс.Подпиской, в которой в папки с RSS-потоков в общем случае может попадать до 100% мусора, потому что идут все новости подряд. А в Рубрики можно из этого потока с большой точностью направить нужный контент. Точность, в частности, обеспечивается выделением контента новости из полного текста ссылки, а не только правилами попадания контента в Рубрику. Кстати, Яндекс подписка - это тоже RSS-поток и, если Вы ее создадите в IE, то можете ее подключить как отдельное RSS. CI-KP написал: а вот результаты встроенного поиска никто не собирает. Кроме Вочера, правда. Но Вочер - тоже программа, устанавливаемая на компьютер, и поэтому не имеет явных преимуществ перед Сайтспутником, по сравнению с онлайновыми агрегаторами. Вотчер здесь существенно уступает СайтСпутнику, так как умеет мониторить только отдельные страницы, причем удобно работать только с первыми страницами. Если им мониторить на глубину нескольких страниц, то уже начнется "путаница", ссылки перешедшие на другую страницу будут восприниматься как новые. В добавок, если Вы мониторите страницы с нескольких источников, то Вотчер тоже не увидит одинаковые ссылки на них и будет много повторов ссылок и, главное, старых ссылок, принимаемых за новые, потому что он не увидит ссылку на другом источнике ни на первой, ни на любой другой странице и выделит ее как новую. СайтСпутник же при мониторинге на любую глубину, на любом количестве источников четко справится с повторами и новизной ссылок, причем проанализирует ссылки за последние 90 попыток мониторинга (90 установлено по умолчанию), а не относительно ОДНОГО последнего состояния как в Вотчере. |
Вперед>> | Страницы: 1 2 3 * 4 5 6 7 8 9 | Печать |
Форум Сообщества Практиков Конкурентной разведки (СПКР) » Библиотека источников и иструменты её создания и ведения » Мастер подключения поисковиков, сайтов и RSS-потоков |
Самые активные 20 тем | |