Версия для печати
- Форум Сообщества Практиков Конкурентной разведки (СПКР) http://forum.razved.info/
-- Софт для конкурентной разведки http://forum.razved.info//index.php?f=7
--- Программы автоматического мониторинга http://forum.razved.info//index.php?t=5492
-- Janemp написал 11 марта 2015 13:30
Всем добрый день!
Я пытаюсь вникать в некоторые аспекты КР и на данном этапе мне хотелось бы для себя понять какой есть специализированный софт, который мог бы помочь при решении такой задачи как автоматизация поиска и отслеживания определенной информации в новостном потоке.
Конечно, необходим какой-то набор функционала - добавление своих источников, поиск в найденном, экспорт в текстовые форматы и так далее. Ну и желательно с минимальными затратами.
Я просмотрел форум, поверхностное понимание такое, что список программ мал - это:
-Аваланч
-Сайт спутник
-В этой теме (http://forum.razved.info/index.php?t=4001&a=stdforum_view&o=&st=0) еще упоминается RSS Handler, но как я понимаю, проект больше не поддерживается (и при этом изначально имел очень ограниченный функционал)
По первым двум еще не изучал, какой функционал по какой цене предлагают (хотя по сайтспутнику новости сми и соцсетей идут уже от 55 тыс. руб....). Подскажите, пожалуйста, что еще есть "на рынке", что имеет смысл рассматривать, при этом всякие RSS агрегаторы наверное стоит отложить в сторону, т.к. слишком "общий" продукт.
Если такая тема была, просьба указать или перенести мое сообщение туда, я не нашел именно такого обсуждения.
Заранее всем спасибо!
-- tungus1973 написал 11 марта 2015 15:34
Систем мониторинга Интернет довольно много. Они разные по функционалу и цене.
Лидеры рынка:
-- СайтСпутник - мониторинг "поисковиков", то есть, сайтов, имеющих поиск информации по сайту и выдающий структурированные результаты поиска. Ньюс-версия складывает новости в умные папки и создаёт из них дайджесты. Модуль Invisible обладает некоторыми возможностями поиска в "невидимом сегменте Интернета". Для эффективной работы потребует знания языков запросов поисковиков на продвинутом уровне.
-- WebSite Watcher - мониторинг изменений на страницах и появления новых страниц на сайтах. Имеет встроенные языки скриптов и плагинов, что при имении навыков программирования на Visual Basic 6.0 позволяет создавать на его базе собственные довольно продвинутые решения.
-- Visual Web Ripper - мониторинг онлайн баз данных. Для работы требует знания английского языка, так как не имеет русификации и русской справки. При наличии навыков программирования на VB.NET или C# позволяет создавать сложные приложения. Потребует знания XPath. Можно выгружать результаты в свою рабочую базу данных (также требуются программерские навыки).
-- Аваланч - мониторинг Интернета. Главная "фишка" - продвинутые возможности по мониторингу "невидимого Интернета". Из всей группы, пожалуй, наиболее дорогое решение.
Список далеко не исчерпывается этими 4-мя программами, но первые 3 из них, пожалуй, основные для "видимого Интернета". Последняя программа незаменима, если задумаетесь о серьёзном мониторинге "невидимого Интернета".
Выбор софта зависит от стоящих задач мониторинга и наличия денег.
Если хотите только мониторинг новостей, то достаточно будет СайтСпутника версии "Про".
Если хотите, чтобы новости ещё и сортировались - соответствующие новости попадали в нужные папки и формировались в дайджесты, то нужен будет СайтСпутник "Ньюс".
Если потребуется отслеживать изменения на конкретных страничках - берите WebSite Watcher - он самый продвинутый.
Если захотите мониторить онлайн базы данных или выгружать результаты работы в свою рабочую базу данных - присмотритесь к Visual Web Ripper.
Если есть желание серьёзно мониторить "невидимый Интернет" и есть деньги на Аваланч - покупайте его. Лучше на рынке, пожалуй, нет.
Что касается мониторинга RSS-потоков, то это задача уровня обычной почтовой программы. Для этого можно найти довольно много бесплатных приложений.
-- Алексей Мыльников написал 11 марта 2015 16:17
tungus1973 написал:[q]
СайтСпутник - мониторинг "поисковиков", то есть, сайтов, имеющих поиск информации по сайту и выдающий структурированные результаты поиска. Ньюс-версия складывает новости в умные папки и создаёт из них дайджесты. Модуль Invisible обладает некоторыми возможностями поиска в "невидимом сегменте Интернета". Для эффективной работы потребует знания языков запросов поисковиков на продвинутом уровне.[/q]
У Вас сведения пятилетней давности. Да, может СайтСпутник работать с поисковиками и встроенными в сайты поисками (это его отличие от других программ), но в нем давно уже можно эмулировать практически произвольные RSS с произвольных страниц, эмулировать RSS по запросу, а обычные RSS достаточно просто прописать в проекте. Не надо знать никаких языков запросов на продвинутом уровне для эффективной работы, просто, если Вы их знаете, то можете применить их в рамках СайтСпутника.
-- ara_367519 написал 11 марта 2015 17:10
tungus1973 написал:[q]
Аваланч - мониторинг Интернета. Главная "фишка" - продвинутые возможности по мониторингу "невидимого Интернета". Из всей группы, пожалуй, наиболее дорогое решение.
[/q]
Согласен с коллегой.. в некоторых моментах Аваланч - приносит хорошие результаты 
, коммерческая версия начинается от 750 тысяч рублей.. если нужен "серьезный" функционал, сумма будет значительно дороже.. можете поискать версию 2.5 - она вполне работоспособна, достаточна для знакомства.. ну либо зайдите на сайт https://start.avalancheonline.ru - ее можно использовать (стоимость около 5 тыс в месяц) 
-- Игорь Нежданов написал 11 марта 2015 20:07
Janemp написал:[q]
...софт, который мог бы помочь при решении такой задачи как автоматизация поиска и отслеживания определенной информации в новостном потоке.
Конечно, необходим какой-то набор функционала - добавление своих источников, поиск в найденном, экспорт в текстовые форматы и так далее. Ну и желательно с минимальными затратами.
...
Подскажите, пожалуйста, что еще есть "на рынке", что имеет смысл рассматривать, при этом всякие RSS агрегаторы наверное стоит отложить в сторону, т.к. слишком "общий" продукт....[/q]
Многое зависит от объема потока. Если новой информации 5 - 7 недлинных сообщений в сутки, то вполне хватит ссылки на результаты поиска в Я и/или в G.... :) Но если много, то конечно нужна автоматизация. Только не обольщайтесь - если задачи специфические и не "массовые", то придётся допиливать под себя.
-- Janemp написал 12 марта 2015 11:48
tungus1973, спасибо большое!
"tungus1973: Если хотите, чтобы новости ещё и сортировались - соответствующие новости попадали в нужные папки и формировались в дайджесты, то нужен будет СайтСпутник "Ньюс"."
Хочется чего-то такого по первым впечатлениям. WebSite Watcher такого не умеет?
Просто как мне видится при первом осмотре в Сайтспутнике очень всего понагромаждено, что без стакана не разобраться. Какого-то нормального мануала я на сайте не вижу. Ну и цена за Ньюс на данном этапе многовато.
ara_367519, не подскажете, у Аваланча есть какой-то сайт с информацией по функционалу и стоимости, а то ничего не ясно, а указанная вами цифра в 750 тыр мягко говоря пугает
Игорь Нежданов, в том и дело, объемы-то будут расти, потому и вопрос автоматизации задач стоит. А вот допиливать ничего не хочется, да и не допилишь, в чужой продукт не влезть
А какие еще варианты есть (правда, на русском надо, с англ. сложно)?
P.S. не пойму, почему не работают HTML-ные теги у меня, в окне отправки сообщения написано "Использование HTML запрещено". Где это изменить?
-- ara_367519 написал 12 марта 2015 12:53
Janemp написал:[q]
ara_367519, не подскажете, у Аваланча есть какой-то сайт с информацией по функционалу и стоимости, а то ничего не ясно, а указанная вами цифра в 750 тыр мягко говоря пугает
[/q]
Я Вам же указал сайт Аваланча... там все указано 
-- ara_367519 написал 12 марта 2015 12:55
Стоимость Аваланча в 750 далеко не предел 
все зависит от Ваших потребностей и функционала, который Вам будет необходим (или уже необходим) по работе.. в этом абсолютно Игорь Нежданов прав.. идеального варианта пока нет, под личные нужды придется допиливать
-- tungus1973 написал 12 марта 2015 13:48
Janemp написал:[q]
Если хотите, чтобы новости ещё и сортировались - соответствующие новости попадали в нужные папки и формировались в дайджесты, то нужен будет СайтСпутник "Ньюс"."
Хочется чего-то такого по первым впечатлениям. WebSite Watcher такого не умеет?[/q]
У WebSite Watcher есть "виртуальные папки", в которые можно собирать новости, да уж больно не гибкие они. СайтСпутник версии "Ньюс" в этом плане куда как более продвинут.
Впрочем, если умеете программировать на уровне Visual Basic 6.0, то сможете сделать на базе WebSite Watcher свой собственный универсальный инструмент. Справка к программе довольно подробная, на русском языке, выложена на сайте разработчика. В ней в том числе очень подробно описан процесс создания скриптов и плагинов.
Вот прямые ссылки на файлы справки и мануала:
Русский help-файл для WebSite-Watcher (http://www.aignes.info/download/wswhelp_russian.exe)
Manual на русском (PDF) (http://www.aignes.info/download/wsw_manual_russian.pdf)
-- Janemp написал 12 марта 2015 16:31
ara_367519,
Да, сайт посмотрел, спасибо, но не сказать, что все указано, по ценнику ничего (если у Сайтспутника избыток информации, то тут наоборот выходит). Не удивлюсь, если они за один и тот же функционал разным обратившимся разную цену предлагают. Странно выглядит такая скрытность)
Вообще отсутствие пределов вверх по цене - это понятно. Всегда же хочется какой-то удобоваримый предел по цене в строну, ближе к нулю Мечты...
tungus1973, огромное спасибо за инфо и ссылки!
-- ara_367519 написал 12 марта 2015 17:40
Janemp написал:[q]
Да, сайт посмотрел, спасибо, но не сказать, что все указано, по ценнику ничего[/q]
там есть контакты А.Масаловча, напишите ему, он все расскажет
-- john644 написал 13 марта 2015 9:09
Janemp написал:[q]
Всегда же хочется какой-то удобоваримый предел по цене в строну, ближе к нулю Мечты...[/q]
freesoft.ru/saytsputnik Вообще-то Это 2 секунды поиска. И совет Масаловича "Начните с бесплатной версии, а когда поймете, что Вам надо - будете делать платный заказ по НЕОБХОДИМОЙ Вам цене"
-- Игорь Нежданов написал 13 марта 2015 9:32
Janemp написал:[q]
Игорь Нежданов, в том и дело, объемы-то будут расти, потому и вопрос автоматизации задач стоит. А вот допиливать ничего не хочется, да и не допилишь, в чужой продукт не влезть[/q]
Тогда начните с малого, а там и сами какое решение создадите.
-- Janemp написал 13 марта 2015 10:51
john644
Про Сайтспутник я уже все понял. Демо с оф. сайта скачал, уже при загрузке вылазит ошибка (При запуске выскакивает окно "Access violation at address XXXX in module 'FileForFiles.exe'. Read of address 0000000." и вся шапка программы набекрень, ни тебе ключика, ни выйти из программы ни по кнопке выход, ни по крестику, т.к. они просто исчезли). Спасибо, не особо хочется заиметь возню с ошибками за 55 тыс. рублей.
Деньги платить готов, но за достойный продукт, вот о чем я.
А у Масаловича я что-то не нашел ничего про пробную версию, чтоб начать с бесплатного. Но там видимо предпочитают личное общение, что на сайте общедоступной информации кот наплакал, что как я уже говорил странновато.
-- Janemp написал 13 марта 2015 10:53
"Игорь Нежданов: Тогда начните с малого, а там и сами какое решение создадите."
Вот я и пытаюсь узнать у знающих людей, что вообще есть, в том числе и малое, за что всем учавствующим большое спасибо. Но вариантов пока не так чтобы много...
-- ara_367519 написал 13 марта 2015 10:54
Поподробнее про Аваланч -http://yushchuk.livejournal.com/396557.html?thread=1387277
Если Андрей Игоревич, не обидется - https://start.avalancheonline.ru/users/login/ (seminar:seminar)... это легко можно найти в открытом доступе 
-- tungus1973 написал 13 марта 2015 11:20
Janemp написал:[q]
уже при загрузке вылазит ошибка (При запуске выскакивает окно "Access violation at address XXXX in module 'FileForFiles.exe'. Read of address 0000000." и вся шапка программы набекрень, ни тебе ключика, ни выйти из программы ни по кнопке выход, ни по крестику, т.к. они просто исчезли).[/q]
Работаю с программой ежедневно, и ещё никогда такой ошибки не видел.
Если у Вас система Windows 8, то, может быть, ошибка связана с настройками безопасности этой системы? СайтСпутник постоянно записывает/считывает рабочие файлы с жёсткого диска, а Win8 это пытается блокировать. Попробуйте запустить программу от имени Администратора. Щёлкните правой кнопкой мыши по exe-файлу и выберите в выпавшем меню пункта "запуск от имени администратора".
Не исключено также, что программу блокирует антивирус.
Если не поможет - тогда не знаю... 
-- Janemp написал 13 марта 2015 15:01
tungus1973, Система Windows 7, запуск от администратора ничего не меняет, антивирус тоже 
спасибо за советы!
-- Алексей Мыльников написал 13 марта 2015 15:18
Janemp написал:[q]
tungus1973, Система Windows 7, запуск от администратора ничего не меняет, антивирус тоже
спасибо за советы! [/q]
Вы удалите прямо из Проводника папку FileForFiles, затем скачайте демку с sitesputnik.ru, распакуйте (чтобы без ошибок была распаковка и скачивание проследите) папку FileForFiles, например, на диск D:\ в корень, и откройте программу. Я Установку уже несколько лет не редактировал, и никто не жаловался за это время ни в XP, ни в 7, ни в 8.
-- Janemp написал 15 марта 2015 22:52
Алексей Мыльников,
Сделал по Вашей схеме - хватило на один запуск, со второго раза та же ошибка выскакивает, "шапка" программы исчезает...
Что это может значить - "Access violation at address XXXX in module 'FileForFiles.exe'. Read of address 0000000." - посмотрите, пожалуйста?
-- Vinni написал 15 марта 2015 23:05
Janemp написал:[q]
хватило на один запуск, со второго раза та же ошибка выскакивает, "шапка" программы исчезает... [/q]
а запускали от администратора или как?
в win7 если программа не работает, в таких случаях обычно помогает запуск от администратора (хотя это и нехорошо )
-- Janemp написал 16 марта 2015 14:22
Vinni,
По совету tungus1973 пробовал запускать и от администратора, результат аналогичный выходит
-- Vinni написал 16 марта 2015 18:43
Тут что-то специфичное с компьютером (а не с программой). Попробуйте отключить все средства защиты, которые могут мешать работе программы (некоторые HIPS или антивирусы могут создавать sandbox с ограниченными возможностями для запуска подозрительных программ, который может мешать). Плюс проверьте, что со свободной памятью на диске C - может ее слишком мало?
Ну и попробуйте на другом компьютере запустить или на виртуалке, если есть возможность.
-- Игорь Нежданов написал 21 марта 2015 20:09
Действительно странно - тоже с таким не сталкивался.
-- Алексей Мыльников написал 21 марта 2015 21:29
В версии 8.8.6.12 сегодня специально заменил сообщение:
"Программа не зарегистрирована. Её функциональные возможности ограничены" на более конкретное:
"Программа не зарегистрирована. В настоящее время она уже не работоспособна."
Так понятнее, почему не показываются иконки и почему шапка программы сворачивается до минимума.
Попробуйте на другом компе, как посоветовал Vinni. На этом программа уже "свернулась": возможен лишь метапоиск на глубину одной страницы.
-- Janemp написал 8 апреля 2015 11:52
В общем потестил несколько раз у товарища полноценную версию Сайтспутника. Рубрицирование найденного - то, что мне надо на данном этапе. А когда объясняет человек, который умеет этим пользоваться - конечно ни в какое сравнение с описанием функций из справки и на сайте (не в обиду разработчику, но это минус!).
На своем компе с ошибкой так и не решил вопрос. И демка под номером 8.8.7.2 также на второй и далее запуски выдает ошибку... очень не хочется систему менять из-за одной программы, хоть и дорогой
-- Алексей Мыльников написал 8 апреля 2015 12:31
О справке - вот-вот напишу (надо закончить одну функцию). А так максимум полторы подсказки с моей или другой стороны, и "процесс пошёл".
Всё уже достаточно просто и доступно - сюда были направлены усилия в последнее время.
О цене - она в разы меньше, чем стоимость аналогичных функций. Программа приобретается раз и навсегда, обновления бесплатные.
Плюс сюда войдут уникальные функции из Pro, которые задействованы в +News и положительно сказываются на самом мониторинге.
По ошибке. Ни разу более, чем за 10 лет развития не было такого, чтобы программа не работала в среде Windows. У Вас истек срок применения демоверсии.
-- Janemp написал 9 апреля 2015 11:51
Алексей Мыльников,
О справке - подсказки в идеале должны быть в хелпе, чтоб "процесс пошел", а не со стороны, все же
О цене - если бы начальство выделило средств, совсем проблем не было бы. Тут приходится рассматривать личные расходы, это уже другое дело
По ошибке - видимо, вы правы. Но это имеет смысл указать где-то на сайте, рядом со ссылкой на демо а то вообще непонятно, что происходит и откуда ошибка и будет ли она при приобретении полноценной версии
В любом случае спасибо за программу, стоящий и нужный продукт
-- SkyAn написал 5 мая 2015 12:45
Люди добрые, помогите выбрать программу для слежением изменений на сайтах конкурентов. Нужно всего немного от программы, получить список страниц сайта, следить за изменениями на них и по возможности фильтровать картинки и pdf с сайта по под папкам.
-- tungus1973 написал 5 мая 2015 12:55
Для: SkyAn
WebSite Watcher - решение Ваших проблем.
-- SkyAn написал 5 мая 2015 13:02
Для: tungus1973
Я так надеялся, что посоветуете что-то другое.
Как понимаю, разброс по под папкам нужно делать с помощью сценария.
-- tungus1973 написал 5 мая 2015 17:31
С помощью плагина.
-- Rizanin написал 6 мая 2015 22:24
Привет. Попробуй это. Check&Get 3.4.0.499 Rus Старенькая но рабочую версию найдешь в инете. Может на что и сгодится.
-- ФантаМассМедиа написал 29 июля 2015 18:30
Коллеги, есть вопрос: пытаюсь парсить контент с помощью Visual Web Ribber - вроде рабочая, но в полноте версии я не уверен. Вроде кое-что получается, но есть затык - в случае, если я знаю, например, ссылку, которую индексировал Гугл, но к которой невозможно добраться через сайт-донор, а данные интересные, например, такие:
Обратите внимание, что таких веб-страниц более 42000! Не во всех есть данные, но во многих. Вот вопрос: как мне их все скачать? Есть ли в Visual Web Ribber возможность качать начиная с определенной страницы и просто задав диапозон последней такой страницы, что-то типа с по
-- tungus1973 написал 30 июля 2015 7:58
ФантаМассМедиа написал:[q]
Есть ли в Visual Web Ribber возможность качать начиная с определенной страницы и просто задав диапозон последней такой страницы[/q]
Такая возможность есть. В "Настройках проекта / Стартовый URL" можно задать список URL напрямую или через источник внешних данных. Такой список URL-адресов можно создать либо в формате csv-файла, сгенерив его в Microsoft Excel, либо можно написать в Visual Web Ribber скрипт на C# или VB.NET, генерирующий нужные ссылки.
-- ФантаМассМедиа написал 31 июля 2015 0:08
Гран мерси - буду пробовать.
Этот форум работает на скрипте Intellect Board
© 2004-2007, 4X_Pro, Объединенный Открытый Проект