Версия для печати
- Форум Сообщества Практиков Конкурентной разведки (СПКР) http://forum.razved.info/
-- Предложения по программе для допроса Интернета СайтСпутник http://forum.razved.info//index.php?f=40
--- Структурирование запросов в СайтСпутнике http://forum.razved.info//index.php?t=934
-- Игорь Нежданов написал 16 мая 2010 19:51
Коллеги, помню, что вроде как этот вопрос поднимали, но не помню где. Ежели что - подскажите я туда перенесу свой пост чтоб не плодить дубли.
Итак ситуация.
У меня в работе постоянно находится минимум пять а максимум 23 (это было однажды) проекта. По каждому в среднем четыре объекта, информацию о которых нужно отслеживать, обновлять и хранить под руками. При таких объемах колличество запросов в СайтСпутнике получается просто неимоверным.
Собственно вопрос.
А возможно ли как то группировать (визуально сжимать в папки) запросы СайтСпутника? Те, что в основном окне в левой верхней части находятся.
-- Алексей Мыльников написал 16 мая 2010 23:48
Иоанн написал:[q]
Собственно вопрос.
А возможно ли как то группировать (визуально сжимать в папки) запросы СайтСпутника? Те, что в основном окне в левой верхней части находятся.[/q]
Папки, точнее БД, вложенные в БД "Поиск в интернете", - заблокированы. Требуется некоторая доработка функционала БД. В БД "Мониторинг" такая возможность есть.
Я тоже много ищу, собираю, храню и мониторю на новизну ссылки по нескольким проектам. Поступаю следующим образом.
1. Сами пакеты и пакеты с параметрами храню в папках, вложенных, соответственно в папки "Condition Files" и "Condition Forms". Здесь вложенной папочной (иерархической) структуры вполне достаточно.
2. Для результатов поиска использую БД "Поиск в интернете".
Например, если нужно просмотреть всю историю по объекту (равносильно пакету запросов или пакету с параметрами) с именем "Объект Альфа", то делаю следующее.
Становлюсь на этот объект в столбце "Условие поиска (запрос)", в верхней Таблице, нажимаю на него еще раз,
нажимаю на правую кнопку мышки, выбираю пункт "Поиск в столбце" и получаю в верхней таблице только историю по "Объекту Альфа" от начала до конца.
Можно в столбцах "Комментарий" и "Тема" вбивать свои ключевые слова, причем несколько, по которым аналогично по одному ключу или по нескольким, фильтровать нужные объекты и проекты.
Почему я считаю, что такой подход удобнее. Потому, что БД - это более гибкая, эффективная, ... , ..., чем Папка.
Бывают темы, информация по которым содержится в разных объектах. Что делать? Лазить из папки в папку туда-сюда? Проще составить запрос к БД из ключевых слов и "ограничить" верхнюю таблицу, - оставив в ней только нужные записи.
Соглашусь, что обеспечить вложенные Папки-БД в базе данных "Поиск в интернете" было бы неплохо, а пользователь сам разберется что ему делать:
а) работать так, как написано выше в этом топике,
б) использовать только папочную структуру,
в) использовать одновременно и а) и б).
-- Игорь Нежданов написал 17 мая 2010 9:29
Ага - потопал пробовать.
Alexei Mylnikov написал:[q]
Потому, что БД - это более гибкая, эффективная, ... , ..., чем Папка. [/q]
Безусловно да, но человек, даже не визуальщик , лучше воспринимает информацию в виде картинок, а в данном случае еще и представленную в иерархическом виде. Поэтому совершенно правильно:
Alexei Mylnikov написал:[q]
а) работать так, как написано выше в этом топике,
б) использовать только папочную структуру,
в) использовать одновременно и а) и б). [/q]
Спасибо!
-- petryashov написал 17 мая 2010 10:01
Alexei Mylnikov
Алексей, присоединюсь к просьбе Иоанна. Штука действительно нужная. Я мониторингом достаточно активно пользуюсь, вот там папочная структура мне нравится- все удобно и не загромождает пространство. Если есть возможность, сделайте, ее, пожалуйста, и в БД "Поиск в Интернете"
-- Vinni написал 17 мая 2010 10:46
Иоанн написал:[q]
Собственно вопрос.
А возможно ли как то группировать (визуально сжимать в папки) запросы СайтСпутника? [/q]
На самом деле речь идет о двух проблемах 
1) выполнение запросов (или пакетов) в SS в пакетном режиме (для этого нужно иметь возможность указывать имя пакета с запросом в командной строке и автоматически завершать SS по его выполнении)
2) экспорт результатов запроса в том или ином виде (как минимум, удобно было бы если бы в командной строке можно было бы указать директорию, куда помещать результаты работы пакета)
-- Алексей Мыльников написал 17 мая 2010 11:24
petryashov написал:[q]
Алексей, присоединюсь к просьбе Иоанна. Штука действительно нужная. Я мониторингом достаточно активно пользуюсь, вот там папочная структура мне нравится- все удобно и не загромождает пространство. Если есть возможность, сделайте, ее, пожалуйста, и в БД "Поиск в Интернете"[/q]
Хорошо, посмотрю конкретно реализацию этой возможности.
-- Алексей Мыльников написал 17 мая 2010 11:24
Vinni написал:[q]
На самом деле речь идет о двух проблемах
1) выполнение запросов (или пакетов) в SS в пакетном режиме (для этого нужно иметь возможность указывать имя пакета с запросом в командной строке и автоматически завершать SS по его выполнении)
2) экспорт результатов запроса в том или ином виде (как минимум, удобно было бы если бы в командной строке можно было бы указать директорию, куда помещать результаты работы пакета) [/q]
Сколько человек этим реально будет пользоваться? Думаю, что очень мало.
-- Игорь Нежданов написал 17 мая 2010 11:41
Vinni написал:[q]
1) выполнение запросов (или пакетов) в SS в пакетном режиме (для этого нужно иметь возможность указывать имя пакета с запросом в командной строке и автоматически завершать SS по его выполнении)
2) экспорт результатов запроса в том или ином виде (как минимум, удобно было бы если бы в командной строке можно было бы указать директорию, куда помещать результаты работы пакета) [/q]
О как 
- вот ты меня в ступор то поставил...... Пошел думать - вероятно это еще более продуктивный подход. 
-- Vinni написал 17 мая 2010 11:48
Alexei Mylnikov написал:[q]
Сколько человек этим реально будет пользоваться? Думаю, что очень мало.[/q]
Неа. Если правильно объяснить, что это позволит интегрировать SS в существующие системы и процессы сбора и обработки информации из Интернет в организации, то пользователей будет много.
Вон тот же WebSiteWatcher имеет аналогичную возможность и даже более того (язык скриптов), так как автор понял, что средство должно иметь возможности автоматизации запуска и выполнения запросов, а также интеграции с другими системами
Но как говорится, вольному воля
-- Vinni написал 17 мая 2010 11:49
Иоанн написал:[q]
Пошел думать - вероятно это еще более продуктивный подход[/q]
Если что-то непонятно - позвони. Объясню голосом. 
-- CI-KP написал 17 мая 2010 12:12
Vinni написал:[q]
Если правильно объяснить, что это позволит интегрировать SS в существующие системы и процессы сбора и обработки информации из Интернет в организации, то пользователей будет много.[/q]
А мы - объясним. Мы теперь умеем сами, а значит. сможем объяснить другим.
-- Алексей Мыльников написал 17 мая 2010 12:26
Vinni написал:[q]
это позволит интегрировать SS в существующие системы и процессы сбора и обработки информации из Интернет в организации, то пользователей будет много.
Вон тот же WebSiteWatcher имеет аналогичную возможность и даже более того (язык скриптов), так как автор понял, что средство должно иметь возможности автоматизации запуска и выполнения запросов, а также интеграции с другими системами[/q]
И кто этим пользуется в Вотчере - единицы? В свою очередь:
1. СайтСпутник позволяет запускать несколько поисковых заданий.
2. Все результаты он выгружает в файлы, которые доступны в других программах.
Этим пользуются единицы. Скорее всего из-за незнания (спасибо Тунгусу за просветительскую деятельность), а в большей степени, из-за того, что это мало кому нужно. Несложно на форуме поставить +1, а мне это делать месяц для двух-трех человек. Не очень я верю, что получив возможность запускать СайтСпутник с параметрами "поисковое задание", "файл с результатами" кто-то начнет этим пользоваться в реальной работе.
-- petryashov написал 17 мая 2010 12:58
Alexei Mylnikov написал:[q]
Несложно на форуме поставить +1, а мне это делать месяц для двух-трех человек. Не очень я верю, что получив возможность запускать СайтСпутник с параметрами "поисковое задание", "файл с результатами" кто-то начнет этим пользоваться в реальной работе. [/q]
Алексей, еще раз: Ваш продукт востребован аналитиками и специалистами по КР. Любой серьезный аналитик мониторит массу информации. Сейчас у меня более 400 запросов, и каждое утро запускать 3, 5, 237 и 69 запросы, а после обеда еще десяток требует немалых усилий на поиск этих запросов в огромной таблице, а потом их нужно запускать по одному, периодически отвлекаясь на то, чтобы проверить, закончен ли процесс поиска, чтобы запустить второй запрос, третий...
СайтСпутник уже немало времени экономит, но появление возможности писать различные сценарии (когда какой запрос запустить и куда выложить итоги) позволит 1 раз сконфигурировать систему, после чего аналитику будет достаточно 1 раз нажать на кнопку и весь процесс сбора информации пойдет автоматически, позволяя аналитику заниматься другими делами. Так что штука эта нужная.
Что касается двух или трех человек- прошедший смотр сил показал, что программой пользуются как минимум 6 человек из нашей узкой тусовки - это Ваша целевая аудитория. Для того, чтобы узнать покупательские предпочтения целевой аудитории, нужно провести либо фокус- группы, либо экспертные интервью, потратить на это не только время, но и деньги. А здесь Вы имеете возможность провести данное исследование совершенно бесплатно, да и аудитория к Вам настроена очень лояльно.
Вы на этом форуме имеете возможность общаться со специалистами, которые пользуются данной программой. Мы решаем конкретные практические задачи, и наши потребности появляются не из-за того, что мы спим и видим, как бы Вас еще озадачить, а из- за того, что у нас возникают задачи, которые при использовании существующего функционала либо нельзя решить, либо решение требует массы сил и времени.
Кстати, нас, специалистов, которые дают Вам советы по функционалу, мало, но, поверьте, мы являемся релевантной выборкой из числа Ваших потенциальных клиентов: мы работаем в разных отраслях, занимаемся решение разного круга вопросов, связанных с поиском информации.Эта та самая фокус- группа, которая рассказывает вам о практическом применении Вашей программы и предлагает то, что нужно не только нам, но и большинству представителей генеральной совокупности аналитиков и безопасников. Так что, поверьте, это нужно не только нам.
-- Алексей Мыльников написал 17 мая 2010 13:51
petryashov написал:[q]
Алексей, еще раз: Ваш продукт востребован аналитиками и специалистами по КР. Любой серьезный аналитик мониторит массу информации. Сейчас у меня более 400 запросов, и каждое утро запускать 3, 5, 237 и 69 запросы, а после обеда еще десяток требует немалых усилий на поиск этих запросов в огромной таблице, а потом их нужно запускать по одному, периодически отвлекаясь на то, чтобы проверить, закончен ли процесс поиска, чтобы запустить второй запрос, третий...
СайтСпутник уже немало времени экономит, но появление возможности писать различные сценарии[/q]
А зачем их искать.
а) Поместите запросы в пакет, назовите его, например, "Имя 01" и запускайте его по кнопке "Раздельно".
Создатутся новые строки в верхней таблице для каждого запроса.
б) Создайте группу запросов, запомните ее под именем "Имя 02", открывайте и запускайте ее из подменю "Глобус с линзой" - Групповые операции - Обновить поиск для группы.
Запросы выполнятся на месте предыдущего выполнения (то есть новые строки в верхней таблице для каждого запроса не создадутся).
Можно в следующих версиях реализовать диспетчер и/или операторы, помещаемые в тело пакета, и обеспечивающие его инициализацию и выполнение.
-- Игорь Нежданов написал 17 мая 2010 15:51
Vinni написал:[q]
На самом деле речь идет о двух проблемах
1) выполнение запросов (или пакетов) в SS в пакетном режиме (для этого нужно иметь возможность указывать имя пакета с запросом в командной строке и автоматически завершать SS по его выполнении)
2) экспорт результатов запроса в том или ином виде (как минимум, удобно было бы если бы в командной строке можно было бы указать директорию, куда помещать результаты работы пакета) [/q]
Не - это сложно, хотя и весьма перспективно. Или правильно - для меня пока сложно, но я развиваюсь...
А вот возможность группировать (визуально сжимать в папки) запросы СайтСпутника - это прям сейчас нужная функция.
-- Алексей Мыльников написал 31 мая 2010 0:04
petryashov написал:[q]
Алексей, присоединюсь к просьбе Иоанна. Штука действительно нужная. Я мониторингом достаточно активно пользуюсь, вот там папочная структура мне нравится- все удобно и не загромождает пространство. Если есть возможность, сделайте, ее, пожалуйста, и в БД "Поиск в Интернете" [/q]
Начиная с версии 6.3.1 в БД "Поиск в Интернете" можно создавать вложенные папки (ящики).
Вложенные папки (ящики) - точно такие же БД как и корневая БД "Поиск в Интернете".
Соответственно, теперь можно структурировать и группировать проекты и/или запросы по темам, подтемам и прочим критериям, а не держать их в одной БД.
Для удобства, установив версию 6.3.1, зайдите в "Настройки - Параметры - Вид" и для иконки с хинтом "Закрыть окно просмотра Иерархии Ящиков" установите галочку, если она у Вас не установлена.
Появившуюся на верхней инструментальной панели иконку "Дерево папок" будет полезно иметь под рукой.
Чтобы создать вложенную папку (ящик) зайдите из главного меню "Ящик - Создать новый подобный Ящик" (или выберите этот пункт на папочной структуре через правую кнопку мышки).
На появившейся картинке введите имя нового Ящика и определите: будет ли он вложен в текущий или создастся на том же уровне.
Ящики изолированы друг от друга. То есть, если Вы ведете в Ящике "А" какой-либо проект, то информация из других ящиков не будет влиять на выдачи СайтСпутника при работе с этим Ящиком. ///результаты работы СайтСпутника.
-- petryashov написал 31 мая 2010 8:31
Alexei Mylnikov
Отлично, спасибо! Наконец-то можно стало порядок в запросах навести ;-)
-- Игорь Нежданов написал 31 мая 2010 9:38
Отлично! Спасибо Алексей!!!
Стало гораздо удобнее и проще организовать рабочее пространство.
-- tungus1973 написал 31 мая 2010 11:47
Попробовал новую функцию, очень понравилось!
Раньше количество строчек увеличивалось, пока я наконец не начинал путаться в них. Приходилось удалять некоторые проекты.
Сейчас можно упорядоченно хранить ВСЕ проекты и при необходимости возвращаться к ним!
Алексей Борисович, спасибо большое!!! 
-- petryashov написал 31 мая 2010 17:09
Вопрос по папкам закрыт, но остался выше обсуждаемый вопрос по поводу сценариев запуска определенных пакетов в нужное пользователю время, с нужным интервалом и с определенной последовательностью обхода.
Насколько это реально сделать?
-- Алексей Мыльников написал 31 мая 2010 18:08
petryashov написал:[q]
Вопрос по папкам закрыт, но остался выше обсуждаемый вопрос по поводу сценариев запуска определенных пакетов в нужное пользователю время, с нужным интервалом и с определенной последовательностью обхода.
Насколько это реально сделать? [/q]
Сделать реально. Что значит "с определенной последовательностью обхода"?
-- petryashov написал 31 мая 2010 18:46
Alexei Mylnikov написал:[q]
Сделать реально. Что значит "с определенной последовательностью обхода"?[/q]
Да вот как раз Иоанн приводит практический пример: forum.razved.info/index.php?t=969 Я имел в виду, что можно прописать последовательность запросов в виде списка и они выполнялись по одной из трех выбранной юзером схем:
а. строго в определенном порядке (сверху вниз). Как только один выполнился, начинает выполняться другой.
б. или в точно прописанное время прописанное время. Запросы из списка стартуют точно в то время, когда это прописано.
в. или сверху вниз по списку с прописанным интервалом между каждым из запросов. Интервал между каждыми парами запросов может быть разным.
-- tungus1973 написал 1 июня 2010 8:41
petryashov написал:[q]
Я имел в виду, что можно прописать последовательность запросов в виде списка и они выполнялись по одной из трех выбранной юзером схем:
...
б. или в точно прописанное время[/q]
Тут может быть засада - если запросов много, и на выполнение каждого из них нужно некоторое время (10-30 минут), то возможно наложение. Поэтому отслеживание точно по расписанию может не получиться.
-- Игорь Нежданов написал 1 июня 2010 9:31
По большому счету речь о плановом выполнении по определенному расписанию (по событиям) выбранных запросов. Другими словами составляем несколько запросов (простых, сложных, составных, ассеблеров.... не важно каких) А, Б и В. И присваиваем им соответствующие свойства:
"А" - запускается каждый день в 10-00;
"Б" - запускается каждый раз при старте программы;
"В" - запускается после исполнения "А".
tungus1973 написал:[q]
Тут может быть засада - если запросов много, и на выполнение каждого из них нужно некоторое время (10-30 минут), то возможно наложение. Поэтому отслеживание точно по расписанию может не получиться.[/q]
А как могут произойти наложения? Только если на одно и то же событие записано исполнение нескольких сценариев. Но нужно запретить программно исполнение одномоментно более одного запроса, а при наличии такой коллизии - в порядке живой очереди и только после исполнения предыдущего. + запрет на установку одного события (времени например) более чем одному запросу.
-- Игорь Нежданов написал 1 июня 2010 9:36
Что то я еще не привык к возможностям СайтСпутника 
- всё гораздо проще. Создаете пакет под нужную вам сущность (эмоцию, оценочное суждение и т.п.), где посредством языка запросов соответствующих поисковиков всё это описываете. И там же описываете свой объект, по которому и нужно отслеживать например настроение. И всё! - запускаете с нужной периодичностью и наслаждаетесь результатом....
пошел сам пробовать.............
-- Семёныч написал 1 июня 2010 14:43
А я вот не парюсь, надо пакет запустить - ручками запустил, надо сегодня три пакета по определённым инфополям запустить - запустил ручками. Так надёжней и проще. А то накладок может быть масса с этой автоматизацией. То нэт не подключён или пропал во время поиска, то ошибка выскочила и программа стоит, то ещё чёрт знает что приключилось. Ручками оно надёжней и в чём-то быстрее. ИМХО 
-- Игорь Нежданов написал 1 июня 2010 17:21
Семёныч написал:[q]
А я вот не парюсь, надо пакет запустить - ручками запустил, надо сегодня три пакета по определённым инфополям запустить - запустил ручками. Так надёжней и проще. А то накладок может быть масса с этой автоматизацией. То нэт не подключён или пропал во время поиска, то ошибка выскочила и программа стоит, то ещё чёрт знает что приключилось. Ручками оно надёжней и в чём-то быстрее. ИМХО [/q]
Хорошо тебе... всего три пакета с утра.... А каково когда с десяток тем нужно держать на контроле не считая столько же разовых поручений (это в среднем, а бывает и больше, сильно больше)? Да и темы состоят из нескольких объектов и проблем... 
-- petryashov написал 1 июня 2010 17:24
Иоанн написал:[q]
Хорошо тебе... всего три пакета с утра.... А каково когда с десяток тем нужно держать на контроле не считая столько же разовых поручений (это в среднем, а бывает и больше, сильно больше)? Да и темы состоят из нескольких объектов и проблем... [/q]
Аналогичная ситуация. Возможность составления сценариев запуска нужна позарез- я уже запарился это вручную делать и постоянно контролировать, что ничего не пропустил
-- Семёныч написал 1 июня 2010 21:44
Простите, мелко плаваю, попу видать... Исправлюсь. 
-- Vinni написал 1 июня 2010 22:43
Есть такая программа как Rational Robot, которая позволяет написать скрипт, автоматизирующий нажатия мыши и клавиш (см. _ttp://www.softpoint.ru/article_id12.htm)
Можно и его использовать
-- Игорь Нежданов написал 2 июня 2010 9:35
Семёныч написал:[q]
Простите, мелко плаваю, попу видать... Исправлюсь. [/q]
Это как исправишься? - начнешь глубже нырять или зад прикроешь?...
-- Игорь Нежданов написал 2 июня 2010 9:35
Vinni написал:[q]
Есть такая программа как Rational Robot, которая позволяет написать скрипт, автоматизирующий нажатия мыши и клавиш (см. _ttp://www.softpoint.ru/article_id12.htm)
Можно и его использовать [/q]
Надо попробовать.
Спасибо!
-- Семёныч написал 2 июня 2010 11:33
tungus1973 написал:[q]
Попробовал новую функцию, очень понравилось!Раньше количество строчек увеличивалось, пока я наконец не начинал путаться в них. Приходилось удалять некоторые проекты.Сейчас можно упорядоченно хранить ВСЕ проекты и при необходимости возвращаться к ним!Алексей Борисович, спасибо большое!!! [/q]
С новыми запросами всё легко. Создал папку и делай запросы. А вот старые запросы как по папкам разложить? Я создал новый ящик, выделил запрос, который делал месяц назад и перетаскиванием затащил его в новый ящик. В итоге: в ящике его нет и на старом месте он пропал. Теперь его нигде нет, даже поиском найти не могу. 
Может кто сталкивался с таким?
-- Алексей Мыльников написал 2 июня 2010 11:42
Семёныч написал:[q]
С новыми запросами всё легко. Создал папку и делай запросы. А вот старые запросы как по папкам разложить? Я создал новый ящик, выделил запрос, который делал месяц назад и перетаскиванием затащил его в новый ящик. [/q]
Не надо его перетаскивать. Это еще не отлаживал, а также слияние, разделение Ящиков и другие сервисные функции. Вводите запрос "с нуля" в новом Ящике. Корневой Ящик "Поиск в Интернете" оставьте для тестирования и отладки Ваших запросов.
-- Игорь Нежданов написал 2 июня 2010 21:00
Семёныч написал:[q]
С новыми запросами всё легко. Создал папку и делай запросы. А вот старые запросы как по папкам разложить? Я создал новый ящик, выделил запрос, который делал месяц назад и перетаскиванием затащил его в новый ящик. В итоге: в ящике его нет и на старом месте он пропал. Теперь его нигде нет, даже поиском найти не могу. Может кто сталкивался с таким? [/q]
Поспешил ты.... честно говоря тоже хотел так поступить, но удержался от соблазна. Вижу что не зря.
-- Семёныч написал 3 июня 2010 13:54
Ага, поспешил. Благо, только три запроса потерял. 
Теперь жду. 
-- Алексей Мыльников написал 3 июня 2010 14:20
Семёныч написал:[q]
Ага, поспешил. Благо, только три запроса потерял. Теперь жду. [/q]
Попробуйте в версии 6.3.1.1, сегодня утром выложил для БД "Поиск в Интернете", если, конечно, запросы еще остались (шутка).
-- Семёныч написал 4 июня 2010 10:30
Уррраааа!!! Заработало!!! (с) 
Этот форум работает на скрипте Intellect Board
© 2004-2007, 4X_Pro, Объединенный Открытый Проект