Версия для печати

-   Форум Сообщества Практиков Конкурентной разведки (СПКР) http://forum.razved.info/
--  Предложения по программе для допроса Интернета СайтСпутник http://forum.razved.info//index.php?f=40
--- Список пожеланий, Обновлен 23.04.13 http://forum.razved.info//index.php?t=3481



-- petryashov написал 9 января 2013 15:17
В данной теме будут помещаться все предложения по совершенствованию СайтСпутника с указанием ссылок на обсуждение. Уже реализованные предложения в этот список не включались. Данная тема предназначена для того, чтобы все актуальные предложения были в одном месте и могли быть легко найдены.

1. Можно ли сделать так, чтобы при нажатии на найденный объект открывался список новостей, в которых эти объекты найдены?

2. Можно ли сделать так, чтобы объекты выделялись не только по одному "прикрепленному файлу", но и по нескольким одновременно? Например, я ежедневно мониторю определенный круг новостей, потом запускаю поиск объектов во всем накопившемся архиве за месяц, а на выходе получаю табличку, в которой видно, сколько раз какой объект в течение месяца упоминался с разбивкой по дням
Ссылка: forum.razved.info/index.php?t=3371&a=stdforum_view&o=&st=0

3. Можно ли сделать мастера, который будет бэкапить данные: сценарии, пакеты и содержимое баз данных? У меня пару раз данные терялись, а их весьма жаль...

Как я себе представляю этот мастер: нажимается иконка, вываливается меню, в котором в чекбоксах можно отметить, какую информацию именно бэкапить: сценарии; пакеты; базы даных; все вместе, после чего выбирается место, куда всю эту информацию сохранить. Информация сохраняется в виде архивного файла zip.
Ссылка: forum.razved.info/index.php?t=1305

4. После проведенной рассылки по каждому каналу желательно создавать протокол рассылки-перечень адресов, по которым была проведена рассылка. Его желательно хранить в БД СайтСпутника

5. Для того, чтобы уменьшить вероятность ошибки в процессе создания пакетов, подключения их к рубрикам и прописки условий попадания информации в Клиенские папки, предлагаю создать Мастер, который в пошаговом режиме будет задавать пользователю необходимые вопросы и заносить в систему полученную от него информацию. СДЕЛАНО

6. Предлагаю предусмотреть возможность массового изменения путей к клиентским папкам (например, поменялся путь к папке на сервере) и электронным адресам (уволился сотрудник, нужно все его подписки перекинуть на новое лицо)
Ссылка: forum.razved.info/index.php?t=2046&p=24303&hl=%EC%E0%F1%F2%E5%F0#pp24303 СДЕЛАНО

7. Возможность продолжить работу системы после падения (например, электричество отключили или была выполнена жесткая перезагрузка системы). Хотя бы сделать так, чтобы можно было рубрицировать и раскидать по папкам (почтовым адресам) уже найденную во время прекращенного сеанса информацию.

8. Возможность сортировки найденной информации в Рубриках по расстоянию между словами. Например, у меня есть запрос "Строительство" и Рубрика "Калмыкия". В результате в отчет по рубрике попадают вперемешку как близко расположенные слова "Калмыкия" и "строительство", так и расположенные в разных частях документа. Хотелось бы сделать так, чтобы, по аналогии с Яндексом, сначала в выдаче шли слова с минимальным расстоянием между ними, а затем с увеличением этого расстояния.

9. Создать карточки объектов (например, источников), в которые можно было бы вносить информацию вручную и в которые выводились бы ссылки на хранящиеся в базе СайтСпутника материалы из этого источника.

Пункты 7-9 на форуме не обсуждались, были обсуждены в процессе переписки

10. Предложено транслировать в файл, экспортируемый для дальнейшей обработки в СУБД, ряд полей: Название Рубрики (или рубрик), в которую (или которые) попал запрос;. Дату и время получения новости СайтСпутником из Интернета;. Домен второго уровня; выделенные в каждой новости Объекты.; Там, где есть возможность, желательно выделять еще и авторов публикаций в отдельном столбце. Чтобы не плодить огромные файлы, эти пункты можно выводить в файл только в том случае, если пользователь прямо на это укажет в настройках.- СДЕЛАНО

Ссылка: forum.razved.info/index.php?t=3427

11. Предложено выводить ссылки, не попавшие в ходе сканирования хотя бы в одну Рубрику, выводить в отдельный список. forum.razved.info/index.php?t=1045&&st=50

-- Алексей Мыльников написал 10 января 2013 21:49
"Простой перечень предложений...", - ну да, перечень :smile: простой.

1 и 2. Что касается SiteSputnik Objects, буду делать второй подход, в котором предложенное сделаю.

3 и 4. Сделать не сложно. По п.4 я делаю так: дублирую рассылку на свой отдельный е-майл, потому что надо контролировать не только то, что письмо ушло, но и содержание того, что получит Пользователь. Для этого достаточно в Рубриках после е-майла Пользователя добавить свой е-майл или прописать его для всех рубрик.

5. Мастер, конечно, запланирован, но в последних версии сделана подсказка, в которой приведены примеры Правил. Подсказка доступна при повторном нажатии на кнопку "Рубрики", которая расположена на главной панели инструментов. В данном случае, как ни делай Мастер, он будет или "слабеньким" или практически такой же сложности как и сами Правила.

6 и 7. В принципе, можно и не помешает. По 7: отчасти помогает бесперебойник, если питание отключается на минуты; если же на большее время, то лучше выполнить поиск заново, так как за это время выйдет не мало новостей.

8. Если Вы применяете такие простые правила как:

Рубрикация в SiteSputnik устроена так, что сначала в выдачу попадут удовлетворяющие первому Правилу контенты ссылок, ..., в конце - последнему. Дублей информации не будет.

В реальной работе правила часто формулируются так:
Даже рекомендую оперировать файлами-вставками для "понятий". В этом случае алгоритм упорядочивания ссылок усложняется. Потом, хорошо бы ещё в функцию, определяющую место ссылки в выдаче, ввести параметр "плотность"="количество ключевых слов, делённое на длину контента". Заниматься этим буду.

9. Создайте Рубрику "Источники". В неё вложите Рубрики: "Аргументы и факты", "Дни.Ру", "Лента.Ру", ... Если это устроит, то я сделаю операцию inurl или внешнюю функцию для реализации возможности фильтрации ссылок по их url. Сейчас этого в программе сделать нельзя, потому что адрес ссылки редко присутствует в её очищенном от мусора контенте. Если это реализовать, то, добавив к уже имеющимся в Проекте рубрикам, рубрику "Источники", Вы будите получать статистику ("Желтую таблицу"), которая покажет полезность и динамику полезности источников для Проекта.

-- Алексей Мыльников написал 15 января 2013 1:45

petryashov написал:
[q]
10. Предложено транслировать в файл, экспортируемый для дальнейшей обработки в СУБД, ряд полей: Название Рубрики (или рубрик), в которую (или которые) попал запрос;. Дату и время получения новости СайтСпутником из Интернета;. Домен второго уровня; выделенные в каждой новости Объекты.; Там, где есть возможность, желательно выделять еще и авторов публикаций в отдельном столбце. Чтобы не плодить огромные файлы, эти пункты можно выводить в файл только в том случае, если пользователь прямо на это укажет в настройках.
[/q]

Собрался делать это пожелание, соответственно, прочитал внимательнее и "разобрался".

Первое поле. Название Рубрики (или рубрик), в которую (или которые) попал запрос.
Смотрите список "Рубрика-Ссылки". Там можно увидеть Рубрики, в которые Проект принес информацию. Что даст это поле? Допусим выполним мы проект 200 раз. Понатолкаю я в столбец "Рубрики" через запятую эти имена Рубрик. А куда? В первую ячейку?
Предположим Вы описались и хотите: в какие Рубрики попала Новость. Хорошо, выведу это в ячейки столбеца через запятую. Что это даст кроме нагромаждения? Если нужна количественная оценка - она есть в желтой табличке.

Следующее. Дату и время получения новости СайтСпутником из Интернета.
Она одна для всех Ячеек столбца. Зачем такой столбец с одной датой? Могу в преамбуле дату и время выполнения поставить, если хотите.
Допустим выполните Вы 200 раз проект. Будете иметь 200 дат по 200 раз, когда СайтСпутник нашел какие-то новости. Что с ними делать?

Следующее. Домен второго уровня.
Очень просто это сделать. Он есть в столбце ссылки. Да, проще будет статистику по нему собирать.

Следующее. Выделенные в каждой новости Объекты.
Рановато. Для этого надо саму процедуру выделения объетов усовершенствовать для подобного применения.
Даже если я "понабью" в ячейку через запятую объекты, будет их там штук по 10-100 - что это даст?

В какую структуру, точнее в какие структуры, Вы напишите всё это? У Вас есть такие структуры?

-- petryashov написал 15 января 2013 10:19
Алексей, поясню, зачем я прошу Вас сделать эту выгрузку. Дело в том, что сейчас вплотную столкнулся с тем, что с массивом накопленной с момента появления +News надо как-то работать. Разовая рассылка заинтересованным лицам информации и хранение всех новостей в сетевых папках-это, конечно, хорошо, но лишь в оперативных целях. Для решения тактических и стратегических вопросов к архиву найденных новостей приходится обращаться неоднократно, и лучше всего это делать в СУБД. Лично я использую MS Access.
Вот 2 основных вопроса, которые я решаю при помощи архива накопленной информации:

1. Создание ежемесячного информационного дайджеста о наиболее важных событиях внешней маркетинговой среды. Здесь из массива информации нужно вывести только те события, которые попали в базу в отчетном периоде (например, в декабре 2012 года) и по определенным темам (например, строительство, реконструкция, модернизация, Лукойл и т.п.). Эту информацию можно вывести из базы при помощи несложного SQL- запроса, но для этого необходимы поля "Дата и время получения новости СайтСпутником из Интернета" - это для опрелеления периода вывода информации в дайджест и "Название рубрики, в которую попала новость"- это для определения тем, по которым нужно вывести материалы в дайджест.

2.Создание досье контрагента (поставщика, подрядчика, клиента, конкурента).Есть 2 варианта реализации: поиск по тексту Новости, попавшей в базу (очень долго) или поиск по содержимому поля "Объекты" (намного быстрее). Поэтому я и прошу выгружать выделенные в СайтСПутнике Объекты в каждой новости в файл экспорта



-- Алексей Мыльников написал 15 января 2013 22:38
Понял. Согласен. Подробно о сделанном в соответствующей теме: forum.razved.info/index.php?t=3427&p=36922#pp36922

-- Алексей Мыльников написал 1 февраля 2013 0:47

petryashov написал:
[q]
6. Предлагаю предусмотреть возможность массового изменения путей к клиентским папкам (например, поменялся путь к папке на сервере) и электронным адресам (уволился сотрудник, нужно все его подписки перекинуть на новое лицо)
Ссылка: forum.razved.info/index...F0#pp24303
[/q]

В версии 8.3.2 от 01.02.13 эта возможность: массовое изменение (редактирование) клиентских папок (е-майлов, папок локальной сети, папок сайтов) доступна из пункта меню отмеченного на картинке ниже красной галочкой.

Также реализована возможность массового редактирования Правил попадания в Рубрики.

(http://sitesputnik.ru/Help/Pic/F/RubEditMemu.jpg)

Обе операции позволяют осуществлять массовое редактирование Рубрик.

Особенность этих операций такова. Можно выбирать для массового редактирования любую ветку дерева Рубрик: SiteSputnik предложит отредактировать её верхний узел и все вложенные в него узлы до последнего листьевого.

Два крайних случая: если встать на узел "Рубрики", то отредактировать можно все дерево Рубрик, если встать на лист, то отредактировать можно только одну Рубрику.

-- Алексей Мыльников написал 5 февраля 2013 1:30
В версии 8.3.2.2 от 05.02.13 реализовано не только массовое редактирование, но и создание Рубрик. Можно создавать, в частности, и вложенные Рубрики.

-- ara_367519 написал 27 февраля 2013 17:40
Можно ли сделать так, чтобы СС периодически на нужном ресурсе искал открытые папки,в случае обнаружения, сохранял их (в идеале).. либо обрабатывал ресурс при помощи спайдера, .т.е. мониторил ресурс при помощи блока invisible?

-- tungus1973 написал 27 февраля 2013 18:24
Хорошее предложение. Поддерживаю!
Если возможно автоматизировать проверку сайтов на "невидимые" папки и ссылки, то это было бы очень удобно.

-- Алексей Мыльников написал 2 марта 2013 15:21
Вообще-то, я считал, что это ювелирная работа, и явно позиционирую SiteSputnik Invisible как средство проверки своих ресурсов, а не "обдалбливания" сайтов конкурентов и других ресурсов. Даже встроенные средства маскировки Ip не применяю.

Для своих ресурсов - разработанных средств достаточно, найденное новое сохраняется. Если Вам надо что-то большее, то Вы должны быть специалистом в соответствующей области и, возможно, что Вам удастся применить функционал СайтСпутник(а) совместно с другим дополнительным программным и аппаратным обеспечением.

Но при следующем подходе к SiteSputnik Invisible, реализуя интеграционные процессы развития всех вариантов программы, вполне возможно, что подключу к нему Рубрики, Планировщик, средства e-майл рассылки, установку Сигнализации, объекты.


-- CI-KP написал 2 марта 2013 18:00

Алексей Мыльников написал:
[q]
Даже встроенные средства маскировки Ip не применяю.
[/q]

Да и не надо, на мой взгляд. VPN вполне справляется с такой задачей.

Кроме того, поиск невидимых папок - задача очень трудоемкая и не очень результативная, ее развитие особого смысла, как мне кажется не имеет.

-- Vinni написал 3 марта 2013 14:32

CI-KP написал:
[q]
поиск невидимых папок - задача очень трудоемкая и не очень результативная
[/q]

+1. Тем более эта задача специфична для разных сайтов.

Проще по-быстрому скрипт на змеюке или перле накодить для конкретного сайта по-быстрому. :cactus4:

-- ara_367519 написал 27 марта 2013 12:41
При обработке ресурса в разделе поиск папок с помощью словаря, программа генерирует различные папки с возможными расширениями.. после включения их в карту сайта и последующей проверке- сервер иногда выдает ошибки 500-503.. ну бывает и 403 :wink: .. нельзя ли добавить в итоговую таблицу графу с указанием ошибки и краткой ее расшифровки? Возможно экономило бы время и сразу можно было бы планировать дальнейшие действия по "разработке"... :hi:

-- petryashov написал 23 апреля 2013 11:57
Обновил список пожеланий. Добавлен пункт 11

-- Алексей Мыльников написал 24 апреля 2013 1:03

petryashov написал:
[q]
Обновил список пожеланий. Добавлен пункт 11
[/q]

petryashov написал:
[q]
11. Предложено выводить ссылки, не попавшие в ходе сканирования хотя бы в одну Рубрику, выводить в отдельный список. forum.razved.info/index.php?t=1045&&st=50
[/q]

Я так понимаю, что Вам это нужно для своих аналитических потребностей и для более эффективной настройки самой программы СайтСпутник.

Смотрите список "Ссылка-Рубрики". Он был продекларирован уже более 2-х лет назад.

В нем каждая ссылка сопровождается списком Рубрик, в которые ссылка попала.
Если ссылка не попала ни в одну из Рубрику ("не востребована"), то этот список для неё пуст.

это, в определенной степени, напоминает операцию аналитическое объединение, но не для запросов к источникам на этапе поиска, а для пост-запросов (запросов к контенту найденных ссылок после их скачивания). Правила попадания в Рубрику - суть запрос, выполненный над значимым (очищенным от окружающего мусора) контентом ссылки. Другими словами, просматривая список "Ссылка-Рубрики" можно находить объекты, которые пересекаются (присутствуют) на конкретной ссылке.

Также в списке "Ссылка-Рубрики" указывается источник, который нашел каждую ссылку.

То есть, список "Ссылка-Рубрики", значительно более глубокий, чем тот, который Вы предлагаете.

Сразу предвижу новое предложение: сделайте табличку по источникам, а именно: какой источник сколько ссылок принес в Рубрики.
Ответ: смотрите список "Статистика", в нем в первом столбце указаны имена источников, а в последнем сколько ссылок каждый из них принес в Рубрики.

-- ara_367519 написал 24 мая 2013 14:13
Есть предложение такое - при построении КС ресурса, СС выводит результат в виде таблицы.. при повторном выполнении указанной функции на данном ресурсе, СС делает тоже самое.. нельзя ли сделать дополнение в АО, что СС выводил результаты в одном окне в 2х таблицах рядом- что позволило бы визуально сравнивать изменения, произошедшие на ресурсе за определенный промежуток времени.. (в идеале- чтобы измененные или новые страницы (папки)) помечались иным цветом ). Думаю, так было бы несколько проще анализировать изменения.. :hi:

-- Алексей Мыльников написал 24 мая 2013 15:47
А СС, КС и АО - это кто такие?

Вы, после выполнения операции "Аналитическое объединение" над Картами сайта откройте список "Ссылки" или "Объединение", пройдите вниз и посмотрите: там, где только ссылки, найденные вторым поиском - это новые ссылки, там где только первым поиском - это исчезнувшие ссылки. Это для ссылок.

Чтобы увидеть какие папки и ресурсы исчезли или появились, соответственно, посмотрите списки "Папки" и Ресурсы".

-- ara_367519 написал 24 мая 2013 16:06

Алексей Мыльников написал:
[q]
Чтобы увидеть какие папки и ресурсы исчезли или появились, соответственно, посмотрите списки "Папки" и Ресурсы".
[/q]

это я понял, просто так наверное было бы нагляднее.. КС-карта сайта, АО-аналит.объединение, а СС- соответственно :hi:

-- ara_367519 написал 9 августа 2013 13:51
Есть такое предложение - предусмотреть в программе "точку возврата", аналог похоже функции как windows - чтобы в случаях если программа "зависает", была возможность вернуться на "предыдущее" положение.. ну и в идеале, чтобы программа запоминала эти "точки" с какой-нибудь периодичностью..

-- Борисюк Дмитрий написал 29 декабря 2017 10:13
Алексей возможно ли реализовать в поиске по СоцСетям внесения дополнительных параметров поиска, например как дополнительный параметр: Страна, Город, Возраст и т.д. для исключения ненужных вариантов поиска(тонкая настройка поиска), иногда встречаются фамилии очень распространенные.

-- Алексей Мыльников написал 11 января 2018 17:22

Борисюк Дмитрий написал:
[q]
Алексей возможно ли реализовать в поиске по СоцСетям внесения дополнительных параметров поиска, например как дополнительный параметр: Страна, Город, Возраст и т.д. для исключения ненужных вариантов поиска(тонкая настройка поиска), иногда встречаются фамилии очень распространенные.
[/q]



-- ara_367519 написал 11 января 2018 17:35
Алексей Борисович, а насчет моей идеи не думали еще?

-- Борисюк Дмитрий написал 15 января 2018 21:47
Спасибо и на этом! Алексей Борисович!

Алексей Мыльников написал:
[q]

Возможно, для таких задач усовершенствую +PostQuery или сделаю специальную функцию для поиска в соцсетях с использованием возможностей +News.
[/q]

Именно этот вариант доработки я и имел ввиду ! :smile:
Спасибо!

Этот форум работает на скрипте Intellect Board
© 2004-2007, 4X_Pro, Объединенный Открытый Проект