Предложения по доработке "Карты сайта"

Форум Сообщества Практиков Конкурентной разведки (СПКР)

Конкурентная разведка, Бизнес-разведка, Корпоративная разведка,
Деловая разведка по открытым источникам в бизнесе.
Работаем строго в рамках закона.

Дезинформация и активные мероприятия в бизнесе
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Предложения по программе для допроса Интернета СайтСпутник »   Предложения по доработке "Карты сайта"
RSS

Предложения по доработке "Карты сайта"

<<Назад  Вперед>>Страницы: 1 2 3
Печать
 
petryashov
Администратор

Откуда: Москва
Всего сообщений: 480
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009
Алексей, мы уже в свое время предлагали небольшую доработку "Карты сайта". Суть - добавление в карту еще одного столбца, в котором было бы описание из тега TITLE нужной страницы сайта.

вот, например, что кроется за такой ссылкой? www.site.ru/10975/306992/
Пока не нажмешь - не увидишь.А если таких неговорящих ссылок тысячи, то ценность полученной карты сайта сомнительна. Достаточно сделать доработку, включив в карту столбец из тайтла, и мы увидим описание этой страницы

Это можно сделать?
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 877
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
Да, но для этого придется открыть ровно столько ссылок сколько содержится в карте сайта (КС), а их количество может исчисляться десятками тысяч. Это не всегда приемлемо на эпапе поиска при помощи поисковиков.
Без проблем "прицепить" сниппеты. В этом случае не надо ничего открывать. Они уже есть в списке "Объединение", на основе которого формируется КС. Я их просто отбрасываю при построении иерархической структуры сайта.
Поэтому работайте со списком "Объединение". В нем один к одному те самые ссылки, что и в КС, но каждая ссылка сопровождается сниппетом.

КС задумана для другого. Она является базой (стартовой площадкой) для поиска непроиндексированных (невидимых) поисковиками ссылок. Одной из функций поиска таких ссылок является разрабатываемый в настоящее время спайдер, запускаемый с КС.
Спайдеру приходится закачивать все ссылки и видимые, и обнаруженные невидимые. Вот здесь можно и НУЖНО "прицепить" не только тайтлы, но и другие составные части контента ссылок и даже "функциональные производные" от их контента.
Предполагается реализовать целый набор функций над контентом ссылок и сайта в целом. Причем не только над текстовой составляющей контента, но и над HTML составляющей. В принците реализация бета версии "Контекстного граббера" - это опробация базового алгоритма работы с контентом сайта, детализация которого будет являть собой упомянутый набор функций.

Игорь Нежданов
Модератор форума
Прагматик
Откуда: Советский Союз
Всего сообщений: 1025
Рейтинг пользователя: 13


Ссылка


Дата регистрации на форуме:
7 июня 2009

Alexei Mylnikov написал:
[q]
КС задумана для другого. Она является базой (стартовой площадкой) для поиска непроиндексированных (невидимых) поисковиками ссылок.
[/q]

На самом деле карта сайта может использоваться для самых разных нужд даже в КР. Например (помимо поиск страниц, на которых нет ссылок) для изучения сайта и его наполнения в целях выявления связанных компаний или людей, в целях понимания процессов. происходящих в исследуемой компании. в целях составления представления о профессионализме ПРщиков и рекламщиков и соответственно какова рекламная политика компании.... Да много для чего. И как раз с этой точки зрения гораздо удобнее иметь не только адрес страницы,но и ее название. Так проще ориентироваться в контенте. А такие задачи есть в достаточном колличестве у КРщиков, а уж у "смежников" они сплошь и рядом. И, к стати, "смежники" (маркетологи, ПР-щики, журналисты) довольно активно интересуются возможностями SS. А это своя и не малая группа потребителей.

Может есть смысл сделать два разных пункта: "КС видимая" и "КС не очень видимая".

---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок
Vinni
Администратор

Всего сообщений: 2136
Рейтинг пользователя: 22


Ссылка


Дата регистрации на форуме:
5 июня 2009

Иоанн написал:
[q]
Alexei Mylnikov написал:

[q]

КС задумана для другого. Она является базой (стартовой площадкой) для поиска непроиндексированных (невидимых) поисковиками ссылок.
[/q]
[/q]


Соглашусь с Алексеем. Если заставить SS самому скачивать все найденные страницы (а не пользоваться тем, что дал поисковик), то это будет уже просто паук со всеми вытекающими последствиями :wink:

Пауков, строящих карты сайтов, уже хватает (см. например, бесплатный вариант на базе wget+php - _ttp://ardoino.com/15-google-php-wget-sitemap-generator/ и )
Игорь Нежданов
Модератор форума
Прагматик
Откуда: Советский Союз
Всего сообщений: 1025
Рейтинг пользователя: 13


Ссылка


Дата регистрации на форуме:
7 июня 2009

Vinni написал:
[q]
Соглашусь с Алексеем. Если заставить SS самому скачивать все найденные страницы (а не пользоваться тем, что дал поисковик), то это будет уже просто паук со всеми вытекающими последствиями :wink:
[/q]

В том то и фишечка, что не надо паука делать - для начала "вытянуть" под эту функцию все что можно из поисковиков.

---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок
petryashov
Администратор

Откуда: Москва
Всего сообщений: 480
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009

Иоанн написал:
[q]

Vinni написал:
[q]
Соглашусь с Алексеем. Если заставить SS самому скачивать все найденные страницы (а не пользоваться тем, что дал поисковик), то это будет уже просто паук со всеми вытекающими последствиями
[/q]
В том то и фишечка, что не надо паука делать - для начала "вытянуть" под эту функцию все что можно из поисковиков.
[/q]

хотя бы сниппеты
Семёныч
Модератор форума
Городской Охотник
Всего сообщений: 926
Рейтинг пользователя: 10


Ссылка


Дата регистрации на форуме:
8 июня 2009
Соглашусь с Иоанном и petryashov - "для начала ... хотя бы сниппеты" сделали бы КС на порядок информативней. Т.Е. она и так информативна, но пока откроешь массу ссылок, большую часть их которых уже открывал, то тут и трафик и время летит. Ведь неоспоримое преимущество SS именно скорости. Понимаете о какой скорости я говорю?

---
Нет такой безвыходной ситуации,в которую невозможно вляпаться... (с)
vbl
Модератор форума

Откуда: Нижний Новгород
Всего сообщений: 179
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
10 июня 2009

Alexei Mylnikov написал:
[q]
На самом деле карта сайта может использоваться для самых разных нужд даже в КР
[/q]


Как-то некорректно звучит слово "даже" :)

Как раз в КР используется данная функция "на ура".


Из собственного опыта.

Построение карты сайта очень помогает следующим образом:
- находит странички с внутренней статистикой сайта, например, созданные Вэбалайзером. Напрямую на них, как правило, выйти не получается. У нас был случай, когда СС притащил одну такую страничку с подробной статистикой IP посетителей за март 2009 года. Имея урл данной странички мы легко ознакомились и со страницами за другие месяцы. Причем не только по посетителям, а и по ключевым словам, откуда приходили посетители и т.д.
- приносит очень интересные странички с сайта, которые вроде бы запрещены к показу и индексации, но ведь Гуглу пофиг :wink:

А вот просматривать все найденные ссылки в карте бывает тяжко, тут я за предложение Дмитрия.

И хотелось бы еще уточнить, а чем подробная карта сайта отличается от просто карты сайта?


---
Non progredi est regredi

http://www.informnn.ru
Информационная рассылка "Конкурентная разведка. Сам себе разведчик" - http://subscribe.ru/catalog/tech.razvedka
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 877
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

vbl написал:
[q]
И хотелось бы еще уточнить, а чем подробная карта сайта отличается от просто карты сайта?
[/q]
Здесь в 1-ом топике - forum.razved.info/index.php?t=209

vbl написал:
[q]
Alexei Mylnikov написал:
[q]
На самом деле карта сайта может использоваться для самых разных нужд даже в КР
[/q]


Как-то некорректно звучит слово "даже" :)
[/q]

Это не я написал.

Игорь Нежданов
Модератор форума
Прагматик
Откуда: Советский Союз
Всего сообщений: 1025
Рейтинг пользователя: 13


Ссылка


Дата регистрации на форуме:
7 июня 2009

Alexei Mylnikov написал:
[q]

vbl написал:
[q]

Alexei Mylnikov написал:
[q]

На самом деле карта сайта может использоваться для самых разных нужд даже в КР
[/q]

Как-то некорректно звучит слово "даже" :)
[/q]

Это не я написал.
[/q]

Это писал некто "Иоанн"

---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок
vbl
Модератор форума

Откуда: Нижний Новгород
Всего сообщений: 179
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
10 июня 2009
Угу, угу :)

Почему-то при цитировании получилось то что получилось

---
Non progredi est regredi

http://www.informnn.ru
Информационная рассылка "Конкурентная разведка. Сам себе разведчик" - http://subscribe.ru/catalog/tech.razvedka
vbl
Модератор форума

Откуда: Нижний Новгород
Всего сообщений: 179
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
10 июня 2009

Alexei Mylnikov написал:
[q]
Здесь в 1-ом топике - forum.razved.info/index.php?t=209
[/q]



Правильно ли я понял, что разница лишь в глубине "траления" и соответственно в применимости обычной карты относительно заведомо не очень больших сайтов, а углубленной карты относительно заведомо больших сайтов?

---
Non progredi est regredi

http://www.informnn.ru
Информационная рассылка "Конкурентная разведка. Сам себе разведчик" - http://subscribe.ru/catalog/tech.razvedka
vbl
Модератор форума

Откуда: Нижний Новгород
Всего сообщений: 179
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
10 июня 2009
И немного не по теме.

Алексей, а можно как-то уведомлять о сути изменений, вносимых в новые версии. Ситуации с добавлением таких глобальных возможностей, как ассемблеры понятны. Они у Вас на сайте отражаются. В то же время периодически выходят обновления программы, про которые Вы пишете просто номер релиза. Можно ли обозначить суть изменений. Например, "доработана такая-то функция", "Устранены такие-то моменты" (не хочется писать проблемы, поскольку их скорее нет) и т.п. росто чтобы понимать суть изменений, и в случае необходимости скорректировать свою практику использования программы

---
Non progredi est regredi

http://www.informnn.ru
Информационная рассылка "Конкурентная разведка. Сам себе разведчик" - http://subscribe.ru/catalog/tech.razvedka
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 877
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

vbl написал:
[q]
Правильно ли я понял, что разница лишь в глубине "траления" и соответственно в применимости обычной карты относительно заведомо не очень больших сайтов, а углубленной карты относительно заведомо больших сайтов?
[/q]

Да, правильно.

При решении своих задач на больших сайтах я обычно делаю так.
1. Строю стандартную карту.
2. Изучаю ее и для тех ресурсов и папок, которые меня заинтересовали строю углубленную карту или еше раз стандартную (как бы подкарту).

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 877
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

vbl написал:
[q]
Алексей, а можно как-то уведомлять о сути изменений, вносимых в новые версии. Ситуации с добавлением таких глобальных возможностей, как ассемблеры понятны. Они у Вас на сайте отражаются. В то же время периодически выходят обновления программы, про которые Вы пишете просто номер релиза. Можно ли обозначить суть изменений. Например, "доработана такая-то функция", "Устранены такие-то моменты" (не хочется писать проблемы, поскольку их скорее нет) и т.п. росто чтобы понимать суть изменений, и в случае необходимости скорректировать свою практику использования программы
[/q]

То, что я не декларировал на сайте, обычно пишу здесь, если меня не опережают.
Так, что здесь проблемы нет для тех, что следит за форумом.

vbl
Модератор форума

Откуда: Нижний Новгород
Всего сообщений: 179
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
10 июня 2009

Alexei Mylnikov написал:
[q]
То, что я не декларировал на сайте, обычно пишу здесь, если меня не опережают.
Так, что здесь проблемы нет для тех, что следит за форумом.
[/q]


Хорошо, давайте для наглядности уточним. На Вашем сайте последняя запись об обновлениях гласит: 11.05.10. Версия 6.2.1.2
Номер последней версии FileForFiles & SiteSputnik.

Я просмотрел раздел форума про СайтСпутник и не нашел упоминания о данном обновлении. Дайте, пожалуйста, ссылку, возможно я чего-то недоглядел



---
Non progredi est regredi

http://www.informnn.ru
Информационная рассылка "Конкурентная разведка. Сам себе разведчик" - http://subscribe.ru/catalog/tech.razvedka
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 877
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

vbl написал:
[q]
Хорошо, давайте для наглядности уточним. На Вашем сайте последняя запись об обновлениях гласит: 11.05.10. Версия 6.2.1.2
Номер последней версии FileForFiles & SiteSputnik.

Я просмотрел раздел форума про СайтСпутник и не нашел упоминания о данном обновлении. Дайте, пожалуйста, ссылку, возможно я чего-то недоглядел
[/q]


В данном случае версия была обновлена по причине изменения синтаксиса поисковой страницы Яндекса: "Еще с сайта", было заменено на "Ещё" и, соотвественно, срочно пришлось поправить глубокий поиск для Яндекса.
Вы правы, об этом на форуме не было объявлено.

vbl
Модератор форума

Откуда: Нижний Новгород
Всего сообщений: 179
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
10 июня 2009
Вот об этом я и вел речь.

Некоторые изменения проходят просто под номером, и не носят глобальный характер, но все же наверное полезно знать о них чуть больше, чем номер.

В принципе, это и Вам выгодно. Раскрыв в паре предложений суть изменения Вы широкой аудитории покажете, что программа постоянно совершенствуется, автор своевременно реагирует на сложившуюся ситуацию. И в итоге, при небольших усилиях, это выльется в дополнительный PR программы, который никогда не лишний. Ведь даже самый лучший товар, а Ваша программа несомненно таковой и является, нуждается в рекламе и продвижении, иначе о ней просто никто не узнает.

Извините, если сказанное мной показалось Вам банальным или выглядит как нравоучение. В мыслях такого не держал, пишу исключительно из лучших побуждений :hi:

---
Non progredi est regredi

http://www.informnn.ru
Информационная рассылка "Конкурентная разведка. Сам себе разведчик" - http://subscribe.ru/catalog/tech.razvedka
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 877
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

petryashov написал:
[q]
Алексей, мы уже в свое время предлагали небольшую доработку "Карты сайта". Суть - добавление в карту еще одного столбца, в котором было бы описание из тега TITLE нужной страницы сайта.
[/q]

В версии 6.2.1.3 от 20.05.10 в карту сайта добавлены заголовки страниц, взятые из сниппетов, то есть подкачки страниц нет.
Посмотреть заголовки можно стандартно: навели мышку на ссылку - увидели подсказку-заголовок.
Делать отдельный столбец не стал, чтобы не ухудшать визуальное восприятие карты.

vbl
Модератор форума

Откуда: Нижний Новгород
Всего сообщений: 179
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
10 июня 2009
Попробовал обновиться - не получилось.

Обновление находится, скачивается, появляется окошко с просьбой перезагрузки программы. Нажимаешь "Ок", программа как обычно выключается, чуток думает, а потом выдает сообщение "FileForFiles - выполняется или еще не завершилась". Нажимаю "Ок" СС загружается, но обновления не произошло. Пробовал несколько раз с тем же результатом.

---
Non progredi est regredi

http://www.informnn.ru
Информационная рассылка "Конкурентная разведка. Сам себе разведчик" - http://subscribe.ru/catalog/tech.razvedka
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 877
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

vbl написал:
[q]
Попробовал обновиться - не получилось.
[/q]

Перезагрузите компьютер.

Семёныч
Модератор форума
Городской Охотник
Всего сообщений: 926
Рейтинг пользователя: 10


Ссылка


Дата регистрации на форуме:
8 июня 2009
У меня без проблем обновилось до версии 6.2.1.3. :good:

---
Нет такой безвыходной ситуации,в которую невозможно вляпаться... (с)
petryashov
Администратор

Откуда: Москва
Всего сообщений: 480
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009

Alexei Mylnikov написал:
[q]
Посмотреть заголовки можно стандартно: навели мышку на ссылку - увидели подсказку-заголовок.
Делать отдельный столбец не стал, чтобы не ухудшать визуальное восприятие карты.
[/q]


А вот и зря ;-) Алексей, карта сайта периодически используется в распечатанном виде. На бумаге всплывающие подсказки не видны. Сделайте колонку отдельную, плиз, с описанием. Ну или как-то иначе вопрос можно решить, но карта сайта будет идеальным инструментом, если:

а. описания страниц будут видны в распечатке;
б. С ними можно будет работать в электронном виде (в электронной таблице или базе данных). Один из вариантов такой работы- сортировка описаний по алфавиту или фильтр
vbl
Модератор форума

Откуда: Нижний Новгород
Всего сообщений: 179
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
10 июня 2009

Alexei Mylnikov написал:
[q]
Перезагрузите компьютер.
[/q]


Перезагрузил. Не помогло.

---
Non progredi est regredi

http://www.informnn.ru
Информационная рассылка "Конкурентная разведка. Сам себе разведчик" - http://subscribe.ru/catalog/tech.razvedka
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 877
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

vbl написал:
[q]
Перезагрузил. Не помогло.
[/q]

А обновились?

vbl
Модератор форума

Откуда: Нижний Новгород
Всего сообщений: 179
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
10 июня 2009
После перезагрузки вновь попытался обновиться. Та же ситуация повторилась с точностью до запятой:

Обновление находится, скачивается, появляется окошко с просьбой перезагрузки программы. Нажимаешь "Ок", программа как обычно выключается, чуток думает, а потом выдает сообщение "FileForFiles - выполняется или еще не завершилась". Нажимаю "Ок" СС загружается, но обновления не произошло. Пробовал несколько раз с тем же результатом.

---
Non progredi est regredi

http://www.informnn.ru
Информационная рассылка "Конкурентная разведка. Сам себе разведчик" - http://subscribe.ru/catalog/tech.razvedka
vbl
Модератор форума

Откуда: Нижний Новгород
Всего сообщений: 179
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
10 июня 2009
Получилось обновиться

Программа смогла это сделать после того, как я отключил Касперского

---
Non progredi est regredi

http://www.informnn.ru
Информационная рассылка "Конкурентная разведка. Сам себе разведчик" - http://subscribe.ru/catalog/tech.razvedka
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 877
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

petryashov написал:
[q]
Алексей, карта сайта периодически используется в распечатанном виде. На бумаге всплывающие подсказки не видны. Сделайте колонку отдельную, плиз, с описанием. Ну или как-то иначе вопрос можно решить, но карта сайта будет идеальным инструментом, если:

а. описания страниц будут видны в распечатке;
б. С ними можно будет работать в электронном виде (в электронной таблице или базе данных). Один из вариантов такой работы- сортировка описаний по алфавиту или фильтр
[/q]

В версии 6.2.1.4 от 21.05.10 в карте сайта сделал колонку (столбец) с заголовком страницы.

Экспортировать карту сайта в Excel или Word можно, например, следующим общазом.
1. На нижней табличке базы данных выбрали список "Карты". Нажали правую кнопку мышки и выбрали "Открыть папку файла".
2. В открытой папке выбираете файл с картой сайта и, нажав на ней правую кнопку мышки, выбираете "Открыть с помощью...".

Подобным образом можно добраться до любого файла, отображаемого в окне встроенного в SiteSputnik браузера. Далее эти файлы можно использовать так как желаете и умеете.

Игорь Нежданов
Модератор форума
Прагматик
Откуда: Советский Союз
Всего сообщений: 1025
Рейтинг пользователя: 13


Ссылка


Дата регистрации на форуме:
7 июня 2009
О! Спасибо!!!

---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок
petryashov
Администратор

Откуда: Москва
Всего сообщений: 480
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009
Alexei Mylnikov
Все, протестировал, работает. Спасибо, этот вопрос для меня закрыт
<<Назад  Вперед>>Страницы: 1 2 3
Печать
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Предложения по программе для допроса Интернета СайтСпутник »   Предложения по доработке "Карты сайта"
RSS

Последние RSS
Англоязычный интерфейс программы "Сайт Спутник"
Учебник по конкурентной разведке
Конкурентная разведка: маркетинг рисков и возможностей
Книга "История частной разведки США"
Книга "Нетворкинг для разведчиков"
Поиск и сбор информации в интернете в программе СайтСпутник
Новые видеоуроки по программе СайтСпутник для начинающих
Технологическая разведка
SiteSputnik. Мониторинг Телеграм
СайтСпутник: возврат к ранее установленной версии
SiteSputnik. Доступ к результатам работы из браузера
Анализ URL
Браузер для анонимной работы
Топливно-энергетический комплекс
Профессиональные сообщества СБ
Несколько Проектов в одном, выполнение Проектов по частям
SiteSputnik-Bot: Боты в программе СайтСпутник
К вопросу о телеграм
SiteSputnik: Автозамены до и после Рубрикации или Перевода
Демо-доступ к ИАС социальных сетей

Самые активные 20 тем RSS