Форум Сообщества Практиков Конкурентной разведки (СПКР)

Долгожитель форума

Откуда: Волгоград
Всего сообщений: 877
Рейтинг пользователя: 6

Ссылка

Дата регистрации на форуме:
22 июня 2009

Профиль | Игнорировать
NEW! Сообщение отправлено: 29 июля 2009 19:46

Да, но для этого придется открыть ровно столько ссылок сколько содержится в карте сайта (КС), а их количество может исчисляться десятками тысяч. Это не всегда приемлемо на эпапе поиска при помощи поисковиков.
Без проблем "прицепить" сниппеты. В этом случае не надо ничего открывать. Они уже есть в списке "Объединение", на основе которого формируется КС. Я их просто отбрасываю при построении иерархической структуры сайта.
Поэтому работайте со списком "Объединение". В нем один к одному те самые ссылки, что и в КС, но каждая ссылка сопровождается сниппетом.

КС задумана для другого. Она является базой (стартовой площадкой) для поиска непроиндексированных (невидимых) поисковиками ссылок. Одной из функций поиска таких ссылок является разрабатываемый в настоящее время спайдер, запускаемый с КС.
Спайдеру приходится закачивать все ссылки и видимые, и обнаруженные невидимые. Вот здесь можно и НУЖНО "прицепить" не только тайтлы, но и другие составные части контента ссылок и даже "функциональные производные" от их контента.
Предполагается реализовать целый набор функций над контентом ссылок и сайта в целом. Причем не только над текстовой составляющей контента, но и над HTML составляющей. В принците реализация бета версии "Контекстного граббера" - это опробация базового алгоритма работы с контентом сайта, детализация которого будет являть собой упомянутый набор функций.

#2 | Наверх

Игорь Нежданов

Модератор форума
Прагматик
Откуда: Советский Союз
Всего сообщений: 1024
Рейтинг пользователя: 13

Ссылка

Дата регистрации на форуме:
7 июня 2009

Профиль | Игнорировать
NEW! Сообщение отправлено: 17 мая 2010 10:35
Сообщение отредактировано: 17 мая 2010 10:41

Alexei Mylnikov написал:

[q]
КС задумана для другого. Она является базой (стартовой площадкой) для поиска непроиндексированных (невидимых) поисковиками ссылок.
[/q]

На самом деле карта сайта может использоваться для самых разных нужд даже в КР. Например (помимо поиск страниц, на которых нет ссылок) для изучения сайта и его наполнения в целях выявления связанных компаний или людей, в целях понимания процессов. происходящих в исследуемой компании. в целях составления представления о профессионализме ПРщиков и рекламщиков и соответственно какова рекламная политика компании.... Да много для чего. И как раз с этой точки зрения гораздо удобнее иметь не только адрес страницы,но и ее название. Так проще ориентироваться в контенте. А такие задачи есть в достаточном колличестве у КРщиков, а уж у "смежников" они сплошь и рядом. И, к стати, "смежники" (маркетологи, ПР-щики, журналисты) довольно активно интересуются возможностями SS. А это своя и не малая группа потребителей.

Может есть смысл сделать два разных пункта: "КС видимая" и "КС не очень видимая".

---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок

#3 | Наверх

Vinni

Администратор

Всего сообщений: 2126
Рейтинг пользователя: 22

Ссылка

Дата регистрации на форуме:
5 июня 2009

Профиль | Игнорировать
NEW! Сообщение отправлено: 17 мая 2010 10:57

Иоанн написал:

[q]
Alexei Mylnikov написал:

[q]

КС задумана для другого. Она является базой (стартовой площадкой) для поиска непроиндексированных (невидимых) поисковиками ссылок.

[/q]
[/q]

Соглашусь с Алексеем. Если заставить SS самому скачивать все найденные страницы (а не пользоваться тем, что дал поисковик), то это будет уже просто паук со всеми вытекающими последствиями :wink:

Пауков, строящих карты сайтов, уже хватает (см. например, бесплатный вариант на базе wget+php - _ttp://ardoino.com/15-google-php-wget-sitemap-generator/ и )

#4 | Наверх

Игорь Нежданов

Профиль | Игнорировать
NEW! Сообщение отправлено: 17 мая 2010 11:39

Vinni написал:

[q]
Соглашусь с Алексеем. Если заставить SS самому скачивать все найденные страницы (а не пользоваться тем, что дал поисковик), то это будет уже просто паук со всеми вытекающими последствиями
[/q]

В том то и фишечка, что не надо паука делать - для начала "вытянуть" под эту функцию все что можно из поисковиков.

---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок

#5 | Наверх

petryashov

Профиль | Игнорировать
NEW! Сообщение отправлено: 17 мая 2010 11:41

Иоанн написал:

[q]

Vinni написал:
[q]
Соглашусь с Алексеем. Если заставить SS самому скачивать все найденные страницы (а не пользоваться тем, что дал поисковик), то это будет уже просто паук со всеми вытекающими последствиями
[/q]
В том то и фишечка, что не надо паука делать - для начала "вытянуть" под эту функцию все что можно из поисковиков.
[/q]

хотя бы сниппеты

#6 | Наверх

Семёныч

Модератор форума
Городской Охотник
Всего сообщений: 924
Рейтинг пользователя: 10

Ссылка

Дата регистрации на форуме:
8 июня 2009

Профиль | Игнорировать
NEW! Сообщение отправлено: 17 мая 2010 11:59

Соглашусь с Иоанном и petryashov - "для начала ... хотя бы сниппеты" сделали бы КС на порядок информативней. Т.Е. она и так информативна, но пока откроешь массу ссылок, большую часть их которых уже открывал, то тут и трафик и время летит. Ведь неоспоримое преимущество SS именно скорости. Понимаете о какой скорости я говорю?

---
Нет такой безвыходной ситуации,в которую невозможно вляпаться... (с)

#7 | Наверх

Модератор форума

Откуда: Нижний Новгород
Всего сообщений: 170
Рейтинг пользователя: 0

Ссылка

Дата регистрации на форуме:
10 июня 2009

Профиль | Игнорировать
NEW! Сообщение отправлено: 18 мая 2010 14:06

Alexei Mylnikov написал:

[q]
На самом деле карта сайта может использоваться для самых разных нужд даже в КР
[/q]

Как-то некорректно звучит слово "даже" :)

Как раз в КР используется данная функция "на ура".

Из собственного опыта.

Построение карты сайта очень помогает следующим образом:
- находит странички с внутренней статистикой сайта, например, созданные Вэбалайзером. Напрямую на них, как правило, выйти не получается. У нас был случай, когда СС притащил одну такую страничку с подробной статистикой IP посетителей за март 2009 года. Имея урл данной странички мы легко ознакомились и со страницами за другие месяцы. Причем не только по посетителям, а и по ключевым словам, откуда приходили посетители и т.д.
- приносит очень интересные странички с сайта, которые вроде бы запрещены к показу и индексации, но ведь Гуглу пофиг :wink:

А вот просматривать все найденные ссылки в карте бывает тяжко, тут я за предложение Дмитрия.

И хотелось бы еще уточнить, а чем подробная карта сайта отличается от просто карты сайта?

---
Non progredi est regredi

http://www.informnn.ru
Информационная рассылка "Конкурентная разведка. Сам себе разведчик" - http://subscribe.ru/catalog/tech.razvedka

#8 | Наверх

Профиль | Игнорировать
NEW! Сообщение отправлено: 18 мая 2010 21:50

vbl написал:

[q]
И хотелось бы еще уточнить, а чем подробная карта сайта отличается от просто карты сайта?
[/q]

Здесь в 1-ом топике - forum.razved.info/index.php?t=209

vbl написал:

[q]
Alexei Mylnikov написал:
[q]
На самом деле карта сайта может использоваться для самых разных нужд даже в КР
[/q]

Как-то некорректно звучит слово "даже" :)
[/q]

Это не я написал.

#9 | Наверх

Игорь Нежданов

Профиль | Игнорировать
NEW! Сообщение отправлено: 19 мая 2010 9:05

Alexei Mylnikov написал:

[q]

vbl написал:

[q]

Alexei Mylnikov написал:

[q]

На самом деле карта сайта может использоваться для самых разных нужд даже в КР

[/q]

Как-то некорректно звучит слово "даже" :)

[/q]

Это не я написал.
[/q]

Это писал некто "Иоанн"

---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок

#10 | Наверх

Профиль | Игнорировать
NEW! Сообщение отправлено: 19 мая 2010 10:05

Угу, угу :)

Почему-то при цитировании получилось то что получилось

#11 | Наверх

Профиль | Игнорировать
NEW! Сообщение отправлено: 19 мая 2010 10:08

Alexei Mylnikov написал:

[q]
Здесь в 1-ом топике - forum.razved.info/index.php?t=209
[/q]

Правильно ли я понял, что разница лишь в глубине "траления" и соответственно в применимости обычной карты относительно заведомо не очень больших сайтов, а углубленной карты относительно заведомо больших сайтов?

#12 | Наверх

Профиль | Игнорировать
NEW! Сообщение отправлено: 19 мая 2010 10:12
Сообщение отредактировано: 19 мая 2010 10:13

И немного не по теме.

Алексей, а можно как-то уведомлять о сути изменений, вносимых в новые версии. Ситуации с добавлением таких глобальных возможностей, как ассемблеры понятны. Они у Вас на сайте отражаются. В то же время периодически выходят обновления программы, про которые Вы пишете просто номер релиза. Можно ли обозначить суть изменений. Например, "доработана такая-то функция", "Устранены такие-то моменты" (не хочется писать проблемы, поскольку их скорее нет) и т.п. росто чтобы понимать суть изменений, и в случае необходимости скорректировать свою практику использования программы

#13 | Наверх

Профиль | Игнорировать
NEW! Сообщение отправлено: 19 мая 2010 10:27

vbl написал:

[q]
Правильно ли я понял, что разница лишь в глубине "траления" и соответственно в применимости обычной карты относительно заведомо не очень больших сайтов, а углубленной карты относительно заведомо больших сайтов?
[/q]

Да, правильно.

При решении своих задач на больших сайтах я обычно делаю так.
1. Строю стандартную карту.
2. Изучаю ее и для тех ресурсов и папок, которые меня заинтересовали строю углубленную карту или еше раз стандартную (как бы подкарту).

#14 | Наверх

Профиль | Игнорировать
NEW! Сообщение отправлено: 19 мая 2010 10:30

vbl написал:

[q]
Алексей, а можно как-то уведомлять о сути изменений, вносимых в новые версии. Ситуации с добавлением таких глобальных возможностей, как ассемблеры понятны. Они у Вас на сайте отражаются. В то же время периодически выходят обновления программы, про которые Вы пишете просто номер релиза. Можно ли обозначить суть изменений. Например, "доработана такая-то функция", "Устранены такие-то моменты" (не хочется писать проблемы, поскольку их скорее нет) и т.п. росто чтобы понимать суть изменений, и в случае необходимости скорректировать свою практику использования программы
[/q]

То, что я не декларировал на сайте, обычно пишу здесь, если меня не опережают.
Так, что здесь проблемы нет для тех, что следит за форумом.

#15 | Наверх

Профиль | Игнорировать
NEW! Сообщение отправлено: 19 мая 2010 10:37

Alexei Mylnikov написал:

[q]
То, что я не декларировал на сайте, обычно пишу здесь, если меня не опережают.
Так, что здесь проблемы нет для тех, что следит за форумом.
[/q]

Хорошо, давайте для наглядности уточним. На Вашем сайте последняя запись об обновлениях гласит: 11.05.10. Версия 6.2.1.2
Номер последней версии FileForFiles & SiteSputnik.

Я просмотрел раздел форума про СайтСпутник и не нашел упоминания о данном обновлении. Дайте, пожалуйста, ссылку, возможно я чего-то недоглядел

#16 | Наверх

Профиль | Игнорировать
NEW! Сообщение отправлено: 19 мая 2010 10:49

vbl написал:

[q]
Хорошо, давайте для наглядности уточним. На Вашем сайте последняя запись об обновлениях гласит: 11.05.10. Версия 6.2.1.2
Номер последней версии FileForFiles & SiteSputnik.

Я просмотрел раздел форума про СайтСпутник и не нашел упоминания о данном обновлении. Дайте, пожалуйста, ссылку, возможно я чего-то недоглядел
[/q]

В данном случае версия была обновлена по причине изменения синтаксиса поисковой страницы Яндекса: "Еще с сайта", было заменено на "Ещё" и, соотвественно, срочно пришлось поправить глубокий поиск для Яндекса.
Вы правы, об этом на форуме не было объявлено.

#17 | Наверх

Профиль | Игнорировать
NEW! Сообщение отправлено: 19 мая 2010 11:02

Вот об этом я и вел речь.

Некоторые изменения проходят просто под номером, и не носят глобальный характер, но все же наверное полезно знать о них чуть больше, чем номер.

В принципе, это и Вам выгодно. Раскрыв в паре предложений суть изменения Вы широкой аудитории покажете, что программа постоянно совершенствуется, автор своевременно реагирует на сложившуюся ситуацию. И в итоге, при небольших усилиях, это выльется в дополнительный PR программы, который никогда не лишний. Ведь даже самый лучший товар, а Ваша программа несомненно таковой и является, нуждается в рекламе и продвижении, иначе о ней просто никто не узнает.

Извините, если сказанное мной показалось Вам банальным или выглядит как нравоучение. В мыслях такого не держал, пишу исключительно из лучших побуждений :hi:

#18 | Наверх

Профиль | Игнорировать
NEW! Сообщение отправлено: 20 мая 2010 15:02

petryashov написал:

[q]
Алексей, мы уже в свое время предлагали небольшую доработку "Карты сайта". Суть - добавление в карту еще одного столбца, в котором было бы описание из тега TITLE нужной страницы сайта.
[/q]

В версии 6.2.1.3 от 20.05.10 в карту сайта добавлены заголовки страниц, взятые из сниппетов, то есть подкачки страниц нет.
Посмотреть заголовки можно стандартно: навели мышку на ссылку - увидели подсказку-заголовок.
Делать отдельный столбец не стал, чтобы не ухудшать визуальное восприятие карты.

#19 | Наверх

Профиль | Игнорировать
NEW! Сообщение отправлено: 20 мая 2010 15:23

Попробовал обновиться - не получилось.

Обновление находится, скачивается, появляется окошко с просьбой перезагрузки программы. Нажимаешь "Ок", программа как обычно выключается, чуток думает, а потом выдает сообщение "FileForFiles - выполняется или еще не завершилась". Нажимаю "Ок" СС загружается, но обновления не произошло. Пробовал несколько раз с тем же результатом.

#20 | Наверх

Алексей Мыльников Долгожитель форума Откуда: Волгоград Всего сообщений: 877 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009	Профиль \| Игнорировать NEW! Сообщение отправлено: 20 мая 2010 15:50 vbl написал: [q] Попробовал обновиться - не получилось. [/q] Перезагрузите компьютер. --- www.sitesputnik.ru
	#21 \| Наверх

Семёныч Модератор форума Городской Охотник Всего сообщений: 924 Рейтинг пользователя: 10 Ссылка Дата регистрации на форуме: 8 июня 2009	Профиль \| Игнорировать NEW! Сообщение отправлено: 20 мая 2010 16:38 У меня без проблем обновилось до версии 6.2.1.3. --- Нет такой безвыходной ситуации,в которую невозможно вляпаться... (с)
	#22 \| Наверх

petryashov

Профиль | Игнорировать
NEW! Сообщение отправлено: 20 мая 2010 17:16
Сообщение отредактировано: 20 мая 2010 17:18

Alexei Mylnikov написал:

[q]
Посмотреть заголовки можно стандартно: навели мышку на ссылку - увидели подсказку-заголовок.
Делать отдельный столбец не стал, чтобы не ухудшать визуальное восприятие карты.
[/q]

А вот и зря ;-) Алексей, карта сайта периодически используется в распечатанном виде. На бумаге всплывающие подсказки не видны. Сделайте колонку отдельную, плиз, с описанием. Ну или как-то иначе вопрос можно решить, но карта сайта будет идеальным инструментом, если:

а. описания страниц будут видны в распечатке;
б. С ними можно будет работать в электронном виде (в электронной таблице или базе данных). Один из вариантов такой работы- сортировка описаний по алфавиту или фильтр

#23 | Наверх

Профиль | Игнорировать
NEW! Сообщение отправлено: 20 мая 2010 22:33

Alexei Mylnikov написал:

[q]
Перезагрузите компьютер.
[/q]

Перезагрузил. Не помогло.

#24 | Наверх

Алексей Мыльников Долгожитель форума Откуда: Волгоград Всего сообщений: 877 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009	Профиль \| Игнорировать NEW! Сообщение отправлено: 20 мая 2010 22:46 vbl написал: [q] Перезагрузил. Не помогло. [/q] А обновились? --- www.sitesputnik.ru
	#25 \| Наверх

Профиль | Игнорировать
NEW! Сообщение отправлено: 20 мая 2010 23:05

После перезагрузки вновь попытался обновиться. Та же ситуация повторилась с точностью до запятой:

Обновление находится, скачивается, появляется окошко с просьбой перезагрузки программы. Нажимаешь "Ок", программа как обычно выключается, чуток думает, а потом выдает сообщение "FileForFiles - выполняется или еще не завершилась". Нажимаю "Ок" СС загружается, но обновления не произошло. Пробовал несколько раз с тем же результатом.

#26 | Наверх

Профиль | Игнорировать
NEW! Сообщение отправлено: 20 мая 2010 23:29

Получилось обновиться

Программа смогла это сделать после того, как я отключил Касперского

#27 | Наверх

Профиль | Игнорировать
NEW! Сообщение отправлено: 21 мая 2010 8:01

petryashov написал:

[q]
Алексей, карта сайта периодически используется в распечатанном виде. На бумаге всплывающие подсказки не видны. Сделайте колонку отдельную, плиз, с описанием. Ну или как-то иначе вопрос можно решить, но карта сайта будет идеальным инструментом, если:

а. описания страниц будут видны в распечатке;
б. С ними можно будет работать в электронном виде (в электронной таблице или базе данных). Один из вариантов такой работы- сортировка описаний по алфавиту или фильтр
[/q]

В версии 6.2.1.4 от 21.05.10 в карте сайта сделал колонку (столбец) с заголовком страницы.

Экспортировать карту сайта в Excel или Word можно, например, следующим общазом.
1. На нижней табличке базы данных выбрали список "Карты". Нажали правую кнопку мышки и выбрали "Открыть папку файла".
2. В открытой папке выбираете файл с картой сайта и, нажав на ней правую кнопку мышки, выбираете "Открыть с помощью...".

Подобным образом можно добраться до любого файла, отображаемого в окне встроенного в SiteSputnik браузера. Далее эти файлы можно использовать так как желаете и умеете.