Предложения по доработке "Карты сайта"

Форум Сообщества Практиков Конкурентной разведки (СПКР)

Конкурентная разведка, Бизнес-разведка, Корпоративная разведка,
Деловая разведка по открытым источникам в бизнесе.
Работаем строго в рамках закона.

Дезинформация и активные мероприятия в бизнесе
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Предложения по программе для допроса Интернета СайтСпутник »   Предложения по доработке "Карты сайта"
RSS

Предложения по доработке "Карты сайта"

<<Назад  Вперед>>Страницы: 1 2 3
Печать
 
petryashov
Администратор

Откуда: Москва
Всего сообщений: 483
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009
Алексей, мы уже в свое время предлагали небольшую доработку "Карты сайта". Суть - добавление в карту еще одного столбца, в котором было бы описание из тега TITLE нужной страницы сайта.

вот, например, что кроется за такой ссылкой? www.site.ru/10975/306992/
Пока не нажмешь - не увидишь.А если таких неговорящих ссылок тысячи, то ценность полученной карты сайта сомнительна. Достаточно сделать доработку, включив в карту столбец из тайтла, и мы увидим описание этой страницы

Это можно сделать?
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
Да, но для этого придется открыть ровно столько ссылок сколько содержится в карте сайта (КС), а их количество может исчисляться десятками тысяч. Это не всегда приемлемо на эпапе поиска при помощи поисковиков.
Без проблем "прицепить" сниппеты. В этом случае не надо ничего открывать. Они уже есть в списке "Объединение", на основе которого формируется КС. Я их просто отбрасываю при построении иерархической структуры сайта.
Поэтому работайте со списком "Объединение". В нем один к одному те самые ссылки, что и в КС, но каждая ссылка сопровождается сниппетом.

КС задумана для другого. Она является базой (стартовой площадкой) для поиска непроиндексированных (невидимых) поисковиками ссылок. Одной из функций поиска таких ссылок является разрабатываемый в настоящее время спайдер, запускаемый с КС.
Спайдеру приходится закачивать все ссылки и видимые, и обнаруженные невидимые. Вот здесь можно и НУЖНО "прицепить" не только тайтлы, но и другие составные части контента ссылок и даже "функциональные производные" от их контента.
Предполагается реализовать целый набор функций над контентом ссылок и сайта в целом. Причем не только над текстовой составляющей контента, но и над HTML составляющей. В принците реализация бета версии "Контекстного граббера" - это опробация базового алгоритма работы с контентом сайта, детализация которого будет являть собой упомянутый набор функций.

Игорь Нежданов
Модератор форума
Прагматик
Откуда: Советский Союз
Всего сообщений: 1038
Рейтинг пользователя: 13


Ссылка


Дата регистрации на форуме:
7 июня 2009

Alexei Mylnikov написал:
[q]
КС задумана для другого. Она является базой (стартовой площадкой) для поиска непроиндексированных (невидимых) поисковиками ссылок.
[/q]

На самом деле карта сайта может использоваться для самых разных нужд даже в КР. Например (помимо поиск страниц, на которых нет ссылок) для изучения сайта и его наполнения в целях выявления связанных компаний или людей, в целях понимания процессов. происходящих в исследуемой компании. в целях составления представления о профессионализме ПРщиков и рекламщиков и соответственно какова рекламная политика компании.... Да много для чего. И как раз с этой точки зрения гораздо удобнее иметь не только адрес страницы,но и ее название. Так проще ориентироваться в контенте. А такие задачи есть в достаточном колличестве у КРщиков, а уж у "смежников" они сплошь и рядом. И, к стати, "смежники" (маркетологи, ПР-щики, журналисты) довольно активно интересуются возможностями SS. А это своя и не малая группа потребителей.

Может есть смысл сделать два разных пункта: "КС видимая" и "КС не очень видимая".

---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок
Vinni
Администратор

Всего сообщений: 2238
Рейтинг пользователя: 22


Ссылка


Дата регистрации на форуме:
5 июня 2009

Иоанн написал:
[q]
Alexei Mylnikov написал:

[q]

КС задумана для другого. Она является базой (стартовой площадкой) для поиска непроиндексированных (невидимых) поисковиками ссылок.
[/q]
[/q]


Соглашусь с Алексеем. Если заставить SS самому скачивать все найденные страницы (а не пользоваться тем, что дал поисковик), то это будет уже просто паук со всеми вытекающими последствиями :wink:

Пауков, строящих карты сайтов, уже хватает (см. например, бесплатный вариант на базе wget+php - _ttp://ardoino.com/15-google-php-wget-sitemap-generator/ и )
Игорь Нежданов
Модератор форума
Прагматик
Откуда: Советский Союз
Всего сообщений: 1038
Рейтинг пользователя: 13


Ссылка


Дата регистрации на форуме:
7 июня 2009

Vinni написал:
[q]
Соглашусь с Алексеем. Если заставить SS самому скачивать все найденные страницы (а не пользоваться тем, что дал поисковик), то это будет уже просто паук со всеми вытекающими последствиями :wink:
[/q]

В том то и фишечка, что не надо паука делать - для начала "вытянуть" под эту функцию все что можно из поисковиков.

---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок
petryashov
Администратор

Откуда: Москва
Всего сообщений: 483
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009

Иоанн написал:
[q]

Vinni написал:
[q]
Соглашусь с Алексеем. Если заставить SS самому скачивать все найденные страницы (а не пользоваться тем, что дал поисковик), то это будет уже просто паук со всеми вытекающими последствиями
[/q]
В том то и фишечка, что не надо паука делать - для начала "вытянуть" под эту функцию все что можно из поисковиков.
[/q]

хотя бы сниппеты
Семёныч
Модератор форума
Городской Охотник
Всего сообщений: 941
Рейтинг пользователя: 10


Ссылка


Дата регистрации на форуме:
8 июня 2009
Соглашусь с Иоанном и petryashov - "для начала ... хотя бы сниппеты" сделали бы КС на порядок информативней. Т.Е. она и так информативна, но пока откроешь массу ссылок, большую часть их которых уже открывал, то тут и трафик и время летит. Ведь неоспоримое преимущество SS именно скорости. Понимаете о какой скорости я говорю?

---
Нет такой безвыходной ситуации,в которую невозможно вляпаться... (с)
vbl
Модератор форума

Откуда: Нижний Новгород
Всего сообщений: 179
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
10 июня 2009

Alexei Mylnikov написал:
[q]
На самом деле карта сайта может использоваться для самых разных нужд даже в КР
[/q]


Как-то некорректно звучит слово "даже" :)

Как раз в КР используется данная функция "на ура".


Из собственного опыта.

Построение карты сайта очень помогает следующим образом:
- находит странички с внутренней статистикой сайта, например, созданные Вэбалайзером. Напрямую на них, как правило, выйти не получается. У нас был случай, когда СС притащил одну такую страничку с подробной статистикой IP посетителей за март 2009 года. Имея урл данной странички мы легко ознакомились и со страницами за другие месяцы. Причем не только по посетителям, а и по ключевым словам, откуда приходили посетители и т.д.
- приносит очень интересные странички с сайта, которые вроде бы запрещены к показу и индексации, но ведь Гуглу пофиг :wink:

А вот просматривать все найденные ссылки в карте бывает тяжко, тут я за предложение Дмитрия.

И хотелось бы еще уточнить, а чем подробная карта сайта отличается от просто карты сайта?


---
Non progredi est regredi

http://www.informnn.ru
Информационная рассылка "Конкурентная разведка. Сам себе разведчик" - http://subscribe.ru/catalog/tech.razvedka
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

vbl написал:
[q]
И хотелось бы еще уточнить, а чем подробная карта сайта отличается от просто карты сайта?
[/q]
Здесь в 1-ом топике - forum.razved.info/index.php?t=209

vbl написал:
[q]
Alexei Mylnikov написал:
[q]
На самом деле карта сайта может использоваться для самых разных нужд даже в КР
[/q]


Как-то некорректно звучит слово "даже" :)
[/q]

Это не я написал.

Игорь Нежданов
Модератор форума
Прагматик
Откуда: Советский Союз
Всего сообщений: 1038
Рейтинг пользователя: 13


Ссылка


Дата регистрации на форуме:
7 июня 2009

Alexei Mylnikov написал:
[q]

vbl написал:
[q]

Alexei Mylnikov написал:
[q]

На самом деле карта сайта может использоваться для самых разных нужд даже в КР
[/q]

Как-то некорректно звучит слово "даже" :)
[/q]

Это не я написал.
[/q]

Это писал некто "Иоанн"

---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок
<<Назад  Вперед>>Страницы: 1 2 3
Печать
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Предложения по программе для допроса Интернета СайтСпутник »   Предложения по доработке "Карты сайта"
RSS

Последние RSS
Учебник по конкурентной разведке
Конкурентная разведка: маркетинг рисков и возможностей
Книга "История частной разведки США"
Книга "Нетворкинг для разведчиков"
Поиск и сбор информации в интернете в программе СайтСпутник
Новые видеоуроки по программе СайтСпутник для начинающих
Технологическая разведка
SiteSputnik. Мониторинг Телеграм
СайтСпутник: возврат к ранее установленной версии
SiteSputnik. Доступ к результатам работы из браузера
Анализ URL
Браузер для анонимной работы
Топливно-энергетический комплекс
Профессиональные сообщества СБ
Несколько Проектов в одном, выполнение Проектов по частям
SiteSputnik-Bot: Боты в программе СайтСпутник
К вопросу о телеграм
SiteSputnik: Автозамены до и после Рубрикации или Перевода
Демо-доступ к ИАС социальных сетей
Лог-файл в программе СайтСпутник

Самые активные 20 тем RSS