Форум Сообщества Практиков Конкурентной разведки (СПКР)

Модератор форума

Откуда: Нижний Новгород
Всего сообщений: 170
Рейтинг пользователя: 0

Ссылка

Дата регистрации на форуме:
10 июня 2009

Профиль | Игнорировать
NEW! Сообщение отправлено: 28 июля 2010 21:54
Сообщение отредактировано: 28 июля 2010 21:57

Рискну поспорить :smile:

СайтСпутник собирает ведь некоторое количество страниц выдачи поисковика, и, что самое главное, далеко не все. Это не недостаток програмы, а специфика работы поисковой системы. Т.е. он приносит несколько десятков - сотен страниц выдачи начиная с первой по релевантности. Да и Яндекс отдает далеко не то количество страниц, которые у него по этому запросу есть.

А вновь индексированные страницы далеко не всегда достаточно быстро попадут (да, в принципе, могут и вообще не попасть) в то количество страниц результата поиска, которые Яндекс захочет отдать, а СайтСпутник сможет принести.

По этому, на мой взгляд, если мы хотим своевременно и в полном объеме видеть вновь появляющиеся в поисковике материалы по интересующему вопросу, то лучше второй и остальные повторы интересующего запроса делать с сортировкой по дате. Как-то так :smile:

---
Non progredi est regredi

http://www.informnn.ru
Информационная рассылка "Конкурентная разведка. Сам себе разведчик" - http://subscribe.ru/catalog/tech.razvedka

#6 | Наверх

petryashov

Профиль | Игнорировать
NEW! Сообщение отправлено: 28 июля 2010 22:12

vbl написал:

[q]

Рискну поспорить СайтСпутник собирает ведь некоторое количество страниц выдачи поисковика, и, что самое главное, далеко не все. Это не недостаток програмы, а специфика работы поисковой системы. Т.е. он приносит несколько десятков - сотен страниц выдачи начиная с первой по релевантности.
[/q]

Хм. Так я же специально использую глубокий поиск в запросах. То есть, программа мало того, что, допустим, скачивает одну релевантную ссылку с сайта Роскосмоса, но потом еще автоматически осуществляет процедуру раскрывания гиперссылки "Еще с сайта" , появляющейся под каждой строкой выдачи. То есть, если Юрчихин упомянут на 10 разных страницах сайта Роскосмоса, то, если они проиндексированы Яндексом, СайтСпутник покажет мне 10 ссылок на разные страницы сайта Роскосмоса. Или нет?

#7 | Наверх

Долгожитель форума

Откуда: Волгоград
Всего сообщений: 877
Рейтинг пользователя: 6

Ссылка

Дата регистрации на форуме:
22 июня 2009

Профиль | Игнорировать
NEW! Сообщение отправлено: 28 июля 2010 22:13

Спасибо, Дмиртий.

petryashov написал:

[q]
б. во- вторых, создается список "Новые", в который попадают ссылки, не попавшие в список при предыдущем сканировании
[/q]

Маленькая, но важная поправка. В конце цитаты: при предыдущих сканированиях. Количество сканирований прописано в "Настройках". Оно изменяется от 1 до 99, по умолчанию 90. Это практически обеспечивает попадание в список "Новые" только тех ссылок, которые еще не были найдены. При необходимости, можно сделать более, чем 99 сканирований, но пока этого никто не запрашивал.

#8 | Наверх

Профиль | Игнорировать
NEW! Сообщение отправлено: 28 июля 2010 22:14

petryashov написал:

[q]
Так я же специально использую глубокий поиск в запросах. То есть, программа мало того, что, допустим, скачивает одну релевантную ссылку с сайта Роскосмоса, но потом еще автоматически осуществляет процедуру раскрывания гиперссылки "Еще с сайта" , появляющейся под каждой строкой выдачи. То есть, если Юрчихин упомянут на 10 разных страницах сайта Роскосмоса, то, если они проиндексированы Яндексом, СайтСпутник покажет мне 10 ссылок на разные страницы сайта Роскосмоса. Или нет?
[/q]

Да.

#9 | Наверх

Профиль | Игнорировать
NEW! Сообщение отправлено: 28 июля 2010 22:24
Сообщение отредактировано: 28 июля 2010 22:33

petryashov написал:

[q]
Так я же специально использую глубокий поиск в запросах. То есть, программа мало того, что, допустим, скачивает одну релевантную ссылку с сайта Роскосмоса, но потом еще автоматически осуществляет процедуру раскрывания гиперссылки "Еще с сайта" , появляющейся под каждой строкой выдачи. То есть, если Юрчихин упомянут на 10 разных страницах сайта Роскосмоса, то, если они проиндексированы Яндексом, СайтСпутник покажет мне 10 ссылок на разные страницы сайта Роскосмоса. Или нет?
[/q]

А причем тут разные страницы одного и того же сайта. С этим не спорю.

Может я не до конца ухватил суть вопроса, но давай предположим, что по нашему запросу существует не 1000 страниц и соответственно, 20 000 ссылок, а скажем хотя бы тысяч 100 ссылок. Я так понимаю, что в данном случае СайтСпутник исправно принесет запрашиваемые 1000 страниц, чего честно говоря у меня ни разу не было. Еще раз отмечу, не по вине программы, а в связи с особенностью работы поисковиков.

А мы знаем, что при сортировке по релевантности не все вновь проиндексированные страницы попадут в эту 1000, по крайней мере теоретически. Соответственно, что-то из вновь проиндексированного не попадет. А в моем же случае мы 100%-о выловим все вновь проиндексированные страницы. Или я не прав?

#10 | Наверх

Профиль | Игнорировать
NEW! Сообщение отправлено: 28 июля 2010 22:29
Сообщение отредактировано: 28 июля 2010 22:32

Alexei Mylnikov написал:

[q]
Маленькая, но важная поправка. В конце цитаты: при предыдущих сканированиях. Количество сканирований прописано в "Настройках". Оно изменяется от 1 до 99, по умолчанию 90. Это практически обеспечивает попадание в список "Новые" только тех ссылок, которые еще не были найдены. При необходимости, можно сделать более, чем 99 сканирований, но пока этого никто не запрашивал.
[/q]

Алексей, а можно об этом рассказать поподробнее. Я вот не совсем понял, При последующем подобном запросе, Сайт спутник ведь будет "просматривать" то же количество страниц выдачи по релевантности, начиная с первой. Соответственно, если новые страницы не поднялись в выдаче, то мы их все равно не увидим, если не сделаем сортировку по дате?

А что подразумевается под сканированиями?

#11 | Наверх

Профиль | Игнорировать
NEW! Сообщение отправлено: 28 июля 2010 22:43

vbl написал:

[q]
Алексей, а можно об этом рассказать поподробнее. Я вот не совсем понял, При последующем подобном запросе, Сайт спутник ведь будет "просматривать" то же количество страниц выдачи по релевантности, начиная с первой. Соответственно, если новые страницы не поднялись в выдаче, то мы их все равно не увидим, если не сделаем сортировку по дате?

А что подразумевается под сканированиями?
[/q]

Под сканированием (термин применил Дмитрий) я думаю, что подразумевается выполнение пакета запросов.
Если поисковик хранит в БД более, грубо говоря, 1000 ссылок, то он уже завтра принесет другую выдачу, так как поисковик постоянно обновляет свою БД.

Что касается Вашего спора с Дмитрием. Если не очень хочется исследовать как ведут себя оба запроса, то можно Ваш запрос добавить в пакет Дмитрия. СайтСпутнику все равно сколько убирать повторов ссылок 1000 или 2000.

#12 | Наверх

Профиль | Игнорировать
NEW! Сообщение отправлено: 28 июля 2010 22:50

Alexei Mylnikov написал:

[q]
поисковик постоянно обновляет свою БД.
[/q]

А по какому принципу он ее обновляет?

Alexei Mylnikov написал:

[q]
Если не очень хочется исследовать
[/q]

В принципе, идеальный вариант, эксперимент. Завтра попробую поэксперементировать.

Alexei Mylnikov написал:

[q]
СайтСпутнику все равно сколько убирать повторов ссылок 1000 или 2000.
[/q]

Оно понятно, кто бы сомневался. :smile:

Меня скорее заботит полнота поиска и, соответственно, моей информированности. Здесь ведь Сайтспутник выступает как инструмент и как его настроить зависит от оператора. А соответственно, настроить можно правильно, а можно не совсем :smile:

#13 | Наверх

Профиль | Игнорировать
NEW! Сообщение отправлено: 28 июля 2010 22:55

vbl написал:

[q]
А по какому принципу он ее обновляет?
[/q]

Думаю, что паук переходит от ссылки к ссылке по алгоритму, реализованному разработчиками, ...