Форум Сообщества Практиков Конкурентной разведки (СПКР)

Одной из задач маркетолога является работа с информацией. Данный процесс часто организован не оптимально:

А. на поиск информации тратится масса времени. Нужно "вручную" просмотреть многие страницы выдачи нескольких поисковых систем, скачать их и поместить в какое-то хранилище. Если объектов поиска много, и важно отслеживать все вновь появляющиеся материалы, подобной работой, и только ей, может заниматься специально выделенный человек, а то и целый отдел.

Б. пропускаются важные данные. Часто важная информация может находиться среди сотен уже просмотренных страниц и никак не выделяться визуально. Уставший или невнимательный аналитик сможет ее не заметить.

В. система хранения найденной информации не продумана. Часто найденная информация используется один раз и никуда не архивируется. При следующем поиске информации ее нужно будет находить заново. Распечатка найденного материала и хранение его в папках загромождает пространство и усложняет поиск; сохранение электронных копий страниц на жестком диске компьютера без системы быстрого поиска информации также требует массы времени на последующий поиск.

Можно ли как-то автоматизировать данный процесс, сократив тем самым нерациональные трудозатраты? Да, можно. Уже существует специальное программное обеспечение, призванное упростить даную работу. Одной из таких программ является СайтСпутник.

В данной статье мы поговорим о том, каким образом можно организовать базу данных для хранения найденной СайтСпутником информации.

Рассмотрим несложный пример. Допустим, нам необходимо собрать как можно больше информации в Интернете про космонавта Федора Юрчихина, рассортировать ее по рубрикам и сохранить ее в базе для добавления новых материалов.

Прежде чем перейдем к описанию процедуры, дадим несколько пояснений.

1. Выбор именно Федора Юрчихина в качестве примера объясняется глубоким уважением, которое автор статьи испытывает к этому космонавту и популяризатору космических исследований;

2. Описанная методика использования программы не предполагает поиска какой-либо закрытой информации. Вся рассматриваемая информация, в которой упоминается Федор Юрчихин, на момент написания статьи (28.07.10) была доступна любому пользователю Интернета, обладающему начальными навыками работы с поисковыми системами Yandex, Rambler и Google

Приступим к поиску.

Для этого необходимо сделать следующую последовательность действий:

Открываем программу SiteSputnik, нажимаем на "Золотой ключик". Откроется следующее окно, в которое мы вбиваем название запроса "Федор Юрчихин":

Затем нажимаем на кнопку "Пакет"

Откроется следующее окно, в которое мы вносим условия запроса на языках поисковых систем Яндекс, Гугл и Рамблер:

Затем нам надо указать системе, на какую глубину каждая поисковая система будет искать информацию. Для этого жмем значок "||", показанный на скриншоте выше. Откроется следующее окно:

Переходим ко второй, а затем к третьей строке запроса, аналогичным образом подключаем сценарии поиска Google и Rambler. Должно получиться вот что:

Нажимаем кнопку "Совместно" и идем пить кофе.

Программа найдет упоминания Ф. Юрчихина на разных сайтах, выбросит все дубли, а результаты выдаст в виде списка найденных страниц со сниппетами:

Далее нашей задачей является выбрать из найденного материала только то, что мы хотим забросить в базу данных. Для этого мы просматриваем список и нажимаем на серые шарики напротив нужных нам материалов:

Затем жмем на большой зеленый шарик справа (см скриншот выше)

После того, как система сохранит отмеченные пункты, наступает следующий этап: нам нужно, чтобы система открыла найденные ссылки. Для этого нажимаем шарик со стрелкой (см скриншот):

После того, как система откроет все ссылки, переходим к следующему этапу: нам необходимо дать краткие описания найденным материалам. Для этого нажимаем на каждую строку в перечне отмеченных файлов и в графе "Комментарии" даем краткое описание увиденному:

После этого приступаем к созданию Ящика "Федор Юрчихин" и системы тематических вложенных ящиков, в которые мы будем записывать найденные результаты. Для этого в дереве каталогов программы находим каталог "Ссылки открытые".

Нажимаем на нем правую кнопку мыши и выбираем пункт "Создать новый подобный ящик". Откроется следующее окно:

После ввода названия ставим отметку "Вложенный ящик" и нажимаем на кнопку "Создание". Затем нам необходимо вставить строку с описанием ящика (см. скриншот)

Затем нажимаем правую кнопку мышки на строке "Федор Юрчихин", выбираем "Создать новый подобный ящик" и создаем необходимое количество вложенных Ящиков. Результат будет выглядеть приблизительно так:

Затем в дереве каталогов нажимаем на строку "Ссылки открытые". Откроется список всех отмеченных пунктов.

Ориентируясь на описания, перетаскиваем эти строки мышкой в соответствующие Ящики. Вот, к примеру, как примерно будет выглядеть ящик "выход в космос":

Все, первоначальная база готова. Теперь достаточно пакет запросов "Федор Юрчихин" запускать с нужной периодичностью, выбирать новые записи, открывать их и перетаскивать в созданные ранее папки. Кроме того, в любой момент можно создавать новые папки и перетаскивать информацию туда.

Таким образом, мы достигли поставленные цели: нашли необходимую информацию про космонавта и создали систему хранения этой информации. И все это при помощи одной- единственной программы!

petryashov написал:

[q]

Теперь достаточно пакет запросов "Федор Юрчихин" запускать с нужной периодичностью, выбирать новые записи,

[/q]

Дим, позволь тебя немного дополнить. Чтобы выбирать новые записи, после первого прохода по твоему тестовому запросу, лучше его немного модернизировать.

Имеет смысл первоначальный запрос, например для Яндекса: "Федор /1 Юрчихин" слегка изменить на вот этот [ Федор /1 Юрчихин date="*" ], что обеспечит сортировку при поиске по дате и тогда мы действительно будем видеть в первую очередь новые ссылки.

P.S. А за обзор спасибо, весьма полезно.

vbl написал:

[q]

petryashov написал:

[q]

Теперь достаточно пакет запросов "Федор Юрчихин" запускать с нужной периодичностью, выбирать новые записи,

[/q]

Дим, позволь тебя немного дополнить. Чтобы выбирать новые записи, после первого прохода по твоему тестовому запросу, лучше его немного модернизировать. Имеет смысл первоначальный запрос, например для Яндекса: "Федор /1 Юрчихин" слегка изменить на вот этот [ Федор /1 Юрчихин date="*" ], что обеспечит сортировку при поиске по дате и тогда мы действительно будем видеть в первую очередь новые ссылки. P.S. А за обзор спасибо, весьма полезно.

[/q]

Борь, а это непринципиально. Дело в том, что СайтСпутник имеет целых две системы индикации появившихся новых сообщений:

а. во-первых, в списке "Объединенные..." он выделяет новую информацию цветом;
б. во- вторых, создается список "Новые", в который попадают ссылки, не попавшие в список при предыдущем сканировании

Так что найти новые ссылки особого труда не представляет

vbl написал:

[q]

Рискну поспорить СайтСпутник собирает ведь некоторое количество страниц выдачи поисковика, и, что самое главное, далеко не все. Это не недостаток програмы, а специфика работы поисковой системы. Т.е. он приносит несколько десятков - сотен страниц выдачи начиная с первой по релевантности.

[/q]

Хм. Так я же специально использую глубокий поиск в запросах. То есть, программа мало того, что, допустим, скачивает одну релевантную ссылку с сайта Роскосмоса, но потом еще автоматически осуществляет процедуру раскрывания гиперссылки "Еще с сайта" , появляющейся под каждой строкой выдачи. То есть, если Юрчихин упомянут на 10 разных страницах сайта Роскосмоса, то, если они проиндексированы Яндексом, СайтСпутник покажет мне 10 ссылок на разные страницы сайта Роскосмоса. Или нет?

petryashov написал:

[q]

Так я же специально использую глубокий поиск в запросах. То есть, программа мало того, что, допустим, скачивает одну релевантную ссылку с сайта Роскосмоса, но потом еще автоматически осуществляет процедуру раскрывания гиперссылки "Еще с сайта" , появляющейся под каждой строкой выдачи. То есть, если Юрчихин упомянут на 10 разных страницах сайта Роскосмоса, то, если они проиндексированы Яндексом, СайтСпутник покажет мне 10 ссылок на разные страницы сайта Роскосмоса. Или нет?

[/q]

Да.

Alexei Mylnikov написал:

[q]

Маленькая, но важная поправка. В конце цитаты: при предыдущих сканированиях. Количество сканирований прописано в "Настройках". Оно изменяется от 1 до 99, по умолчанию 90. Это практически обеспечивает попадание в список "Новые" только тех ссылок, которые еще не были найдены. При необходимости, можно сделать более, чем 99 сканирований, но пока этого никто не запрашивал.

[/q]

Алексей, а можно об этом рассказать поподробнее. Я вот не совсем понял, При последующем подобном запросе, Сайт спутник ведь будет "просматривать" то же количество страниц выдачи по релевантности, начиная с первой. Соответственно, если новые страницы не поднялись в выдаче, то мы их все равно не увидим, если не сделаем сортировку по дате?

А что подразумевается под сканированиями?

Alexei Mylnikov написал:

[q]

поисковик постоянно обновляет свою БД.

[/q]

А по какому принципу он ее обновляет?


Alexei Mylnikov написал:

[q]

Если не очень хочется исследовать

[/q]

В принципе, идеальный вариант, эксперимент. Завтра попробую поэксперементировать.


Alexei Mylnikov написал:

[q]

СайтСпутнику все равно сколько убирать повторов ссылок 1000 или 2000.

[/q]

Оно понятно, кто бы сомневался.

Меня скорее заботит полнота поиска и, соответственно, моей информированности. Здесь ведь Сайтспутник выступает как инструмент и как его настроить зависит от оператора. А соответственно, настроить можно правильно, а можно не совсем

Alexei Mylnikov написал:

[q]

Думаю, что паук переходит от ссылки к ссылке по алгоритму, реализованному разработчиками

[/q]

Ну, это то понятно
А вновь найденные ссылки, с совершенно новых сайтов относительно этого запроса, в какую часть выдачи попадают. Если отбор идет по релевантности, то они могут попасть как на первую страницу выдачи, так и на 1101-ю. В последнем случае мы их скорее всего не увидим. Так ведь?

Алексей, стал, как и собирался, эксперементировать и понял, что не знаю как заставить сайт спутник приносить выдачу Яндекса с сортировкой по дате. Не на конкретную дату и не в диапазоне дат, а именно как отсортированные по дате. Оператор date="*" , указанный у Вас в Универсальном поиске, работает только с конкретной датой или с диапазоном дат.

Подскажите, пожалуйста, как это сделать?

Алексей, спасибо за ответ. Нашел этот сценарий. Просто еще не до конца просмотрел все новшества последнего обновления.

vbl написал:

[q]

Так что, на мой взгляд, применительно к нашему с Дмитрием небольшому спору, все же лучше будет последующие после первого запуски СайтСпутника по интересующему нас запросу проводить с сортировкой по дате. Тогда мы действительно будем получать по большей части новые материалы. В первом же случае новых ссылок будет гораздо меньше.

[/q]

Убедил!

petryashov написал:

[q]

vbl написал:

[q]

Так что, на мой взгляд, применительно к нашему с Дмитрием небольшому спору, все же лучше будет последующие после первого запуски СайтСпутника по интересующему нас запросу проводить с сортировкой по дате. Тогда мы действительно будем получать по большей части новые материалы. В первом же случае новых ссылок будет гораздо меньше.

[/q]

Убедил!

[/q]

По запросу Бориса (vbl) "проще" и эффективнее искать новые ссылки.

Запрос Дмитрия (petryashov) ориентирован на поиск "незнакомых" ссылок (уникальная возможность СайтСпутника) - тех ссылок, которые еще ни разу не попадали в поле зрения исследователя. В разряд незнакомых ссылок будут попадать как новые, так и "старые" ссылки, ранее неприносимые по запросу. Это тоже может быть интересно и важно.

Если в пакет поставить оба запроса: первым запрос Бориса, вторым запрос Дмитрия, - то такой пакет запросов просуммирует преимущества обоих запросов:

Федор /1 Юрчихин || YANDEX->Дата=5
Федор /1 Юрчихин || Yandex.Deep=1000

В первом запросе уменьшина глубина поиска, так как далее, чем на 5-ой странице врядли будет что-то новое.

Для того, чтобы уменьшить вероятность попадания на антиробот Яндекса между этими запросами вставил бы поиск по Google и Рамблеру и получил бы следующий пакет:

Федор /1 Юрчихин || YANDEX->Дата=5
"Федор Юрчихин" || Google.Deep=1000
"Федор Юрчихин" || Rambler.Deep=1000
Федор /1 Юрчихин || Yandex.Deep=1000

vbl написал:

[q]

даже со значением паузы 20 не смог пройти дальше 402 страницы

[/q]

Alexei Mylnikov, а можно в пакете менять паузы?
Например, сначала внутри пакета задаем паузу 5 сек., потом 20 сек., потом снова меняем на 5 сек.? Таким образом можно перед Яндекс.Запросом делать паузы побольше, а на остальных поисковиках собирать ссылки побыстрее.

Согласен. В этом случае остановка программы очень бы помогла. И еще система должна выдать какой-то сигнал (звук, всплывающее окно) о том, что появился антиробот.

Alexei Mylnikov написал:

[q]

В вестии 6.4.4.1 встроена именно такая обработка капчи для Яндекса.
Она невечная, так как иногда содержание страницы с капчей изменяется разработчиками.
Возникнут проблемы - буду вносить изменения в программу, сохраняя предыдущие варианты обработки.

[/q]

Большое спасибо, работает.

Но, сходу появился один нюансик. Если свернуть окно программы, как наверное многие обычно делают, то при срабатывании данной функции, как и положено, вылетает запланированная табличка "Введите код указанный на каптче и нажмите ОК". Вот тут большая проблема появляется, ибо программа разворачиваться не желает, а не открыв ее, каптчи не видно, приходится нажимать "Cancel" и соответственно все насмарку.

Можно ли это как-то исправить?

Alexei Mylnikov написал:

[q]

исправил, подкачайтесь.

[/q]

Спасибо, все отлично работает. Вот теперь реально выкачивается 1000 страниц Я-н-д-е-к-с-а

Ура, работает! Алексей, спасибо!

Alexei Mylnikov написал:

[q]

Начиная с версии 6.4.4.3, можно задавать дополнительно следующие операторы:

^^Пауза.Yandex=3
^^Пауза.Google=4
^^Пауза.Yahoo=5

[/q]

А вот это уже совсем замечательно!
Еще раз спасибо!!!

CI-KP написал:

[q]

Вот тут у меня в комментариях мысль высказана на счет "сервиса для хороших роботов" Яндекса. Какие по этому поводу есть мысли?

[/q]

Спасибо. Сервис интересный. Взаимодействие с готовыми приложениями, написанными на нем, вполне возможны.

CI-KP написал:

[q]

Alexei Mylnikov написал:

[q]

Взаимодействие с готовыми приложениями, написанными на нем, вполне возможны.

[/q]

Это с какими, например?

[/q]

Например, с Нигмoй, поиск в которой реализован с использованием Яндекс.XML. Этот метапоисковик уже подключен в одном из сценариев САйтСпутник(а).