Версия для печати
- Форум Сообщества Практиков Конкурентной разведки (СПКР) http://forum.razved.info/
-- Предложения по программе для допроса Интернета СайтСпутник http://forum.razved.info//index.php?f=40
--- Увеличить скорость выделения http://forum.razved.info//index.php?t=306
-- petryashov написал 18 августа 2009 20:02
Алексей, вот какой вопрос. Когда работаешь с "длинными" результатами выдачи, очень удобно сначала выделить все найденные результаты, а затем снять выделение с нерелевантных результатов. Однако процесс автоматического выделения занимает массу времени (например, у меня список 7 тыс строк, операция по выделению его выполняется уже минут 20). Можно ли как-нибудь программно ускорить процесс?
-- Алексей Мыльников написал 18 августа 2009 22:00
Да, реально. Я по мере сил и возможностей заменяю методы доступа к данным в "критических местах".
У меня сразу возникает вопрос: "Что Вы делаете дальше с этими почти 7000 ссылками?"
-- petryashov написал 18 августа 2009 22:10
Alexei Mylnikov написал:[q]
У меня сразу возникает вопрос: "Что Вы делаете дальше с этими почти 7000 ссылками?"[/q]
Одна интересующая меня компания очень активно использует размещение сообщений на досках объявлений. Я написал пакет и использовал в нем Вашу свежую доработку по раскрытию ссылок "еще с сайта". В итоге получил такой огромный список.
Я неплохо знаю языки запросов поисковиков, поэтому среди этих 7 тыс ссылок мусора выдало максимум 5 процентов. Я выделяю все, затем просматриваю получившийся список и снимаю выделение с ненужных материалов. Затем сохраняю список. Параллельно просматриваю релевантные ссылки, произвожу группировку найденного по разделам (например: объявления; позитивные отклики; негативные отклики; материалы с сайта и т.п.), подсчитываю нужную мне статистику по этим группам, раскрываю нужные ссылки, читаю материал, затем пишу отчет с выводами и рекомендациями. Готовый список сохраняю и прикладываю к отчету в качестве приложения.
Еще раз спасибо за реализацию вышеотмеченной доработки! Как раз на данном примере я еще раз убедился в ее полезности
-- Алексей Мыльников написал 18 августа 2009 22:36
petryashov написал:[q]
Я написал пакет и [/q]
Запускаете пакет с объединеним результатов поиска или по кнопке "Раздельно", а затем применяте "Аналитическое объединение"?
Этот пакет интерен кому-либо еще?
petryashov написал:[q]
Параллельно просматриваю релевантные ссылки,[/q]
Внешним браузером открываете их? Все 7000? Или по-другому работете?
-- petryashov написал 20 августа 2009 8:48
Alexei Mylnikov написал:[q]
petryashov написал:
Запускаете пакет с объединеним результатов поиска или по кнопке "Раздельно", а затем применяте "Аналитическое объединение"?
[/q]
Нет, ручками 
Аналитическое объединение не применяю (вероятно, зря), потому что еще с ним не разобрался.
Задача вот какая: есть 7 000 релевантных ссылок, нужно их автоматически разбить на группы по нужным ключевым словам (вакансия; отзыв и пр) и получить статистику, сколько и каких ссылок найдено. Если я правильно понял, то сейчас это нужно делать так: создать пакет "Работа" и сделать АО с моим списком из 7 000 ссылок; затем делаем пакет "Отзыв" и повторяем процесс и т.п. Или это как-то по-другому делается?
Alexei Mylnikov написал:[q]
petryashov написал:
[q]
Параллельно просматриваю релевантные ссылки,[/q]
Внешним браузером открываете их? Все 7000? Или по-другому работете?[/q]
Я просматриваю сниппеты и открываю интересные. Встроенным браузером не пользуюсь в силу двух причин: во--первых, в логах посещаемого сервера могут остаться ненужные следы, по которым можно идентифицировать посетителя, а во-вторых, в нем открывается только несколько ссылок, а потом почему-то перестают открываться (жмешь на ссылку, а эффекта никакого). Поэтому я копирую нужную ссылку и открываю ее в своем браузере
-- Алексей Мыльников написал 20 августа 2009 9:30
petryashov написал:[q]
Нет, ручками Аналитическое объединение не применяю (вероятно, зря), потому что еще с ним не разобрался.
Задача вот какая: есть 7 000 релевантных ссылок, нужно их автоматически разбить на группы по нужным ключевым словам (вакансия; отзыв и пр) и получить статистику, сколько и каких ссылок найдено. Если я правильно понял, то сейчас это нужно делать так: создать пакет "Работа" и сделать АО с моим списком из 7 000 ссылок; затем делаем пакет "Отзыв" и повторяем процесс и т.п. Или это как-то по-другому делается?[/q]
Да, зря не применяете "Аналитическое объединение" по следующим причинам.
1. Получите "автоматом" ту старистику, о которой Вы написали и "ручки" не потребуются. Можно сделать как Вы предложили, можно сделать и по-другому: отдельно отработать с каждой группой и сделать АО по всем группам.
2. Найдете те ссылки, на которых присутствует информация из всех групп или из нескольких групп. Это тоже дополнительная информация к размышлению.
3. Если будете применять АО не только между группами, но и внутри группы, то наиболее релевантнве ссылки (те на которых присутствуют, например, и ФИО, и телефон, и адреса, и другая искомая информация по группе) всплывут вверх в выдаче СайтСпутника.
Пункты 2 и 3 совместимы, так как операндом АО может быть другое АО.
Что касается встроенного браузера, то он скоро будет усовершенствован.
-- Алексей Мыльников написал 20 августа 2009 16:27
P.S.
Вот здесь на этом формуме я подробнее написал про операцию "Аналитическое объединение" - forum.razved.info/index.php?t=154
-- petryashov написал 20 августа 2009 17:16
Для: Alexei Mylnikov
[q]
отдельно отработать с каждой группой и сделать АО по всем группам. [/q]
Спасибо! Можно чуть подробнее? Есть список в 7 000позиций, его нужно разбить на рубрики "Работа", "Отзывы", "Объявления". Как это можно сделать при помощи АО?
-- Алексей Мыльников написал 20 августа 2009 19:16
petryashov написал:[q]
Спасибо! Можно чуть подробнее? Есть список в 7 000позиций, его нужно разбить на рубрики "Работа", "Отзывы", "Объявления". Как это можно сделать при помощи АО?[/q]
Допустим ВЫ "сделали" произвольным образом, а именно: по запросу, по пакету запросов, посредством АО, ... - произвольный список ссылок на любую тему (не обязательна его принадлежность к "Работа", "Отзывы", "Объявления").
В Вашем случае этот список состоит из 7000 ссылок. Назовем его "Список-7000".
Далее можно "сделать" отдельные списки по теме: "Работа", "Отзывы", "Объявления" , ... произвольным образом, а именно: по запросу, по пакету запросов, посредством АО, ...
Если Вы выполните АО над "Список-7000" и "Работа", то увидите ссылки из темы "Работа", принадлежащие списку "Список-7000". Количество ссылок тоже будет указано.
Если Вы сделаете АО над списками "Работа", "Отзывы", "Объявления" , ..., то получите подробную картину о том, какие ссылки принадлежат всем спискам, какие за минусом одного списка, ..., какие только одному списку.
Назовем полученный список "Список-1".
Если ВЫ сделаете АО над "Список-7000" и "Список-1", то увидите ссылки из "Работа", "Отзывы", "Объявления" , ..., принадлежащие списку "Список-7000". Количество ссылок тоже будет указано.
Дополнительная информация.
1. В АО каждая ссылка имеет вес, равный количеству запросов, при помощи которых она была найдена. Какими запросами она была найдена тоже указывается.
2. Все ссылки в АО упорядочены в порядке уменьшения веса ссылки.
-- petryashov написал 12 января 2013 18:37
Проблема утратила актуальность в связи с появлением такого инструмента, как Рубрики.
Этот форум работает на скрипте Intellect Board
© 2004-2007, 4X_Pro, Объединенный Открытый Проект