Форум Сообщества Практиков Конкурентной разведки (СПКР) » Предложения по программе для допроса Интернета СайтСпутник » Увеличить скорость выделения |
<<Назад Вперед>> | Печать |
petryashov
Администратор
Откуда: Москва Всего сообщений: 480 Рейтинг пользователя: 9 Ссылка Дата регистрации на форуме: 7 июня 2009 |
Алексей, вот какой вопрос. Когда работаешь с "длинными" результатами выдачи, очень удобно сначала выделить все найденные результаты, а затем снять выделение с нерелевантных результатов. Однако процесс автоматического выделения занимает массу времени (например, у меня список 7 тыс строк, операция по выделению его выполняется уже минут 20). Можно ли как-нибудь программно ускорить процесс? |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 877 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
Да, реально. Я по мере сил и возможностей заменяю методы доступа к данным в "критических местах". У меня сразу возникает вопрос: "Что Вы делаете дальше с этими почти 7000 ссылками?" |
petryashov
Администратор
Откуда: Москва Всего сообщений: 480 Рейтинг пользователя: 9 Ссылка Дата регистрации на форуме: 7 июня 2009 |
Alexei Mylnikov написал: У меня сразу возникает вопрос: "Что Вы делаете дальше с этими почти 7000 ссылками?" Одна интересующая меня компания очень активно использует размещение сообщений на досках объявлений. Я написал пакет и использовал в нем Вашу свежую доработку по раскрытию ссылок "еще с сайта". В итоге получил такой огромный список. Я неплохо знаю языки запросов поисковиков, поэтому среди этих 7 тыс ссылок мусора выдало максимум 5 процентов. Я выделяю все, затем просматриваю получившийся список и снимаю выделение с ненужных материалов. Затем сохраняю список. Параллельно просматриваю релевантные ссылки, произвожу группировку найденного по разделам (например: объявления; позитивные отклики; негативные отклики; материалы с сайта и т.п.), подсчитываю нужную мне статистику по этим группам, раскрываю нужные ссылки, читаю материал, затем пишу отчет с выводами и рекомендациями. Готовый список сохраняю и прикладываю к отчету в качестве приложения. Еще раз спасибо за реализацию вышеотмеченной доработки! Как раз на данном примере я еще раз убедился в ее полезности |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 877 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
Профиль | Игнорировать
NEW! Сообщение отправлено: 18 августа 2009 22:36 Сообщение отредактировано: 18 августа 2009 22:38 petryashov написал: Я написал пакет и Запускаете пакет с объединеним результатов поиска или по кнопке "Раздельно", а затем применяте "Аналитическое объединение"? Этот пакет интерен кому-либо еще? petryashov написал: Параллельно просматриваю релевантные ссылки, Внешним браузером открываете их? Все 7000? Или по-другому работете? |
petryashov
Администратор
Откуда: Москва Всего сообщений: 480 Рейтинг пользователя: 9 Ссылка Дата регистрации на форуме: 7 июня 2009 |
Alexei Mylnikov написал:
Нет, ручками Аналитическое объединение не применяю (вероятно, зря), потому что еще с ним не разобрался. Задача вот какая: есть 7 000 релевантных ссылок, нужно их автоматически разбить на группы по нужным ключевым словам (вакансия; отзыв и пр) и получить статистику, сколько и каких ссылок найдено. Если я правильно понял, то сейчас это нужно делать так: создать пакет "Работа" и сделать АО с моим списком из 7 000 ссылок; затем делаем пакет "Отзыв" и повторяем процесс и т.п. Или это как-то по-другому делается? Alexei Mylnikov написал:
Я просматриваю сниппеты и открываю интересные. Встроенным браузером не пользуюсь в силу двух причин: во--первых, в логах посещаемого сервера могут остаться ненужные следы, по которым можно идентифицировать посетителя, а во-вторых, в нем открывается только несколько ссылок, а потом почему-то перестают открываться (жмешь на ссылку, а эффекта никакого). Поэтому я копирую нужную ссылку и открываю ее в своем браузере |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 877 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
petryashov написал: Нет, ручками Аналитическое объединение не применяю (вероятно, зря), потому что еще с ним не разобрался. Да, зря не применяете "Аналитическое объединение" по следующим причинам. 1. Получите "автоматом" ту старистику, о которой Вы написали и "ручки" не потребуются. Можно сделать как Вы предложили, можно сделать и по-другому: отдельно отработать с каждой группой и сделать АО по всем группам. 2. Найдете те ссылки, на которых присутствует информация из всех групп или из нескольких групп. Это тоже дополнительная информация к размышлению. 3. Если будете применять АО не только между группами, но и внутри группы, то наиболее релевантнве ссылки (те на которых присутствуют, например, и ФИО, и телефон, и адреса, и другая искомая информация по группе) всплывут вверх в выдаче СайтСпутника. Пункты 2 и 3 совместимы, так как операндом АО может быть другое АО. Что касается встроенного браузера, то он скоро будет усовершенствован. |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 877 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
P.S. Вот здесь на этом формуме я подробнее написал про операцию "Аналитическое объединение" - forum.razved.info/index.php?t=154 |
petryashov
Администратор
Откуда: Москва Всего сообщений: 480 Рейтинг пользователя: 9 Ссылка Дата регистрации на форуме: 7 июня 2009 |
Профиль | Игнорировать
NEW! Сообщение отправлено: 20 августа 2009 17:16 Сообщение отредактировано: 20 августа 2009 17:24
Для: Alexei Mylnikov отдельно отработать с каждой группой и сделать АО по всем группам. Спасибо! Можно чуть подробнее? Есть список в 7 000позиций, его нужно разбить на рубрики "Работа", "Отзывы", "Объявления". Как это можно сделать при помощи АО? |
Алексей Мыльников
Долгожитель форума
Откуда: Волгоград Всего сообщений: 877 Рейтинг пользователя: 6 Ссылка Дата регистрации на форуме: 22 июня 2009 |
petryashov написал: Спасибо! Можно чуть подробнее? Есть список в 7 000позиций, его нужно разбить на рубрики "Работа", "Отзывы", "Объявления". Как это можно сделать при помощи АО? Допустим ВЫ "сделали" произвольным образом, а именно: по запросу, по пакету запросов, посредством АО, ... - произвольный список ссылок на любую тему (не обязательна его принадлежность к "Работа", "Отзывы", "Объявления"). В Вашем случае этот список состоит из 7000 ссылок. Назовем его "Список-7000". Далее можно "сделать" отдельные списки по теме: "Работа", "Отзывы", "Объявления" , ... произвольным образом, а именно: по запросу, по пакету запросов, посредством АО, ... Если Вы выполните АО над "Список-7000" и "Работа", то увидите ссылки из темы "Работа", принадлежащие списку "Список-7000". Количество ссылок тоже будет указано. Если Вы сделаете АО над списками "Работа", "Отзывы", "Объявления" , ..., то получите подробную картину о том, какие ссылки принадлежат всем спискам, какие за минусом одного списка, ..., какие только одному списку. Назовем полученный список "Список-1". Если ВЫ сделаете АО над "Список-7000" и "Список-1", то увидите ссылки из "Работа", "Отзывы", "Объявления" , ..., принадлежащие списку "Список-7000". Количество ссылок тоже будет указано. Дополнительная информация. 1. В АО каждая ссылка имеет вес, равный количеству запросов, при помощи которых она была найдена. Какими запросами она была найдена тоже указывается. 2. Все ссылки в АО упорядочены в порядке уменьшения веса ссылки. |
petryashov
Администратор
Откуда: Москва Всего сообщений: 480 Рейтинг пользователя: 9 Ссылка Дата регистрации на форуме: 7 июня 2009 |
Профиль | Игнорировать
NEW! Сообщение отправлено: 12 января 2013 18:37 Сообщение отредактировано: 12 января 2013 18:38
Проблема утратила актуальность в связи с появлением такого инструмента, как Рубрики. |
<<Назад Вперед>> | Печать |
Форум Сообщества Практиков Конкурентной разведки (СПКР) » Предложения по программе для допроса Интернета СайтСпутник » Увеличить скорость выделения |
Самые активные 20 тем | |
В связи с утратой актуальности тема закрыта на добавление новых сообщений