Увеличить скорость выделения

Форум Сообщества Практиков Конкурентной разведки (СПКР)

Конкурентная разведка, Бизнес-разведка, Корпоративная разведка,
Деловая разведка по открытым источникам в бизнесе.
Работаем строго в рамках закона.

Дезинформация и активные мероприятия в бизнесе
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Предложения по программе для допроса Интернета СайтСпутник »   Увеличить скорость выделения
RSS

Увеличить скорость выделения

<<Назад  Вперед>>Печать
 
petryashov
Администратор

Откуда: Москва
Всего сообщений: 483
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009
Алексей, вот какой вопрос. Когда работаешь с "длинными" результатами выдачи, очень удобно сначала выделить все найденные результаты, а затем снять выделение с нерелевантных результатов. Однако процесс автоматического выделения занимает массу времени (например, у меня список 7 тыс строк, операция по выделению его выполняется уже минут 20). Можно ли как-нибудь программно ускорить процесс?
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
Да, реально. Я по мере сил и возможностей заменяю методы доступа к данным в "критических местах".
У меня сразу возникает вопрос: "Что Вы делаете дальше с этими почти 7000 ссылками?"

petryashov
Администратор

Откуда: Москва
Всего сообщений: 483
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009

Alexei Mylnikov написал:
[q]
У меня сразу возникает вопрос: "Что Вы делаете дальше с этими почти 7000 ссылками?"
[/q]


Одна интересующая меня компания очень активно использует размещение сообщений на досках объявлений. Я написал пакет и использовал в нем Вашу свежую доработку по раскрытию ссылок "еще с сайта". В итоге получил такой огромный список.

Я неплохо знаю языки запросов поисковиков, поэтому среди этих 7 тыс ссылок мусора выдало максимум 5 процентов. Я выделяю все, затем просматриваю получившийся список и снимаю выделение с ненужных материалов. Затем сохраняю список. Параллельно просматриваю релевантные ссылки, произвожу группировку найденного по разделам (например: объявления; позитивные отклики; негативные отклики; материалы с сайта и т.п.), подсчитываю нужную мне статистику по этим группам, раскрываю нужные ссылки, читаю материал, затем пишу отчет с выводами и рекомендациями. Готовый список сохраняю и прикладываю к отчету в качестве приложения.

Еще раз спасибо за реализацию вышеотмеченной доработки! Как раз на данном примере я еще раз убедился в ее полезности



Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

petryashov написал:
[q]
Я написал пакет и
[/q]

Запускаете пакет с объединеним результатов поиска или по кнопке "Раздельно", а затем применяте "Аналитическое объединение"?
Этот пакет интерен кому-либо еще?


petryashov написал:
[q]
Параллельно просматриваю релевантные ссылки,
[/q]

Внешним браузером открываете их? Все 7000? Или по-другому работете?

petryashov
Администратор

Откуда: Москва
Всего сообщений: 483
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009

Alexei Mylnikov написал:
[q]

petryashov написал:

Запускаете пакет с объединеним результатов поиска или по кнопке "Раздельно", а затем применяте "Аналитическое объединение"?
[/q]

Нет, ручками :sad: Аналитическое объединение не применяю (вероятно, зря), потому что еще с ним не разобрался.

Задача вот какая: есть 7 000 релевантных ссылок, нужно их автоматически разбить на группы по нужным ключевым словам (вакансия; отзыв и пр) и получить статистику, сколько и каких ссылок найдено. Если я правильно понял, то сейчас это нужно делать так: создать пакет "Работа" и сделать АО с моим списком из 7 000 ссылок; затем делаем пакет "Отзыв" и повторяем процесс и т.п. Или это как-то по-другому делается?


Alexei Mylnikov написал:
[q]

petryashov написал:
[q]
Параллельно просматриваю релевантные ссылки,
[/q]


Внешним браузером открываете их? Все 7000? Или по-другому работете?
[/q]

Я просматриваю сниппеты и открываю интересные. Встроенным браузером не пользуюсь в силу двух причин: во--первых, в логах посещаемого сервера могут остаться ненужные следы, по которым можно идентифицировать посетителя, а во-вторых, в нем открывается только несколько ссылок, а потом почему-то перестают открываться (жмешь на ссылку, а эффекта никакого). Поэтому я копирую нужную ссылку и открываю ее в своем браузере
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

petryashov написал:
[q]
Нет, ручками Аналитическое объединение не применяю (вероятно, зря), потому что еще с ним не разобрался.

Задача вот какая: есть 7 000 релевантных ссылок, нужно их автоматически разбить на группы по нужным ключевым словам (вакансия; отзыв и пр) и получить статистику, сколько и каких ссылок найдено. Если я правильно понял, то сейчас это нужно делать так: создать пакет "Работа" и сделать АО с моим списком из 7 000 ссылок; затем делаем пакет "Отзыв" и повторяем процесс и т.п. Или это как-то по-другому делается?
[/q]

Да, зря не применяете "Аналитическое объединение" по следующим причинам.
1. Получите "автоматом" ту старистику, о которой Вы написали и "ручки" не потребуются. Можно сделать как Вы предложили, можно сделать и по-другому: отдельно отработать с каждой группой и сделать АО по всем группам.
2. Найдете те ссылки, на которых присутствует информация из всех групп или из нескольких групп. Это тоже дополнительная информация к размышлению.
3. Если будете применять АО не только между группами, но и внутри группы, то наиболее релевантнве ссылки (те на которых присутствуют, например, и ФИО, и телефон, и адреса, и другая искомая информация по группе) всплывут вверх в выдаче СайтСпутника.

Пункты 2 и 3 совместимы, так как операндом АО может быть другое АО.

Что касается встроенного браузера, то он скоро будет усовершенствован.

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
P.S.
Вот здесь на этом формуме я подробнее написал про операцию "Аналитическое объединение" - forum.razved.info/index.php?t=154

petryashov
Администратор

Откуда: Москва
Всего сообщений: 483
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009
Для: Alexei Mylnikov
[q]
отдельно отработать с каждой группой и сделать АО по всем группам.
[/q]

Спасибо! Можно чуть подробнее? Есть список в 7 000позиций, его нужно разбить на рубрики "Работа", "Отзывы", "Объявления". Как это можно сделать при помощи АО?
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 872
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

petryashov написал:
[q]
Спасибо! Можно чуть подробнее? Есть список в 7 000позиций, его нужно разбить на рубрики "Работа", "Отзывы", "Объявления". Как это можно сделать при помощи АО?
[/q]

Допустим ВЫ "сделали" произвольным образом, а именно: по запросу, по пакету запросов, посредством АО, ... - произвольный список ссылок на любую тему (не обязательна его принадлежность к "Работа", "Отзывы", "Объявления").
В Вашем случае этот список состоит из 7000 ссылок. Назовем его "Список-7000".

Далее можно "сделать" отдельные списки по теме: "Работа", "Отзывы", "Объявления" , ... произвольным образом, а именно: по запросу, по пакету запросов, посредством АО, ...

Если Вы выполните АО над "Список-7000" и "Работа", то увидите ссылки из темы "Работа", принадлежащие списку "Список-7000". Количество ссылок тоже будет указано.

Если Вы сделаете АО над списками "Работа", "Отзывы", "Объявления" , ..., то получите подробную картину о том, какие ссылки принадлежат всем спискам, какие за минусом одного списка, ..., какие только одному списку.
Назовем полученный список "Список-1".

Если ВЫ сделаете АО над "Список-7000" и "Список-1", то увидите ссылки из "Работа", "Отзывы", "Объявления" , ..., принадлежащие списку "Список-7000". Количество ссылок тоже будет указано.

Дополнительная информация.
1. В АО каждая ссылка имеет вес, равный количеству запросов, при помощи которых она была найдена. Какими запросами она была найдена тоже указывается.
2. Все ссылки в АО упорядочены в порядке уменьшения веса ссылки.

petryashov
Администратор

Откуда: Москва
Всего сообщений: 483
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009
Проблема утратила актуальность в связи с появлением такого инструмента, как Рубрики.


Комментарий модератора:
В связи с утратой актуальности тема закрыта на добавление новых сообщений


<<Назад  Вперед>>Печать
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Предложения по программе для допроса Интернета СайтСпутник »   Увеличить скорость выделения
RSS

Последние RSS
Учебник по конкурентной разведке
Конкурентная разведка: маркетинг рисков и возможностей
Книга "История частной разведки США"
Книга "Нетворкинг для разведчиков"
Поиск и сбор информации в интернете в программе СайтСпутник
Новые видеоуроки по программе СайтСпутник для начинающих
Технологическая разведка
SiteSputnik. Мониторинг Телеграм
СайтСпутник: возврат к ранее установленной версии
SiteSputnik. Доступ к результатам работы из браузера
Анализ URL
Браузер для анонимной работы
Топливно-энергетический комплекс
Профессиональные сообщества СБ
Несколько Проектов в одном, выполнение Проектов по частям
SiteSputnik-Bot: Боты в программе СайтСпутник
К вопросу о телеграм
SiteSputnik: Автозамены до и после Рубрикации или Перевода
Демо-доступ к ИАС социальных сетей
Лог-файл в программе СайтСпутник

Самые активные 20 тем RSS