Обсуждение нереализованной функции: автоматический сбор ссыл

Форум Сообщества Практиков Конкурентной разведки (СПКР)

Конкурентная разведка, Бизнес-разведка, Корпоративная разведка,
Деловая разведка по открытым источникам в бизнесе.
Работаем строго в рамках закона.

Дезинформация и активные мероприятия в бизнесе
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Предложения по программе для допроса Интернета СайтСпутник »   Обсуждение нереализованной функции: автоматический сбор ссыл
RSS

Обсуждение нереализованной функции: автоматический сбор ссыл

<<Назад  Страницы: 1 2
Печать
 
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 829
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
Обдумываю эргономическую и техническую составляющую вторичного поиска. Согласен, что "рыть" нужно глубже.
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 829
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
В версии 5.4.5.5, вышедшей 21.07.09 (подкачайтесь из главного меню: "? | Поверить наличие обновлений"), реализован глубокий поиск для Яндекса (предложение tungus1973, поддерженное petryashov и Vinni). Он сделан следующим образом. Сначала выполняется обычный поиск, в процессе которого накапливаются поиски по "Еще с сайта", которые запускаются без каких-либо вопросов сразу по окончании обычного поиска и обеспечивают существенно более полный сбор ссылок.
Для того, чтобы обратиться к глубокому поиску задайте в "Золотом ключике" запрос на языке запросов Яндекса и пропишите ему исполнение на глубоком поиске в Яндексе. Для этого используйте пункт меню "Поиск+Еще с сайта", который размещен на кнопке со значком "||".
Можно, не обращаяясь к меню, прямо с клавиатуры набрать: "Запрос на языке запросов Яндекса" || Yandex.Deep=1000
Эту функцию можно применять в пакетах и пакетах с параметрами.

В результате выполнения глубокого поиска для Яндекса СайтСпутник соберет все ссылки из обычного поиска и все ссылки из всех списков "Еще с сайта".

tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 788
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009
Для: Alexei Mylnikov
Отличная новость!!! :uraaaa:

Планируется ли в будущем реализовать:
- сбор сгруппированных ссылок с других поисковиков?
- специальную функцию сбора сгруппированных ссылок в Мастере подключения поисковиков?
- регулирование глубины сбора сгруппированных ссылок? Например,
. || Yandex=7.2 ^^ Сбор ссылок с поисковика на 7 страниц в глубину и из сгруппированных ссылок на 2 страницы в глубину
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 829
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
Да, планируется. Сначала посмотрите как это работает для Яндекса.
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 788
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009

Alexei Mylnikov написал:
[q]
Сначала выполняется обычный поиск, в процессе которого накапливаются поиски по "Еще с сайта", которые запускаются без каких-либо вопросов сразу по окончании обычного поиска и обеспечивают существенно более полный сбор ссылок.
[/q]

А в каком порядке собираются ссылки:
1. Сначала все ссылки с указанного количества страниц поисковика, затем все сгруппированные ссылки с найденных ссылок?
2. Сначала все ссылки с первой страницы поисковика, затем все сгруппированные ссылки с нее. Потом все ссылки со второй страницы поисковика и все сгруппированные ссылки на 2й странице и т.д.?
3. Первая ссылка, затем все сгруппированные с ней ссылки, вторая ссылка, затем все сгруппированные с ней ссылки, и т.д. до конца первой страницы. Затем то же самое на второй странице?

К "правильному ручному поиску", наверное будет ближе алгоритм 3.
С точки зрения скорости работы, возможно оптимальным будет алгоритм 2.
Про алгоритм 1 пока ничего не могу сказать.
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 829
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
Я выбрал 1-ый алгоритм: сначала поиск вширь, затем в глубину.
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 829
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
В версии 5.4.6, вышедшей 24.07.09 (подкачайтесь из главного меню: "? | Поверить наличие обновлений"), к глубокому поиску для Яндекса добавлен глубокий поиск для Google и Рамблера.
Глубокий поиск позволяет объединить в один список все ссылки из обычного поиска и все ссылки, соответственно, из списков "Еще с сайта", "Дополнительные результаты с сайта" и "Искать на сайте (Всего ...)".
Для Яху нет ни возможности ни смысла реализовать такой поиск, так как не создается список, подобный "Еще с сайта", в самом Яху, и Яху выдает много ссылок с одного ресурса, удовлетворяющих условию поиска.
В MSN (Live Search, Bing) подобной возможности тоже нет.

Способ обращения к глубокому поиску через меню в "Золотом ключике" описан в вышестоящем топике.
Можно, не обращаяясь к меню, прямо с клавиатуры набрать:

"Запрос на языке запросов Яндекса" || Yandex.Deep=1000
"Запрос на языке запросов Google " || Google.Deep=1000
"Запрос на языке запросов Рамблер" || Rambler.Deep=1000

Как написано выше эту функцию можно применять в пакетах и пакетах с параметрами.
Разделяю взгляд tungus1973 и petryashov о том, что глубокий поиск будет особенно полезен при вычислении связей искомых объектов.
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 788
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009
Опробовал новые возможности по сбору сгруппированных ссылок с Яндекса, Google, Rambler.
Проверял качество работы СайтСпутника "ручными методами" - программа собрала все ссылки и исключила дубли.
Алексею Мыльникову большое спасибо!
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 788
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009

Alexei Mylnikov написал:
[q]
Для Яху нет ни возможности ни смысла реализовать такой поиск, так как не создается список, подобный "Еще с сайта", в самом Яху, и Яху выдает много ссылок с одного ресурса, удовлетворяющих условию поиска.
В MSN (Live Search, Bing) подобной возможности тоже нет.
[/q]

Из оставшихся основных поисковиков сгруппированные страницы встречаются только в:
Mail = "Другие страницы с сайта"
Aport = "Остальные страницы"
petryashov
Администратор

Откуда: Москва
Всего сообщений: 490
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009
Для: Alexei Mylnikov
Ура! Спасибо! Классная штука! :hi:


Комментарий модератора:
В связи с полной реализацией запрошенного функционала тема закрыта на добавление сообщений

<<Назад  Страницы: 1 2
Печать
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Предложения по программе для допроса Интернета СайтСпутник »   Обсуждение нереализованной функции: автоматический сбор ссыл
RSS

Последние RSS
CiMi.CON Evolution USA
Поиск в КЭШ поисковиков по запросу и пакету запросов
СайтСпутник: Многоязычность, Юникод, MS ACCESS
Новый курс OSINT от АИС
Год тюрьмы за отказ удалять
Книга "Строим доверие по методикам спецслужб"
аналог "Консультанта" о зарубежном законодательстве
Открытые данные ФНС
Получаем информацию по VIN
Competitive-Market Intelligence Conference, Berlin 2018
Не все VPN-сервисы одинаково полезны
«Яндекс» научился выдавать в поиске не скрытые Google-документы. Правда лавочку
War and marketing: 1937 July 7th vs. 2018 July 1st
Историческое. Агентурная разведка
Open Source Intelligence (OSINT) Tools and Resources Handbook
Top tips on gathering information about companies by using free online sources
Новое на блоге HRразведка
Безопасность данных в MS Access
Слово как улика
20 Recon and Intel Gathering Tools used by InfoSec Professionals

Самые активные 20 тем RSS
WebSite Watcher