Обсуждение нереализованной функции: автоматический сбор ссыл

Форум Сообщества Практиков Конкурентной разведки (СПКР)

Конкурентная разведка, Бизнес-разведка, Корпоративная разведка,
Деловая разведка по открытым источникам в бизнесе.
Работаем строго в рамках закона.

Дезинформация и активные мероприятия в бизнесе
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Предложения по программе для допроса Интернета СайтСпутник »   Обсуждение нереализованной функции: автоматический сбор ссыл
RSS

Обсуждение нереализованной функции: автоматический сбор ссыл

<<Назад  Страницы: 1 2
Печать
 
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 835
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
Обдумываю эргономическую и техническую составляющую вторичного поиска. Согласен, что "рыть" нужно глубже.
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 835
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
В версии 5.4.5.5, вышедшей 21.07.09 (подкачайтесь из главного меню: "? | Поверить наличие обновлений"), реализован глубокий поиск для Яндекса (предложение tungus1973, поддерженное petryashov и Vinni). Он сделан следующим образом. Сначала выполняется обычный поиск, в процессе которого накапливаются поиски по "Еще с сайта", которые запускаются без каких-либо вопросов сразу по окончании обычного поиска и обеспечивают существенно более полный сбор ссылок.
Для того, чтобы обратиться к глубокому поиску задайте в "Золотом ключике" запрос на языке запросов Яндекса и пропишите ему исполнение на глубоком поиске в Яндексе. Для этого используйте пункт меню "Поиск+Еще с сайта", который размещен на кнопке со значком "||".
Можно, не обращаяясь к меню, прямо с клавиатуры набрать: "Запрос на языке запросов Яндекса" || Yandex.Deep=1000
Эту функцию можно применять в пакетах и пакетах с параметрами.

В результате выполнения глубокого поиска для Яндекса СайтСпутник соберет все ссылки из обычного поиска и все ссылки из всех списков "Еще с сайта".

tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 794
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009
Для: Alexei Mylnikov
Отличная новость!!! :uraaaa:

Планируется ли в будущем реализовать:
- сбор сгруппированных ссылок с других поисковиков?
- специальную функцию сбора сгруппированных ссылок в Мастере подключения поисковиков?
- регулирование глубины сбора сгруппированных ссылок? Например,
. || Yandex=7.2 ^^ Сбор ссылок с поисковика на 7 страниц в глубину и из сгруппированных ссылок на 2 страницы в глубину
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 835
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
Да, планируется. Сначала посмотрите как это работает для Яндекса.
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 794
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009

Alexei Mylnikov написал:
[q]
Сначала выполняется обычный поиск, в процессе которого накапливаются поиски по "Еще с сайта", которые запускаются без каких-либо вопросов сразу по окончании обычного поиска и обеспечивают существенно более полный сбор ссылок.
[/q]

А в каком порядке собираются ссылки:
1. Сначала все ссылки с указанного количества страниц поисковика, затем все сгруппированные ссылки с найденных ссылок?
2. Сначала все ссылки с первой страницы поисковика, затем все сгруппированные ссылки с нее. Потом все ссылки со второй страницы поисковика и все сгруппированные ссылки на 2й странице и т.д.?
3. Первая ссылка, затем все сгруппированные с ней ссылки, вторая ссылка, затем все сгруппированные с ней ссылки, и т.д. до конца первой страницы. Затем то же самое на второй странице?

К "правильному ручному поиску", наверное будет ближе алгоритм 3.
С точки зрения скорости работы, возможно оптимальным будет алгоритм 2.
Про алгоритм 1 пока ничего не могу сказать.
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 835
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
Я выбрал 1-ый алгоритм: сначала поиск вширь, затем в глубину.
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 835
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
В версии 5.4.6, вышедшей 24.07.09 (подкачайтесь из главного меню: "? | Поверить наличие обновлений"), к глубокому поиску для Яндекса добавлен глубокий поиск для Google и Рамблера.
Глубокий поиск позволяет объединить в один список все ссылки из обычного поиска и все ссылки, соответственно, из списков "Еще с сайта", "Дополнительные результаты с сайта" и "Искать на сайте (Всего ...)".
Для Яху нет ни возможности ни смысла реализовать такой поиск, так как не создается список, подобный "Еще с сайта", в самом Яху, и Яху выдает много ссылок с одного ресурса, удовлетворяющих условию поиска.
В MSN (Live Search, Bing) подобной возможности тоже нет.

Способ обращения к глубокому поиску через меню в "Золотом ключике" описан в вышестоящем топике.
Можно, не обращаяясь к меню, прямо с клавиатуры набрать:

"Запрос на языке запросов Яндекса" || Yandex.Deep=1000
"Запрос на языке запросов Google " || Google.Deep=1000
"Запрос на языке запросов Рамблер" || Rambler.Deep=1000

Как написано выше эту функцию можно применять в пакетах и пакетах с параметрами.
Разделяю взгляд tungus1973 и petryashov о том, что глубокий поиск будет особенно полезен при вычислении связей искомых объектов.
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 794
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009
Опробовал новые возможности по сбору сгруппированных ссылок с Яндекса, Google, Rambler.
Проверял качество работы СайтСпутника "ручными методами" - программа собрала все ссылки и исключила дубли.
Алексею Мыльникову большое спасибо!
tungus1973
Модератор форума

Откуда: г. Санкт-Петербург
Всего сообщений: 794
Рейтинг пользователя: 11


Ссылка


Дата регистрации на форуме:
3 июля 2009

Alexei Mylnikov написал:
[q]
Для Яху нет ни возможности ни смысла реализовать такой поиск, так как не создается список, подобный "Еще с сайта", в самом Яху, и Яху выдает много ссылок с одного ресурса, удовлетворяющих условию поиска.
В MSN (Live Search, Bing) подобной возможности тоже нет.
[/q]

Из оставшихся основных поисковиков сгруппированные страницы встречаются только в:
Mail = "Другие страницы с сайта"
Aport = "Остальные страницы"
petryashov
Администратор

Откуда: Москва
Всего сообщений: 490
Рейтинг пользователя: 9


Ссылка


Дата регистрации на форуме:
7 июня 2009
Для: Alexei Mylnikov
Ура! Спасибо! Классная штука! :hi:


Комментарий модератора:
В связи с полной реализацией запрошенного функционала тема закрыта на добавление сообщений

<<Назад  Страницы: 1 2
Печать
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Предложения по программе для допроса Интернета СайтСпутник »   Обсуждение нереализованной функции: автоматический сбор ссыл
RSS

Последние RSS
шантаж, угрозы по Интернету
Практически весь интернет становится русскоязычным
SiteSputnik. Об одном подходе к мониторингу Телеграм
Безопасность при работе на ПК
Книги о критическом мышлении
Наказывать за вмешательство в частную жизнь, Верховный суд
CI Academic Materials
CiMi.CON Evolution USA
Поиск в КЭШ поисковиков по запросу и пакету запросов
СайтСпутник: Многоязычность, Юникод, MS ACCESS
Новый курс OSINT от АИС
Год тюрьмы за отказ удалять
Книга "Строим доверие по методикам спецслужб"
аналог "Консультанта" о зарубежном законодательстве
Открытые данные ФНС
Получаем информацию по VIN
Competitive-Market Intelligence Conference, Berlin 2018
Не все VPN-сервисы одинаково полезны
«Яндекс» научился выдавать в поиске не скрытые Google-документы. Правда лавочку
War and marketing: 1937 July 7th vs. 2018 July 1st

Самые активные 20 тем RSS