Регулярные выражения в Рубриках программы SiteSputnik

Форум Сообщества Практиков Конкурентной разведки (СПКР)

Конкурентная разведка, Бизнес-разведка, Корпоративная разведка,
Деловая разведка по открытым источникам в бизнесе.
Работаем строго в рамках закона.

Дезинформация и активные мероприятия в бизнесе
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Приемы работы с программой СайтСпутник (SiteSputnik) »   Регулярные выражения в Рубриках программы SiteSputnik
RSS

Регулярные выражения в Рубриках программы SiteSputnik

Регулярные выражения как логические величины в Правилах попадания в Рубрики

<<Назад  Вперед>>Страницы: 1 2 *
Печать
 
Vinni
Администратор

Всего сообщений: 2136
Рейтинг пользователя: 22


Ссылка


Дата регистрации на форуме:
5 июня 2009

Алексей Мыльников написал:
[q]
Поэтому если есть нормальный инстумент для отладки РВ, то подскажите Пользователям,
[/q]


Хм. Я как раз рекомендовал инструмент для отладки РВ. Вы его сначала посмотрите, а потом уж делайте выводы :wink:

Семёныч
Модератор форума
Городской Охотник
Всего сообщений: 926
Рейтинг пользователя: 10


Ссылка


Дата регистрации на форуме:
8 июня 2009
Если честно, то я себя считал знатоком программы СайтСпутник по уровню чуть выше среднего.
Но вот после таких запросов (Украина | {(\s|")(Д|Л)НР(\s|")}) {(\sПутин\s.{1,}){3,}} у меня зубы морщатся и морда чешется.
Знаете, что мне это напоминает? Вот есть спортивный болид, есть на него гонщик и есть группа механиков. Кто-то отвечает за подвеску, кто-то за настройку коробки передач, кто-о за систему впрыска и т.д. Но есть один супер механик - "дядя Вася" (в нашем случае это Алексей мыльников), который может через воздушный фильтр влезть, пробраться через двигатель и топливную систему, а из выхлопной трубы вылезть. И счастье гонщика, что такой д.Вася в его команде и всегда под рукой.
Простите, что так из далека захожу, но в нашем случае разработчик программы не будет каждому помогать составлять эти РВ. Даже, наверняка, не проблема их составить, проблема правильно их составить, а в приведённом мной выше примере пропуск какого-нибудь значка приведёт к хреновому результату или к никакому.
Когда появились пакеты запросов, то в скором времени появились и стандартные пакеты запросов. Может и с РВ они в скорости появятся. Я реально сомневаюсь, что эта тема под силу малоопытному пользователю СайтСпутника. И даже опытному ошибиться в составлении - пара пустяков.

---
Нет такой безвыходной ситуации,в которую невозможно вляпаться... (с)
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 877
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

Семёныч написал:
[q]
разработчик программы не будет каждому помогать составлять эти РВ
[/q]

1. Почему не будет помогать, - помогу я или, надеюсь, другие. Не думаю, что в день будет по 5 запросов на новые сложные РВ. У Вас есть хоть один?

2. РВ бывают не только сложные, но и простые.

3. Никто никого не принуждает писать РВ, Вы же как-то жили без этого. Всё что было ранее - работает. Никто ничего не отменял.

4. Кстати, есть и более сложные чем РВ вещи в СайтСпутнике - это Внешние функции, и есть Пользователи, которые их применяют.

Мне как сделать одну кнопку на программе, Вы нажмете на неё и получите то, что Вам нужно в данный момент? Такая кнопка есть - это "Золотой ключик", но он позволяет получать простым способом только простые результаты.

Vinni
Администратор

Всего сообщений: 2136
Рейтинг пользователя: 22


Ссылка


Дата регистрации на форуме:
5 июня 2009

Семёныч написал:
[q]
Простите, что так из далека захожу, но в нашем случае разработчик программы не будет каждому помогать составлять эти РВ. Даже, наверняка, не проблема их составить, проблема правильно их составить, а в приведённом мной выше примере пропуск какого-нибудь значка приведёт к хреновому результату или к никакому.
[/q]


Да - с РВ ошибка в одном символе может дорого стоить. :goodbuy:
Поэтому я сам сначала беру несколько текстовых строк, на которых отлаживаю РВ в интерактивном режиме
И только потом использую полученное РВ.

На самом деле базовых конструкций РВ не так уж много - после некоторой практики (дорогу осилит идущий :wink: ) Вы освоите их и сможете легко использовать. :yes:

[q]

(Украина |ДНР |ЛНР) {(\sПутин\s.{1,}){3,}} - удовлетворяют контенты ссылок, в которых речь идет об Украине, или ДНР или ЛНР и Путин в именительном падеже упомянут не менее 3-х раз. Здесь одно РВ применено совместно с обычными величинами.
(Украина | {(\s|")(Д|Л)НР(\s|")}) {(\sПутин\s.{1,}){3,}} - тот же самый результат, но задействованы два РВ. Вместо 'ДНР' | 'ЛНР' использовано {(\s|")(Д|Л)НР(\s|")}.
[/q]


Давайте разберем на этом примере некоторые возможности.
Нам нужно найти тексты, в которых говорится об определенной тематике. В таких текстах будут использоваться определенные слова-маркеры (не обязательно все сразу).
Мы выбрали три таких слова - Украина, ЛНР и ДНР. Конструкция (Украина | 'ДНР' | 'ЛНР') означает, что в результате использования этого РВ будут возвращаться тексты, содержащие хотя бы одно из этих слов (символ | -это на самом деле ИЛИ). Круглые скобки - это ограничитель вариантов (надо же указать, где начало первого варианта и конец последнего).

так как слова ДНР и ЛНР похожи (отличаются на одну букву), то можно оптимизировать список вариантов и (ДНР|ЛНР) написать как ((Д|Л)НР). То есть бвудут искаться строки, начинающиеся либо с Л либо с Д, за которыми идет строка НР.

Еще одна возможность РВ - метасимволы и возможность указывать сразу группу символов при поиске в тексте. Обычно используют символ \s для описания символов-разделителей слов (пробел, табуляция и т.д.) и \S для описания букв и цифр (значимые символы).
Поэтому конструкция \sПутин\s означает отдельное слово Путин с пробелами или другими разделителями слов перед ним и после него, а не "Путина" и т.д.



Vinni
Администратор

Всего сообщений: 2136
Рейтинг пользователя: 22


Ссылка


Дата регистрации на форуме:
5 июня 2009
Еще один популярный метасимвол - точка (.). Он обозначает любой символ. Плюс иногда используют \d - это любая цифра.
Символ + после метасимвола (или того, что заключено в круглые скобки) означает произвольное число повторений. \s+ -это и один пробел и десять пробелов
Конструкция {число,число} - это явное ограничение на число повторений метасимвола или какой-то конструкции. Первое число - минимальное число повторений, а второе максимальное.
\s{1,3} - это одного до трех пробелов .

Собственно вот и все возможности. которые были использованы в примере :wonder1:

Семёныч
Модератор форума
Городской Охотник
Всего сообщений: 926
Рейтинг пользователя: 10


Ссылка


Дата регистрации на форуме:
8 июня 2009
Благодарю! :hi:
Действительно, не так и много. Но выглядит - аж жуть!!!
Придётся "осиливать дорогу", а шо рабiць?

---
Нет такой безвыходной ситуации,в которую невозможно вляпаться... (с)
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 877
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

Алексей Мыльников написал:
[q]
"Золотой ключик" позволяет получать простым способом простые результаты.
[/q]

Ещё несколько слов о простоте и мощности.

"Золотой ключик" можно применить как простое средство в SiteSputnik Pro.
Если же Вы работаете с новостями (в SiteSputnik Pro+News) и Вам нужен просто агрегатор, то окрываете новый новостной Проект и просто впишите в него нужные RSS-адреса. Всё агрегатор готов. Ничего сложного. Результаты агрегации в "Чистом потоке".

Если Вам нужно этот поток проанализировать на несколько тем, одна их которых Василий Шукшин, то создаете для этой темы Рубрику с правилом:

(Василий /2 Шукшин | 'Калина красная' кинофильм | ещё что-нибудь)

Сложнее? Да, но и выдача будет то, что нужно.
Если Вам нужно, чтобы публикация была именно о Шукшине, а не упоминание его вскользь, то можно как вариант добавить через "логическое И" РВ {(Шукшин.{1,}){7,}}. Это выдаст публикации, где Шукшин упомянут не менее 7 раз. Кое-что Vinni пояснил по работе РВ. Добалю от себя на популярном языке о работе этого РВ следующее. Оно ползёт по анализируемому тексту, попадает на Шукшин. Пока всё нормально. Далее видит .{1,} и понимает, что можно ползти далее и найти такую конструкцию нужно не менее 7 раз потому что на ней прописано {7,}. Если это удалось, то анализируемый текст удовлетворяет этому РВ.
Все правило будет выглядеть так: {(Шукшин.{1,}){7,}} (Василий /2 Шукшин | 'Калина красная' кинофильм | ещё что-нибудь)

Если Вам, чтобы сделать нужные выводы, надо что-то посмотреть в базе данных Кронос, или в Excel, или информация лежит на сайте и надо выйти через интернет на этот сайт..., в этом случае РВ Вам не помощник (оно не всемогуще) - то примените Внешние функции. Это ещё сложнее, но позволяет улучшить выдачу.

Если источник информации не RSS-поток, а там где речь идет об "очень интересных вещах", RSS-ок точно нет, то сэмумируйте поток без Мастера подключения источников. Это чуть сложнее, чем просто вписать адрес RSS, но потоки, попадающие на анализ улучшатся.
Если это не дает нужные ссылки, то примените Мастер. Это сложнее, но позволяет достать те данные, которые не достанешь через RSS и его эмуляцию.

Важно.
1. Всё, что в однокнопочных системах делаеся по одной кнопке в СайтСпутнике тоже делается по одной кнопке.
2. Да, где-то что-то в сложных случаях можно сделать проще, точнее кому-то это будет проще, кому-то нет. Этими вопросами занимаюсь постоянно. У Вас есть эти где-то и что-то? Если да, то пишите на форум или по е-майлу.

Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 877
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

Алексей Мыльников написал:
[q]
... со временем, при реальной необходимости, сделаю сам и встрою с СайтСпутник утилиту для проверки регулярных выражений ...
[/q]

    В программе SiteSputnik в версии 8.8.3.10 от 05.11.14 появилась утилита для проверки Регулярных выражений один-в-один как они интерпретируются СайтСпутником.

    К ней можно обратиться, находясь на вкладке "Рубрики", из подменю на правой кнопке: "Специальные функции - РегВыражения" или, как показано ниже, с самой картинки оформления Рубрики по кнопке "РВ" (см. черную стрелку):



    Кстати, еще сделал кнопку "ЭП" (элементарное правило). По ней можно сложное Правило попадания в Рубрики преобразовать к Элементарным правилам. Это помогает найти синтаксические и семантические ошибки в сложных Правилах, в частности, раскрываются круглые скобки, подставляются реальные значения из задействованных в Правиле словарей, ....

    Само окно проверки регулярных выражений таково:



    В первом окне можно задавать разные варианты текста, во втором разные варианты регулярных выражений и по кнопке "Применить" проверять: удовлетворяет ли заданный текст заданному регулярному выражению.

<<Назад  Вперед>>Страницы: 1 2 *
Печать
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Приемы работы с программой СайтСпутник (SiteSputnik) »   Регулярные выражения в Рубриках программы SiteSputnik
RSS

Последние RSS
Англоязычный интерфейс программы "Сайт Спутник"
Учебник по конкурентной разведке
Конкурентная разведка: маркетинг рисков и возможностей
Книга "История частной разведки США"
Книга "Нетворкинг для разведчиков"
Поиск и сбор информации в интернете в программе СайтСпутник
Новые видеоуроки по программе СайтСпутник для начинающих
Технологическая разведка
SiteSputnik. Мониторинг Телеграм
СайтСпутник: возврат к ранее установленной версии
SiteSputnik. Доступ к результатам работы из браузера
Анализ URL
Браузер для анонимной работы
Топливно-энергетический комплекс
Профессиональные сообщества СБ
Несколько Проектов в одном, выполнение Проектов по частям
SiteSputnik-Bot: Боты в программе СайтСпутник
К вопросу о телеграм
SiteSputnik: Автозамены до и после Рубрикации или Перевода
Демо-доступ к ИАС социальных сетей

Самые активные 20 тем RSS