Регулярные выражения в Рубриках программы SiteSputnik

Форум Сообщества Практиков Конкурентной разведки (СПКР)

Конкурентная разведка, Бизнес-разведка, Корпоративная разведка,
Деловая разведка по открытым источникам в бизнесе.
Работаем строго в рамках закона.

Дезинформация и активные мероприятия в бизнесе
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Приемы работы с программой СайтСпутник (SiteSputnik) »   Регулярные выражения в Рубриках программы SiteSputnik
RSS

Регулярные выражения в Рубриках программы SiteSputnik

Регулярные выражения как логические величины в Правилах попадания в Рубрики

<<Назад  Вперед>>Страницы: 1 * 2
Печать
 
Vinni
Администратор

Всего сообщений: 2136
Рейтинг пользователя: 22


Ссылка


Дата регистрации на форуме:
5 июня 2009

Алексей Мыльников написал:
[q]
Шаблоны бывают простые и сложные.
[/q]

угу. а еще есть утилиты для контроля - например мне нравится RegexCoach. задаешь строку, РВ и его опции и смотришь - находит ли РВ то, что нужно. при необходимости корректируешь РВ...

кстати. а какой стандарт РВ поддерживается PCRE или классический?. далее буду в PCRE писать.


Игорь Нежданов написал:
[q]
Настраиваете регулярные выражения для выявления имен собственных
[/q]


ну это-то понятно - собственные имена начинаются с большой буквы - то есть фраза "Иванов встретился с Петровым", а не фраза "Иванов пошел домой" можно описать так

Иванов\s+(\S+\s+){1,5}([А-Я]\S+)

Vinni
Администратор

Всего сообщений: 2136
Рейтинг пользователя: 22


Ссылка


Дата регистрации на форуме:
5 июня 2009
Другое дело, что я использовал еще одну возможность РВ - не только проверки соответствия строки шаблону, а и выделения нужной подстроки из строки - круглые скобки.
если в СС поддерживается и это (как переменная, которую можно вставить в отчет или как-то так), то можно сразу узнать, о ком речь и как-то автоматизировать сохранение этйо информации, а не смотреть вручную, с кем он там взаимодействовал :preved:
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 877
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

Vinni написал:
[q]
угу. а еще есть утилиты для контроля - например мне нравится RegexCoach. задаешь строку, РВ и его опции и смотришь - находит ли РВ то, что нужно. при необходимости корректируешь РВ...
[/q]

Утилиты просто не искал, мне они в данном случае не нужны: задать строку, отдать её на РВ и посмотреть что оно вернет - это один оператор в программе. Но посмотреть - находит ли РВ то что нужно, это только, грубо говоря, одна десятая часть дела, даже меньшая, надо ещё определить находит ли РВ то, что не нужно. Поэтому если есть нормальный инстумент для отладки РВ, то подскажите Пользователям, если нет, то, со временем, при реальной необходимости сделаю сам и встрою с СайтСпутник. Но думаю, что уже есть готовые решения.

Vinni написал:
[q]
какой стандарт РВ поддерживается PCRE или классический?.
[/q]

PCRE

Vinni написал:
[q]
Другое дело, что я использовал еще одну возможность РВ - не только проверки соответствия строки шаблону, а и выделения нужной подстроки из строки - круглые скобки.
если в СС поддерживается и это (как переменная, которую можно вставить в отчет или как-то так), то можно сразу узнать, о ком речь и как-то автоматизировать сохранение этйо информации, а не смотреть вручную, с кем он там взаимодействова
[/q]

Да, поддерживается, плюс нужные подстроки выделяются цветом.

Игорь Нежданов
Модератор форума
Прагматик
Откуда: Советский Союз
Всего сообщений: 1025
Рейтинг пользователя: 13


Ссылка


Дата регистрации на форуме:
7 июня 2009

tungus1973 написал:
[q]
Для: Игорь Нежданов
А можно привести какой-нибудь несложный пример?
[/q]

Можно, но он вряд ли поможет в случае с СайтСпутником - мы используем другой семантический движок. А пример правила вот:

Для выявления указаний на человека (ФИО, ФИ, Ф, И, ИО) с использованием (или без) разного рода обращений
ProperName -> Word<h-reg1>+;
Person -> ProperName | 'человек';
FormOfAddress -> 'товарищ' | 'мистер' | 'господин' | 'сэр' | 'сударь' | 'госпожа' | 'мадам' | 'сударыня'; // тут целый словарь вариантов обращений, в том числе сокращенных, неуважительных и т.п..
AdjCoord -> Adj;
AdjCoord -> AdjCoord<gnc-agr[1]> ',' Adj<gnc-agr[1]>;
AdjCoord -> AdjCoord<gnc-agr[1]> 'и' Adj<gnc-agr[1]>;
S -> Adj+ (FormOfAddress) Person;
S -> AdjCoord (FormOfAddress) Person;

---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 877
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009
Физическое лицо и только физическое лицо регулярным выражением из текста не выделишь. Как фильтр грубой очисти РВ для этого пригодно, но не более того.

Vinni
Администратор

Всего сообщений: 2136
Рейтинг пользователя: 22


Ссылка


Дата регистрации на форуме:
5 июня 2009

Алексей Мыльников написал:
[q]
Поэтому если есть нормальный инстумент для отладки РВ, то подскажите Пользователям,
[/q]


Хм. Я как раз рекомендовал инструмент для отладки РВ. Вы его сначала посмотрите, а потом уж делайте выводы :wink:

Семёныч
Модератор форума
Городской Охотник
Всего сообщений: 926
Рейтинг пользователя: 10


Ссылка


Дата регистрации на форуме:
8 июня 2009
Если честно, то я себя считал знатоком программы СайтСпутник по уровню чуть выше среднего.
Но вот после таких запросов (Украина | {(\s|")(Д|Л)НР(\s|")}) {(\sПутин\s.{1,}){3,}} у меня зубы морщатся и морда чешется.
Знаете, что мне это напоминает? Вот есть спортивный болид, есть на него гонщик и есть группа механиков. Кто-то отвечает за подвеску, кто-то за настройку коробки передач, кто-о за систему впрыска и т.д. Но есть один супер механик - "дядя Вася" (в нашем случае это Алексей мыльников), который может через воздушный фильтр влезть, пробраться через двигатель и топливную систему, а из выхлопной трубы вылезть. И счастье гонщика, что такой д.Вася в его команде и всегда под рукой.
Простите, что так из далека захожу, но в нашем случае разработчик программы не будет каждому помогать составлять эти РВ. Даже, наверняка, не проблема их составить, проблема правильно их составить, а в приведённом мной выше примере пропуск какого-нибудь значка приведёт к хреновому результату или к никакому.
Когда появились пакеты запросов, то в скором времени появились и стандартные пакеты запросов. Может и с РВ они в скорости появятся. Я реально сомневаюсь, что эта тема под силу малоопытному пользователю СайтСпутника. И даже опытному ошибиться в составлении - пара пустяков.

---
Нет такой безвыходной ситуации,в которую невозможно вляпаться... (с)
Алексей Мыльников
Долгожитель форума

Откуда: Волгоград
Всего сообщений: 877
Рейтинг пользователя: 6


Ссылка


Дата регистрации на форуме:
22 июня 2009

Семёныч написал:
[q]
разработчик программы не будет каждому помогать составлять эти РВ
[/q]

1. Почему не будет помогать, - помогу я или, надеюсь, другие. Не думаю, что в день будет по 5 запросов на новые сложные РВ. У Вас есть хоть один?

2. РВ бывают не только сложные, но и простые.

3. Никто никого не принуждает писать РВ, Вы же как-то жили без этого. Всё что было ранее - работает. Никто ничего не отменял.

4. Кстати, есть и более сложные чем РВ вещи в СайтСпутнике - это Внешние функции, и есть Пользователи, которые их применяют.

Мне как сделать одну кнопку на программе, Вы нажмете на неё и получите то, что Вам нужно в данный момент? Такая кнопка есть - это "Золотой ключик", но он позволяет получать простым способом только простые результаты.

Vinni
Администратор

Всего сообщений: 2136
Рейтинг пользователя: 22


Ссылка


Дата регистрации на форуме:
5 июня 2009

Семёныч написал:
[q]
Простите, что так из далека захожу, но в нашем случае разработчик программы не будет каждому помогать составлять эти РВ. Даже, наверняка, не проблема их составить, проблема правильно их составить, а в приведённом мной выше примере пропуск какого-нибудь значка приведёт к хреновому результату или к никакому.
[/q]


Да - с РВ ошибка в одном символе может дорого стоить. :goodbuy:
Поэтому я сам сначала беру несколько текстовых строк, на которых отлаживаю РВ в интерактивном режиме
И только потом использую полученное РВ.

На самом деле базовых конструкций РВ не так уж много - после некоторой практики (дорогу осилит идущий :wink: ) Вы освоите их и сможете легко использовать. :yes:

[q]

(Украина |ДНР |ЛНР) {(\sПутин\s.{1,}){3,}} - удовлетворяют контенты ссылок, в которых речь идет об Украине, или ДНР или ЛНР и Путин в именительном падеже упомянут не менее 3-х раз. Здесь одно РВ применено совместно с обычными величинами.
(Украина | {(\s|")(Д|Л)НР(\s|")}) {(\sПутин\s.{1,}){3,}} - тот же самый результат, но задействованы два РВ. Вместо 'ДНР' | 'ЛНР' использовано {(\s|")(Д|Л)НР(\s|")}.
[/q]


Давайте разберем на этом примере некоторые возможности.
Нам нужно найти тексты, в которых говорится об определенной тематике. В таких текстах будут использоваться определенные слова-маркеры (не обязательно все сразу).
Мы выбрали три таких слова - Украина, ЛНР и ДНР. Конструкция (Украина | 'ДНР' | 'ЛНР') означает, что в результате использования этого РВ будут возвращаться тексты, содержащие хотя бы одно из этих слов (символ | -это на самом деле ИЛИ). Круглые скобки - это ограничитель вариантов (надо же указать, где начало первого варианта и конец последнего).

так как слова ДНР и ЛНР похожи (отличаются на одну букву), то можно оптимизировать список вариантов и (ДНР|ЛНР) написать как ((Д|Л)НР). То есть бвудут искаться строки, начинающиеся либо с Л либо с Д, за которыми идет строка НР.

Еще одна возможность РВ - метасимволы и возможность указывать сразу группу символов при поиске в тексте. Обычно используют символ \s для описания символов-разделителей слов (пробел, табуляция и т.д.) и \S для описания букв и цифр (значимые символы).
Поэтому конструкция \sПутин\s означает отдельное слово Путин с пробелами или другими разделителями слов перед ним и после него, а не "Путина" и т.д.



Vinni
Администратор

Всего сообщений: 2136
Рейтинг пользователя: 22


Ссылка


Дата регистрации на форуме:
5 июня 2009
Еще один популярный метасимвол - точка (.). Он обозначает любой символ. Плюс иногда используют \d - это любая цифра.
Символ + после метасимвола (или того, что заключено в круглые скобки) означает произвольное число повторений. \s+ -это и один пробел и десять пробелов
Конструкция {число,число} - это явное ограничение на число повторений метасимвола или какой-то конструкции. Первое число - минимальное число повторений, а второе максимальное.
\s{1,3} - это одного до трех пробелов .

Собственно вот и все возможности. которые были использованы в примере :wonder1:

<<Назад  Вперед>>Страницы: 1 * 2
Печать
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Приемы работы с программой СайтСпутник (SiteSputnik) »   Регулярные выражения в Рубриках программы SiteSputnik
RSS

Последние RSS
Англоязычный интерфейс программы "Сайт Спутник"
Учебник по конкурентной разведке
Конкурентная разведка: маркетинг рисков и возможностей
Книга "История частной разведки США"
Книга "Нетворкинг для разведчиков"
Поиск и сбор информации в интернете в программе СайтСпутник
Новые видеоуроки по программе СайтСпутник для начинающих
Технологическая разведка
SiteSputnik. Мониторинг Телеграм
СайтСпутник: возврат к ранее установленной версии
SiteSputnik. Доступ к результатам работы из браузера
Анализ URL
Браузер для анонимной работы
Топливно-энергетический комплекс
Профессиональные сообщества СБ
Несколько Проектов в одном, выполнение Проектов по частям
SiteSputnik-Bot: Боты в программе СайтСпутник
К вопросу о телеграм
SiteSputnik: Автозамены до и после Рубрикации или Перевода
Демо-доступ к ИАС социальных сетей

Самые активные 20 тем RSS