http://forum.razved.info//index.php?t=6134 Разработка и применение Бот-программ, Боты (Bots) как расширение программы СайтСпутник, развитие СайтСпутника силами его Пользователей ru http://forum.razved.info//index.php?t=6134&p=58144#pp58144 http://forum.razved.info//index.php?t=6134&p=58144#pp58144 <font size="4"></font><ul><font color="teal"><font size="4"><b>Новые возможности работы с ботами</b></font></font><br /><br />В версии 9.8.2.4 программы <b><a href="https://sitesputnik.ru/" target=_blank>Сайт Спутник</a></b> реализованы следующие новые возможности работы с ботами.<br /><br /><br /><ul><b>Добавлена стартовая площадка:</b><font color="blue"><br /><br /> В самом конце работы Проекта</font> <br /></font></ul><br /><br /><ul><b>Добавлены новые параметры, ориентированные на программистов и продвинутых пользователей:</b><br /><br /> &#9830; <font color="blue">PID</font> - идентификатор процесса программы Site Sputnik, которая произвела старт Бота.<br /> &#9830; <font color="blue">fname</font> - полное имя файла, в котором сохранен как есть (без упрощения) контент Источника или целевой ссылки из Источника.<br /> &#9830; <font color="blue">SubNumber</font> - порядковый номер формируемого файла выдачи в Проекте с номером <font color="blue">Number</font>.<br /> &#9830; <font color="blue">file</font> - используется для удобства: для явного указания имени стороннего файла для Бота.<br /> &#9830; <font color="blue">AddRow</font> - создание и имя строки в нижней Таблице Проекта для ссылки на файл, созданный Ботом.<br /></ul><br /><br /><ul><b>Взаимодействие с глобальными переменными СайтСпутника, ориентированное на программистов:</b><br /><br /> &#9830; <font color="blue">Глобальные переменные</font> - реализован механизм передачи Боту значений глобальных переменных СайтСпутника и приёма изменённых Ботом значений "обратно" в СайтСпутник (это тема отдельной публикации, по сути это вмешательство в вычислительный процесс из-вне, требующий специальных знаний). <br /></font></ul><br /><br />Подробнее на ссылке <a href="https://sitesputnik.ru/Help/Sputnik_Bot.htm" target=_blank><b>Разработка и применение Бот-программ</b></a>.<br /></ul><br /><br /> Алексей Мыльников Tue, 18 Feb 2020 09:33:49 +0300 http://forum.razved.info//index.php?t=6134&p=58061#pp58061 http://forum.razved.info//index.php?t=6134&p=58061#pp58061 <ul><font size="4"><font color="teal"><b>Бот-программа - поиск в диапазоне страниц (не с первой страницы Источников)</b></font></font><br /><br /><br /><font size="3"><font color="teal"><b>Назначение бота</b></font></font><br /><br />В первую очередь Бот предназначен для реализации поиска и сбора информации в поисковиках, начиная не с первой страницы.<br /><br />В настоящее время реализован для Яндекса, Google, Mail.ru, Yahoo, Bing (MSN), Rambler, поиска в блогах Яндекса и Google.<br /><br />Размещается и выполняется со стартовой площадки "Перед открытием страницы Источника".<br /><br /><br /><br /><font size="3"><font color="teal"><b>Описание бота</b></font></font><br /><br /><ul> Bot_SearchInPageRange - имя Бот-программы,<ul> <br />принимаемые параметры:</ul><br /><ul>- 1-ый параметр - адрес 1-ой страницы Источника (поисковика).</ul><br /><ul>- 2-ой параметр - номер страницы, начиная с которой искать.</ul><br /><ul>- 3-ий параметр - номер последней страницы поиска.</ul><br /><br /><br /><ul>1-ый и 2-ой параметры обязательны.</ul><br /><ul>3-ый параметр можно опустить, в этом случае номер последней страницы является суммой <br />     2-го параметра и глубины поиска, заданной в Запросе (серая стрелочка на картинке ниже)</ul></ul><br /><br /><br /><br /><font size="3"><font color="teal"><b>Простой пример применения бота в СайтСпутнике</b></font></font><br /><br />Составляем Проект:<br /> <br /><a href="http://sitesputnik.ru/Help/Pic/F/Bot_Demo_Search_Range.png" target=_blank><img src="http://sitesputnik.ru/Help/Pic/F/Bot_Demo_Search_Range.png" alt="" name="itag" border=none></a><br /><br /><u>Пояснения к Проекту</u>:<br /><br /><ul>Первые 8 строк Проекта - Пакет запросов: Запрос, Источник, глубина поиска.</ul><br /><ul>Последняя строка - обращение к данному Боту:<br /><br />     - Бот находится в папке "<b><font color="blue">Exe\Bots</b></font>" (красная стрелочка),<br />     - получает через 1-ый параметр адрес 1-ой страницы очередного Источника"<b><font color="blue">{URL}</b></font>"(коричневая стрелочка),<br />     - через 2-ой параметр - номер начальной страницы поиска (см. по зелёной стрелочке),<br />     - через 3-ой параметр - номер последней страницы поиска (см. по чёрной стрелочке),<br />     - выполняется Бот со стартовой площадки "Перед открытием страницы Источника" (синяя стрелочка).<br /><br /></ul><br /><br /><br /><font size="3"><font color="teal"><b>Дополнительные особенности Бота</b></font></font><br /><br /><ul>Независимость Бота заключается в том, что он является отдельной программой и может быть написан сторонним программистом, независимо от разработчика СайтСпутника.</ul><br /><br />Подробнее - на <a href="http://sitesputnik.ru/Help/Bot_SearchInPageRange.htm" target=_blank>ссылке</a><br /></ul> Алексей Мыльников Tue, 11 Jun 2019 11:09:12 +0300 http://forum.razved.info//index.php?t=6134&p=58060#pp58060 http://forum.razved.info//index.php?t=6134&p=58060#pp58060 <ul><font size="4"><font color="teal"><b>Бот-программа "Избранное из Рубрики" -<br />только предложения, содержащие ключевые слова</b></font></font><br /><br /><br /><br /><font size="3"><font color="teal"><b>Назначение бота</b></font></font><br /><br />Просматривает содержание очередной Рубрики, выбирает в ней предложения (сентенции), <br /><br /><ul>в которых есть ключевые слова, из Правила попадания ссылок в Рубрику, <br /><br /> избранные предложения отправляются в папку, указанную в параметрах, -<br /><br /> в файл, имя которого совпадает с именем Рубрики.<br /></ul><br />Размещается и выполняется со стартовой площадки "После формирования конкретной рубрики".<br /></ul><ul><br /><br /><br /><font size="3"><font color="teal"><b>Описание бота</b></font></font><ul><br /><br /><ul> Bot_SentencesWithKeyWords - имя Бот-программы, принимаемые параметры:</ul><br /><ul>- 1-ый параметр - имя файла, в котором размещено содержание Рубрики.</ul><br /><ul>- 2-ой параметр - имя папки, в которую отправляется избранное содержание Рубрик.</ul><br /><ul>- 3-ий параметр - порядковый номер Проекта.</ul><br /><br /><br /><ul>1-ый и 2-ой параметры обязательны.</ul><br /><ul>3-ый параметр можно опустить или задать в нём номер Проекта, который присоединяется к имени файла Рубрики и делает его уникальным.</ul><br /><br /></ul><br /><br /><br /><font size="3"><font color="teal"><b>Простой пример применения бота в СайтСпутнике</b></font></font><ul><br /><br />Составляем Проект:<br /> <br /><a href="http://sitesputnik.ru/Help/Pic/F/Bot_Demo_KeyWords.png" target=_blank><img src="http://sitesputnik.ru/Help/Pic/F/Bot_Demo_KeyWords.png" alt="" name="itag" border=none></a><br /><br /><u>Пояснения к Проекту</u>:<br /><ul>1-я строка - Запрос "Президент правительство Россия" к новостным Источникам из сценария "News" на глубину 2 странички.</ul><br /><ul>2-я строка - обращение к данному боту:<br />     - Бот находится в папке "<b><font color="blue">Exe\Bots</b></font>" (красная стрелочка),<br />     - получает через 1-ый параметр имя файла "<b><font color="blue">{in}</b></font>" с содержанием очередной сформированной Рубрики (коричневая стрелочка),<br />     - избранное из Рубрик будет отправлено в папку "Персоны" на рабочем столе "<b><font color="blue">{desktop}\Персоны</b></font>" (это 2-ой параметр, см. по зелёной стрелочке),<br />     - выполняется Бот со стартовой площадки "После формирования конкретной рубрики" (синяя стрелочка).<br />     - 3-ой параметр не указан, его можно было указать после 2-го параметра следующим образом: "<b><font color="gray">{number}</b></font>".<br /><br /><ul>3-я и 5-я строки - имена динамических рубрик,</ul><br /><ul>4-я и 6-я строки - Правила попадания ссылки в Рубрику.</ul><br /> <br /> Ключевыми считаются слова, указанные в Правилах, и в Запросах, если последние присутствуют в Проекте.<br /> Предложения, в которых присутствует хотя бы одно ключевое слово, считаются избранными.<br /> Они попадают в выдачу, формируемую данным Ботом.<br /> <br /> В нашем случае выдача - это два файла: "Путин.htm" и "Медведев.htm", - которые попадают в папку "Персоны" на Рабочем столе Вашего компьютера.</ul><br /><br /> <br /><br /><u>Результат работы Бота для Рубрики "Медведев"</u> (его верхний фрагмент) представлен на картинке:<br /><br /> <br /><a href="http://sitesputnik.ru/Help/Pic/F/Bot_Demo_KeyWords_Res.png" target=_blank><img src="http://sitesputnik.ru/Help/Pic/F/Bot_Demo_KeyWords_Res.png" alt="" name="itag" border=none></a><br /></ul><br /><br /><font size="3"><font color="teal"><b>Дополнительные особенности Бота</b></font></font><ul><br /><br /><ul>Предложения, найденные несколько раз (одинаковые предложения), в выдаче не повторяются, вместо этого в конце таких предложений в фигурных скобках указывается их количество (смотрите по красной стрелочке) на картинке выше.</ul><br /><ul>Независимость Бота заключается в том, что он явлется отдельной программой и может быть написан сторонним программистом, независимо от разработчика СайтСпутника.</ul><br /><br /></ul><br />Подробнее - на <a href="http://sitesputnik.ru/Help/Bot_SentencesWithKeyWords.htm" target=_blank>ссылке</a><br /> Алексей Мыльников Fri, 31 May 2019 07:39:35 +0300 http://forum.razved.info//index.php?t=6134&p=58058#pp58058 http://forum.razved.info//index.php?t=6134&p=58058#pp58058 <ul><font size="4"><font color="teal"><b>Бот-программа для вставки содержания дочерней ссылки в родительскую</b></font></font> <br /><br />Ссылку, точнее её адрес, размещенный в содержании другой ссылки, будем называть дочерней ссылкой.<br /><br /><font size="3"><font color="teal"><b>Назначение бота</b></font></font><br /><br />Вставка всего содержания дочерней ссылки или её части в содержание родительской ссылки.<br /><br />Применяется при анализе содержания родительской и дочерней ссылки как единого целого.<br /><br />Применение целесообразно на этапе Рубрикации или работы с Источниками информации.<br /><br />Бот является бесплатной программой и может быть применен в других программах.<br /><br /><br /><br /><font size="3"><font color="teal"><b>Описание бота</b></font></font><br /><br /><ul> Bot_InsertContentURL - имя Бот-программы,<br /><br />принимаемые параметры:</ul><br /><ul>- 1-ый параметр - имя файла, в котором размещено содержание родительской ссылки.</ul><br /><ul>- 2-ой параметр - лексемы, по которым выбираются дочерние ссылки.</ul><br /><ul>- 3-ий параметр - две фразы, определяющие начало и конец вставляемого содержания дочерней ссылки.</ul><br /><ul>- 4-ый параметр - максимальное количество "вставляемых" дочерних ссылок.</ul><br /><br /><ul>1-ый и 2-ой параметры обязательны.</ul><br /><ul>Если 4-ый параметр не задан, то по умолчанию он равен числу 1.</ul><br /><ul>Если 3-ий параметр не задан или задан неправильно, то вставляется полное содержание дочерней ссылки.</ul><br /><ul>В 3-ем параметре начало и конец вставляемого содержания ссылки разделяются знаками <b><font color="blue">&lt;-&gt;</font></font></b>.</ul><br /><br /><br /><font size="3"><font color="teal"><b>Простой пример применения бота в СайтСпутнике</b></font></font><br /><br />Составляем Проект:<br /> <br /><a href="http://sitesputnik.ru/Help/Pic/F/Bot_I_C_URL_Demo_Simple.png" target=_blank><img src="http://sitesputnik.ru/Help/Pic/F/Bot_I_C_URL_Demo_Simple.png" alt="" name="itag" border=none></a><br /><br /><u>Пояснения</u>:<br /><ul>1-я строка Проекта - отправка ссылки <a href="https://sitesputnik.ru/Public.htm" target=_blank>https://sitesputnik.ru/Public.htm</a> на Рубрикацию (на анализ).</ul><br /><ul>2-я строка - обращение к данному боту:<br />     - Бот находится в папке "<b><font color="blue">Exe\Bots</b></font></font>" (красная стрелочка),<br />     - получает через 1-ый параметр имя файла с содержанием родительской ссылки (коричневая стрелочка),<br />     - в качестве дочерних ссылок выбираются ссылки, содержащие в своём адресе лексему <b><font color="blue">t=5835</b></font></font> (зелёная стрелочка),<br />     - вставляемый контент начинается с фразы <b><font color="blue">Чтобы искать</b></font></font> и заканчивается <b><font color="blue">Продолжение следует ...</b></font></font> (чёрная стрелочка),<br />     - вставляется фрагмент только из одной найденной дочерней ссылки (серая стрелочка),<br />     - выполняется Бот со стартовой площадки "Перед рубрикацией и анализом конкретной ссылки" (синяя стрелочка).<br /><ul>3-я строка - имя динамической рубрики,</ul><br /><ul>4-я строка - правило попадания ссылки в Рубрику, а именно: две точные фразы должны присутствовать в её содержании.</ul><br /> <br /><br /><u>Результаты работы Проекта</u>:<br /><br />A) Проект без применения бота (если в нём нет 2-ой строки), проанализирует следующее содержание ссылки (показана верхняя часть содержания):<br /> <br /><a href="http://sitesputnik.ru/Help/Pic/F/Bot_I_C_URL_Sputnik_1.png" target=_blank><img src="http://sitesputnik.ru/Help/Pic/F/Bot_I_C_URL_Sputnik_1.png" alt="" name="itag" border=none></a><br /><br /><br />Б) Проект с применением Бота проанализирует другое содержание (показана его верхняя часть):<br /> <br /><a href="http://sitesputnik.ru/Help/Pic/F/Bot_I_C_URL_Sputnik_2.png" target=_blank><img src="http://sitesputnik.ru/Help/Pic/F/Bot_I_C_URL_Sputnik_2.png" alt="" name="itag" border=none></a><br /><br />Красная стрелочка показывает на вставленный Ботом фрагмент из ссылки <a href="http://forum.razved.info/index.php?t=5835&amp;p=56610#pp56610">http://forum.razved.info/index...10#pp56610</a>.<br /><br /><br /><font size="3"><font color="teal"><b>Дополнительные возможности Бота</b></font></font><br /><br /><ul>Во 2-м параметре при вызове Бота можно применить логичкое "И", например: "<b><font color="blue">/News/&amp;&amp;2019</b></font></font>", - означает, <br /> то в адресе дочерней ссылки должны быть и лексема <b><font color="blue">/News/</b></font></font>, и лексема <b><font color="blue">2019</b></font></font>.</ul><br /><ul>Вставленное содержание дочерней ссылки участвует в анализе при поиске очередной дочерней ссылки, то есть Бот может вставить новое содержание в ранее вставленное содержание.</ul><br /><ul>Бот можно применить к одной родительской ссылке несколько раз с разными значениями 2-го, 3-го и 4-го параметров. Это также позволяет вставить новое содержание в содержание, вставленное при предыдущем выполнении этого бота.</ul><br /><br /><br />Пример Проекта с использованием трёх вызовов Бота:<br /> <br /><a href="http://sitesputnik.ru/Help/Pic/F/Bot_I_C_URL_Demo_3_Bots.png" target=_blank><img src="http://sitesputnik.ru/Help/Pic/F/Bot_I_C_URL_Demo_3_Bots.png" alt="" name="itag" border=none></a><br /><br /><br />Результат - на ссылке: <a href="http://sitesputnik.ru/Files/Bot_I_C_URL_Res.htm" target=_blank>3 вызова Бота</a>. Его лучше просматривать через Internet Explorer.<br /></ul> Алексей Мыльников Tue, 28 May 2019 11:49:55 +0300 http://forum.razved.info//index.php?t=6134&p=58037#pp58037 http://forum.razved.info//index.php?t=6134&p=58037#pp58037 <ul><br /><font size="3"><font color="teal"><br />Ещё раз, сделав небольшие добавления, <u>повторим материал</u>, приведённый выше.<br /></font></font> <br />Полностью с материалами по данной теме можно ознакомиться на ссылке <b><a href="http://sitesputnik.ru/Help/Sputnik_Bot.htm" target=_blank>Боты в программе СайтСпутник</a></b>.<br /><br /><br /><font size="3"><font color="teal"><b>Создание Проектов, использующих Боты</b></font></font><br /><br /><ul>Боты, стартующие из выполняющегося Проекта, выбираются и прописываются в нём из меню   <br /> (смотрите по <font color="red">красной</font> стрелочке на картинке ниже).</ul><br /><ul>Далее указываются фактические значения параметров Бота: те, которые отличаются от принимаемых по умолчанию   <br /> (смотрите по <font color="blue">синей</font> стрелочке).</ul><br /><ul>Затем указывается стартовая площадка, с которой начинает работу Бот   <br /> (смотрите по <font color="green">зелёной</font> стрелочке).<br /> <br /><a href="http://sitesputnik.ru/Help/Pic/F/Bot_Name_Start.png" target=_blank><img src="http://sitesputnik.ru/Help/Pic/F/Bot_Name_Start.png" alt="" name="itag" border=none></a><br /> <br />Для ботов, задействованных в операторе <b><font color="brown">GoBOT:</font></b>, стартовая площадка не указывается. <br />Эти боты прописываются в Правилах попадания в Рубрики и могут быть многократно выполнены в <a href="http://sitesputnik.ru/Help/SSRubriki.htm" target=_blank>процессе Рубрикации</a> (в процессе анализа конкретных целевых ссылок)и повлиять на её результат, в частности, можно полностью запрограммировать свои практически любые условия попадания новости в Рубрику. <br /> <br /><br /><br /><ul>Боты могут быть прописаны сразу на нескольких площадках.</ul><br /><ul>На одной площадке можно прописать несколько ботов - каждый на отдельной строке.</ul><br /><ul>В Боте можно вызвать другой Бот.</ul><br /><ul>Боты, размещенные на конкретной стартовой площадке, запускаются в момент её достижения СайтСпутником.</ul><br /><ul>Боты, запущенные с параметром <font color="blue"><b>Wait=Yes</b></font>, выполняются последовательно.</ul><br /><ul>По умолчанию тексты Ботов помещаются в папку <font color="blue">Файлы</font>, в приведенном ниже примере они выбраны именно из неё, но размещены Боты могут быть в любой папке.</ul><br /><br /><br /><br /><font size="3"><font color="teal"><b>Пример Проекта с несколькими запусками одного и того же Бота</b></font></font><br /><br />Берём следующий текст демонстрационного Бота: <br /><br /><font color="teal"><br />chcp 1251&gt;nul<br />mkdir {desktop}\{out}<br />copy "{folder}{БэкСлэш}{ИмяФайла}" {desktop}\{out}<br /></font><br />Программы, задействованные в нём, принадлежат к командам Windows. Их две:<br /> • <font color="blue">mkdir</font> - создает папку на диске, если она не существует,<br /> • <font color="blue">copy</font>  - копирует файл в указанное место (в папку),<font color="gray"><font size="2"><br /> • chcp 1251&gt;nul - вспомогательная команда для работы с русской кодировкой.</font></font> <br /><br />Формальных параметров у Бота пять: {desktop}, {out}, {folder}, {БэкСлэш} и {ИмяФайла}, два из которых используются дважды.<br />Параметры {БэкСлэш} и {ИмяФайла} относятся к произвольному виду - "придуманы" нами.<br />Текст Бота размещаем в СайтСпутнике в папке <font color="blue">Файлы</font> в файле <font color="blue">Скопировать на Рабочий стол.bat</font>.<br /><br />Используя три разные стартовые площадки и три разных набора фактических параметров, <br />трижды задействуем этот бот в Проекте:<br /><br /><font color="teal"><br /><br />Медведев и Единая Россия || News=2<br /><br />[<font color="red">Скопировать на Рабочий стол.bat</font>] <font color="brown">out=</font>Для ссылок <font color="brown">ИмяФайла=</font>Экспорт-новые-txt.txt <font color="brown">БэкСлэш=</font>\ ^^После открытия всех Источников<br /><br />[<font color="red">Скопировать на Рабочий стол.bat</font>] <font color="brown">out=</font>Для Рубрик <font color="brown">ИмяФайла=</font>"Единая Россия.htm" <font color="brown">БэкСлэш=</font>\ ^^После формирования всех рубрик и потоков<br /><br />Рубрика://Партии/Единая Россия<br />(Единая /1 Pоссия | 'ЕР' | 'ЕДРО') (Дмитрий /2 Медведев) GoBOT:<font color="red">Скопировать на Рабочий стол.Bat</font> <font color="brown">out=</font>Для GOBOT <font color="brown">Folder=</font>{IN}<br /></font><br /><br /><br />Цвет используется исключительно для более наглядного восприятия текста Проекта.<br /><br /><b><font color="teal"><br />Пояснения к тексту Проекта:</font></b><br /><ul><br />В первой строке Проекта</b></u> задан поиск в новостях по запросу: Медведев и Единая Россия.</ul><br /><ul><u><b><br />Вo второй его строке</b></u> прописан старт Бота с площадки "После открытия всех Источников", то есть, в тот момент, когда СайтСпутник сформирует всю выдачу, создаваемую на этапе поиска и сбора ссылок и сниппетов.</ul><br />      • Явно заданы фактические значения трех параметров:<br />         • out=Для ссылок <br />         • ИмяФайла=<font color="brown">Экспорт-новые-txt.txt</font> (откуда взялось это "коричневое" имя поясняется ниже) <br />         • БэкСлэш=\<br />      • Два параметра получают фактические значения по умолчанию:<br />         • DeskTop=&lt;имя папки Рабочего стола Компьютера&gt; (допустим это "C:\Users\AB\Desktop")<br />         • Folder=&lt;имя папки с результатами работы СайтСпутника&gt;(допустим это "D:\AB\FileForFiles\Internet Files\Боты")<br /><br />Скрин содержания <b>папки с результатами работы СайтСпутника</b> повторно приведен на картинке ниже (обратите внимание на <font color="brown">коричневую стрелочку</font>, показывающую на файл <font color="brown">Экспорт-новые-txt.txt</font>, <br />содержащий список адресов только новых ссылок, найденных при текущем выполнении Проекта относительно всех предыдущих его выполнений).<br />Это демонстрация того, как Боту передаётся добываемая СайтСпутником информация:<br /><div style="text-align : center"> <br /><a href="http://sitesputnik.ru/Help/Pic/F/Bot_Folder.png" target=_blank><img src="http://sitesputnik.ru/Help/Pic/F/Bot_Folder.png" alt="" name="itag" border=none></a></div><br /> <br />Заменив формальные параметры на их фактические значения (это сделает СайтСпутник, достигнув данной стартовой площадки), получим Бот:<br /><br /><br /><font color="teal"><br />chcp 1251&gt;nul<br />mkdir "C:\Users\AB\Desktop\Для ссылок"<br />copy "D:\AB\FileForFiles\Internet Files\Боты\<font color="brown">Экспорт-новые-txt.txt</font>" "C:\Users\AB\Desktop\Для ссылок"<br /></font><br /><br /><br /><br />Этот бот создаст папку "C:\Users\AB\Desktop\Для ссылок" при помощи команды <font color="blue">mkdir</font> и <br />скопирует в неё файл "D:\AB\FileForFiles\Internet Files\Боты\<font color="brown">Экспорт-новые-txt.txt</font>" при помощи команды <font color="blue">copy</font>. <br /><br /><ul>В принципе, "<u>Отправка в папку списка адресов только новых ссылок</u>", - это простое программное расширение функциональных возможностей СайтСпутника, которое может быть сделано без участия разработчика и независимо от него.</ul><br /><ul>На месте <font color="blue">mkdir</font> и <font color="blue">copy</font> могут стоять другие готовые программы или программы, написанные независимыми программистами.</ul><br /><br /><br /><br /><ul>Бот <u><b> Из третьей строки Проекта</b></u> сделает аналогичную работу, но с другими файлами и папками и в другой момент времени.<br />Он отправит содержание Рубрики "<font color="green">Единая Россия</font>" в папку "Для Рубрик", размещённую на Рабочем столе, и сделает это "После формирования всех рубрик и потоков". <br /><br />Отличие этого применения бота от первого применения: в значениях фактических параметров и в стартовой площадке.</ul><br /><br /><br /><br /><ul><u><b><br /> В пятой строке Проекта</b></u> прописан <u>многократный вызов</u> этого же бота "Во время рубрикации и анализа ссылок (GoBOT:)".</ul><br /><ul>С этой стартовой площадки Бот может быть вызван несколько раз.</ul><br /><ul>Он вызывается для тех ссылок, содержание которых удовлетворяет "логическому правилу", в котором участвует Бот.</ul><br /><ul>В нашем случае это содержание тех ссылок, в которых одновременно упомянута и "Единая Россия", и "Дмитрий Медведев".</ul><br /><ul>Бот скопирует файлы с этим содержанием ссылок в папку "Для GOBOT", размещённую на Рабочем столе.</ul><br /><ul>Этот Бот размещён в правиле динамической Рубрики, имя которой набрано в <u><b><br /> четвертой строке Проекта</b></u>.</ul><br /><br /><br /><b><font color="teal">Практический совет:</b></font><br /><br />Открыть папку, содержащую основные результаты работы программы СайтСпутник, можно так:<br />   - Встаньте на какую-нибудь строку нижней таблички в окне СайтСпутника,<br />   - нажмите на правую кнопку мышки,<br />   - выберите пункт "Открыть папку файла".<br />Скрин такой папки приведен выше.<br /> <br /><b><br />В принципе,</b><br />с информацией, попадающей в выдачу СайтСпутника, Вы можете сделать всё, что сумеете сами, или что умеет сделать с ней стороннее программное обеспечение.<br /></ul><br /><br /> Алексей Мыльников Thu, 16 May 2019 10:11:13 +0300 http://forum.razved.info//index.php?t=6134&p=58036#pp58036 http://forum.razved.info//index.php?t=6134&p=58036#pp58036 <ul><font size="4"><font color="teal"><b>Назначение ботов в программе СайтСпутник<br /> Технология их разработки и применения на "пальцах" </b></font></font><br /><br /> <u><b><br />О назначении ботов - одним предложением</b></u><br /><br />Реализация практически любых новых функкциональных возможностей программы СайтСпутник -<br />самостоятельно, независимо от разработчика программы.<br /><br />Доступно в программе <a href="http://sitesputnik.ru/" target=_blank><b>SiteSputnik</b></a>, <br />начиная с версии 9.7.1 от 16.05.2019.<br /><br />Выражаю благодарность Дмитрию "MOS" за конструктивный диалог, состоявшийся в процессе разработки данной функции программы.<br /><br /><br /> <u><b><br />Пример разработки новой функции своими силами</b></u><br /><br />В СайтСпутнике, например, нет следующей функции, которая в некоторых случаях может быть весьма полезной:<i><br />отправка новых ссылок, найденных при очередном выполнении Проекта, в заданную папку.</i><br /><br />В качестве демонстрационного Проекта возьмем следующий простой Проект:<i><br />наблюдение за появлением новых ссылок на трёх первых страницах выдачи Яндекса по запросу: Дмитрий Медведев.</i><br /><br /><br />Внешний вид этого Проекта представлен на картинке ниже:<br /><br /> <br /><a href="http://sitesputnik.ru/Help/Pic/F/Bot_Simple_Project.png" target=_blank><img src="http://sitesputnik.ru/Help/Pic/F/Bot_Simple_Project.png" alt="" name="itag" border=none></a><br /><br /><br /><br />Технология разработки новой функции СайтСпутника своими силами такова.<br /><br /><br />Создаём текст Бота (пояснения к нему смотрите ниже) и<br />помещаем его в пакетный bat-файл с именем, например: "<font color="blue">Файлы\Medvedev&amp;Yandex.bat</font>":<br /><br /><font color="teal"><br />chcp 1251&gt;nul<br />mkdir "C:\NewsMedvedev"<br />copy "{folder}\<font color="brown">Экспорт-новые-txt.txt</font>" "C:\NewsMedvedev"<br /></font><br /><br /><br /><u><br />Пояснение:</u><br />1-я строка - это вспомогательная команда для работы с русской кодировкой в bat-файле <font size="2"><font color="gray">(это особенность синтаксиса bat-файлов; так надо)</font></font>.<br />2-я строка - это команда Windows, создающая на диске "<font color="blue">C:\</font>" папку "<font color="blue">NewsMedvedev</font>" (если папка существует, то эту команду можно опустить).<br />3-я строка - это команда Windows, копирующая файл "<font color="blue">{folder}</font>\<font color="brown">Экспорт-новые-txt.txt</font>" в папку "<font color="blue">C:\NewsMedvedev</font>".<br />Параметр <font color="blue">{folder}</font> по умолчанию содержит полное имя папки с результатами работы программы СайтСпутник.<br />Наглядный пример такой папки приведен на картинке ниже:<br /><br /><br /><a href="http://sitesputnik.ru/Help/Pic/F/Bot_Folder.png" target=_blank><img src="http://sitesputnik.ru/Help/Pic/F/Bot_Folder.png" alt="" name="itag" border=none></a><br /><br /><br /><ul>В коричневую рамочку на картинке обведён файл "<font color="brown">Экспорт-новые-txt.txt</font>".</ul><br /><ul>Он как раз и содержит список новых ссылок, которые ни разу не были найдены ранее при выполнении данного Проекта.</ul><br /><ul>Именно его в третьей строке Бота прописано скопировать в папку "<font color="blue">C:\NewsMedvedev</font>".</ul><br /><font size="2"><font color="gray"><i>(Все документы, создаваемые СайтСпутником, а их более 60 видов, перечислены на ссылке <a href="http://sitesputnik.ru/Help/Documents.htm" target=_blank>выдача СайтСпутника</a>.)</font></font></i><br /><br />Теперь осталось только вызвать из Проекта этот Бот в тот момент, когда список с новыми ссылками сформирован.<br /><br />Для этого:<br /><ul> выбираем Бот из меню (большая красная стрелочка на картинке ниже),</ul><br /><ul> прописываем ему фактические параметры, если они есть (синяя стрелочка),</ul><br /><ul> прописываем ему "Стартовую площадку" - "<font color="green">После открытия всех Источников</font>" (зелёная стрелочка).</ul><br /> <br /><br />"Стартовая площадка" определяет как раз тот момент, когда Бот следует выполнить.<br /><br />Полный текст Проекта состоит из <b>двух строк</b> и имеет следующий вид:<br /> <br /><a href="http://sitesputnik.ru/Help/Pic/F/Bot_Project_Bat.png" target=_blank><img src="http://sitesputnik.ru/Help/Pic/F/Bot_Project_Bat.png" alt="" name="itag" border=none></a><br /><br /><br />Не набирайте вручную с клавиатуры имена ботов, названия стартовых площадок, параметры, получающие значения по умолчанию, -<br />используйте для этого меню. Руками требуется набирать только фактические значения параметров, если они есть.<br /><br /><u>Усовершенствуем Бот</u>.<br />Если Бот будет выглядеть так:<br /><br /><font color="teal"><br />chcp 1251&gt;nul<br />mkdir "{AnyDir}"<br />copy "{folder}\Экспорт-новые-txt.txt" "{AnyDir}"<br /></font><br /><br />(мы сами ввели в него произвольный параметр, названный <font color="blue">{AnyDir}</font> ),<br />а обращение к нему в Проекте, например, так:<br /><br /><a href="http://sitesputnik.ru/Help/Pic/F/Bot_With_Parameter.png" target=_blank><img src="http://sitesputnik.ru/Help/Pic/F/Bot_With_Parameter.png" alt="" name="itag" border=none></a><br /><br /><br />то мы может применить разные имена папок в разных Проектах, указывая их при обращении к Боту. <br /><br /><b><u><br />Важно</u></b><br /><ul>Это был самый простой Бот, на примере которого продемонстрирована технология реализации новой функции СайтСпутника своими силами.</ul><br /><ul>В данном крайнем случае обошлось без программирования - достаточно было команд Windows.</ul><br /><br /> <u><b><br />О назначении ботов - одним абзацем</b></u><br /><br /><ul>Расширение функциональных возможностей СайтСпутника за счет применения:<br />     &#9830; уже существующего программного обеспечения широкого профиля, <br />     &#9830; новых программ, разработанных специально для СайтСпутника.<br /></ul><br /><ul>Привлечение к разработке новых функций СайтСпутника (к разработке ботов):<br />     &#9830; сторонних программистов,<br />     &#9830; продвинутых пользователей.</ul><br /><ul>Обеспечение их независимости от разработчика СайтСпутника.</ul><br /><ul>Доступность применения ботов, поддерживающих новые функции, обычным Пользователям.</ul><br /><br /><br /> <u><b><br />Пример новой функции c применением программирования</b></u><br /><br />В СайтСпутнике, например, нет следующей функции:<br />- определение новостей и сообщений, попавших хотя бы в одну Рубрику,<br />- оформление из них отдельного файла (полнотекстовой новостной ленты),<br />- отправка этой новостной ленты в заданную локальную папку.<br /><br />Среди команд Windows и среди множества других готовых программ нет программы, которая умеет делать это.<br /><br />"Берём" <b>любой язык программирования</b>, пишем такую программу сами и используем её в Боте.<br /><br />В отличии от первого примера - это другой крайний случай, самый сложный, но и самый мощный - запрограммировать можно практически любую обработку информации.<br /><br />Исходный текст программы, реализующей рассматриваемую новую функцию, приведен ниже.<br />При необходимости сделаю к нему пояснения персонально или здесь на форуме.<br /><br /><br /><font color="blue"><br />program Bot_NewsFromRubricsOnly; // Автор Мыльников Алексей Борисович: 1a@sitesputnik.ru, +7(8442)73-71-23,+7(905)392-97-92<br /> // Назначение: Бот СайтСпутника - принимает в первом параметре P1 папку с результатами работы СайтСпутника {folder}, берет в ней файл с Чистым потоком, а именно: "Чистый поток.htm",<br />uses // считывает его, оставляет только Новости попавшие в Рубрики и сохраняет их в файле ЧП.htm, размещенном в парке, указнной во втором параметре<br /> Windows, SysUtils, // Язык программирования Delphi XE2 - чисто для лучшего понимания (практически это язык Паскаль).<br /> StrUtils; // Бот применяется со Стартовой площадки: "После формирования всех рубрик и потоков"<br />var i,j : integer;<br /> S, Sw, fn: string; <br /> NS : TextFile; <br />begin <br /> fn:=ParamStr(1)+'\Чистый поток.htm'; if(not(FileExists(fn)))then EXIT; // Если не существует файла "Чистый поток", то на этом обработка заканчивается<br /><br /> S:=''; // В переменную S считаю<br /> AssignFile(NS,fn,CP_UTF8); // весь контент файла с Чистым потоком<br /> try Reset(NS); while(not(eof(NS)))do begin readln(NS,Sw); S:=S+Sw+#13#10; end; except end;<br /> CloseFile(NS); // и закрою файл<br /><br />//============== Собственно работа по контенту Чистого потока ================//<br /><br /> i:=0; Sw:=''; fn:='';<br /> repeat i:=PosEx('[INPUT id=y-i',S,i+1); if(i=0)then BREAK; // Признак начала очередной Новости<br /> if(pos(' CHECKED ',copy(S,i,30))=0)then CONTINUE; // Она не попала ни в одну Рубрику, следовательно, игнорирую её, и переходу к выбору следующей Новости<br /> j:=PosEx('[br ""]',S,i)+6; // j установил на окончание Новости, попавшей хотя бы в одну Рубрику<br /> if(Sw='')then begin // Это первая Новость, попавшая хоть в одну Рубрику, следовательно, создам Результирующий файл, в который буду выводить Новости<br /> fn:=ParamStr(2); if(fn='')then fn:='C:'; ForceDirectories(fn); // в fn - имя папки, в которой сформирую файл ЧП.htm, если этой папки нет, то создам её<br /> fn:=fn+'\ЧП.htm'; AssignFile(NS,fn,CP_UTF8); Rewrite(NS); // Создаю файл ЧП.htm в кодировке Юникод и в следующм операторе выведу в него стандартный заголовок<br /> Writeln(NS,'[html][meta http-equiv="content-type" content="text/html; charset=UTF-8"][body][h1]Новости, попавшие в Рубрики[/h1]'+DateTimeToStr(Now)+'');// Формирование html-файла стандартное - заголовок<br /> end;<br /> Sw:=copy(S,i,j-i+1); // Собственно, выкусил очередную Новость, попавшую в Рубрику<br /> Writeln(NS,Sw); // и вывожу её в файл<br /> until(false);<br /> if(fn='')then EXIT; // В Рубрики ничего не попало, файл результирующий не создавался, выхожу из бота<br /> writeln(NS,'[/boby][/html]');// Формирование html-файла стандартное - окончание<br /> CloseFile(NS); // Закрываю Результирующий файл ЧП.htm<br /><br />//============== Собственно работа окончена ==================================//<br />end.<br /></font><br /><br /><br /><br />Программа написана на языке программирования Delphi - это "современный Pascal", который часто используется при изучении основ программирования.<br /><br />Транслируем программу и exe-модуль помещаем, например, в папку "<font color="blue">Exe\Bots</font>" под именем "<font color="blue">Bot_NewsFromRubricsOnly.exe</font>".<br /><br />Обращение к этому боту (непосредственно к написанной нами программе) из Проекта может быть, например, таким:<br /><br /><br /><a href="http://sitesputnik.ru/Help/Pic/F/Bot_With_Par_Sputnic.png" target=_blank><img src="http://sitesputnik.ru/Help/Pic/F/Bot_With_Par_Sputnic.png" alt="" name="itag" border=none></a><br /><br /><u><br />Пояснение:</u><br /><ul>Параметр <font color="blue">{folder}</font> - это папка с результами работы СайтСпутника, в ней есть файл "<font color="blue">Чистый поток.htm</font>" (обведен синей рамочкой на одной из картинок выше),</ul> <br /><ul>Бот принимает этот файл через первый параметр - смотрите в исходном тексте программы 10-ую строку: "fn:=ParamStr(1)+'\Чистый поток.htm';".</ul><br /><ul>Параметр <font color="blue">{DeskTop}\Потоки</font> - это папка "<font color="blue">Потоки</font>", размещённая на Рабочем столе Вашего компьютера, которую Бот использует для отправки в неё результата своей работы.</ul><br /><ul>Стартовая площадка "<font color="blue">После формирования всех рубрик и потоков</font>" означает, что вызов бота осуществится в <b>SiteSputnik News</b> после выполнения соответствующих действий.</ul><br /><br /><u>Напоминание</u>: используйте меню при прописке Ботов в Проектах.<br /><br /><br /><b><br />Дополнительные замечания:</b><br /><ul>по описанной выше технологии к СайтСпутнику можно "прикрутить" самые разнообразные программы,</ul><br /><ul>важно, чтобы к таким программам можно было обратиться из командной строки,</ul><br /><ul>разработка ботов доступна программистам или продвинутым Пользователям, а не только разработчику СайтСпутника,</ul><br /><ul>применение Ботов доступно обычным Пользователям.</ul><br /><br /><br /><br /><br /><br /><font size="3"><font color="teal"><b>О ботах СайтСпутника - общие положения</b></font></font><br /><br /><br /> <u><b><br />Основные понятия:</b></u><br /><ul>При выполнении Проектов программа <b>Сайт Спутник</b> может запускать <b>бот-программы</b>.</ul><br /><ul>Бот-программы могут быть запущены с нескольких <u>стартовых площадок</u> (см. ниже) <b>СайтСпутника</b>.</ul><br /><ul>Они (боты) могут быть запущены как с ожиданием окончания их работы, так и без него.</ul><br /><ul>Ботам может быть передана информация, добытая СайтСпутником.</ul><br /><ul>Они (Боты) могут переработать информацию и передать её "обратно" в программу.</ul><br /><ul>Боты могут поставить "свою" информацию СайтСпутнику.</ul><br /><br /> <br /><br /> <u><b> <br />Бот-программа:</b></u><br /><ul>Боты могут быть созданы как: <br />     &#9830; <b><font color="brown">bat-файлы-с-параметрами</font></b>,<br />     &#9830; <b><font color="brown">cmd-файлы-с-параметрами</font></b>,<br />     &#9830; <b><font color="brown">exe-файлы-с-параметрами</font></b>.</ul><br /><ul>В качестве программ, входящих в состав Бота, может быть использован любой исполняемый код, например:</ul><br />     &#9830; любые команды операционной системы,<br />     &#9830; любые готовые программы, запускаемые из командной строки,<br />     &#9830; программы на любом языке программирования, разработанные независимыми программистами для СайтСпутника.<br /><ul>Никакие API со стороны программы СайтСпутник не используются.</ul><br /><ul>Обмен данными между Ботами и СайтСпутником осуществляется через <b>параметры ботов</b>.</ul><br /><br /><br /> <u><b><br />Параметры ботов по умолчанию:</b></u> <br /><ul>С разных <u>стартовых площадок</u> СайтСпутника, ботам доступны разные параметры.</ul><br /><ul>Перечень основных параметров следующий.</ul><br />     &#9830; <font color="blue"><b>URL</b></font> - адрес Источника или целевой ссылки, выбираемой из Источника (в зависимости от стартовой площадки).<br />     &#9830; <font color="blue"><b>IN</b></font> - полное имя файла, в котором СайтСпутник сохранил контент Источника, или целевой ссылки из Источника.<br />     &#9830; <font color="blue"><b>OUT</b></font> - по умолчанию получает то же значение что и параметр <font color="blue"><b>IN</b></font>, но используется, как правило, <br /> для удобства, для явного указания имени стороннего файла, хотя это можно сделать и через произвольный параметр (см. ниже).<br />     &#9830; <font color="BLUE"><b>Folder</b></font> - полное имя папки, в которую СайтСпутник складывает добытые результаты (промежуточные и конечные).<br />         <b>Это очень важный параметр</b>. Из него Бот может получить, а затем обработать и вернуть в СайтСпутник:<br />         &#9830; Списки адресов или сниппетов всех целевых ссылок, полученных при выполнении Проекта.<br />         &#9830; Списки адресов или сниппетов только новых целевых ссылок, только новых сайтов, только новых доменов 3-го уровня.<br />         &#9830; Статистические данные по источникам, рубрикам, доменам.<br />         &#9830; Содержание Рубрик, создаваемых СайтСпутником.<br />         &#9830; Практически любой из 60 документов из <a href="http://sitesputnik.ru/Help/Documents.htm" target=_blank>выдачи СайтСпутника</a>,<br />     &#9830; <font color="BLUE"><b>Alias</b></font> - полное имя текущего ящика (папки, в которой выполняется Проект).<br />     &#9830; <font color="BLUE"><b>Box</b></font> - последнее имя из полного имени текущего ящика.<br />     &#9830; <font color="BLUE"><b>Number</b></font> - порядковый номер Проекта, выполняемого в текущем ящике.<br /><br />     &#9830; <font color="BLUE"><b>DeskTop</b></font> - полное имя папки Рабочего стола компьютера.<br />     &#9830; <font color="BLUE"><b>MainDir</b></font> - полное имя корневой папки программы СайтСпутник.<br />     &#9830; <font color="BLUE"><b>Date</b></font> - текущая дата.<br />     &#9830; <font color="BLUE"><b>Time</b></font> - текущее время.<br />     &#9830; <font color="blue"><b>Wait=Yes</b></font> - применяется, если нужно дождаться завершения работы бота, иначе явно примените <font color="blue"><b>Wait=No</b></font>.<br />     &#9830; <font color="blue"><b>Quote=Yes</b></font> - обеспечивает автоматическую расстановку двойных кавычек для фактических значений параметров. <br /> Если Вы собираетесь расставить кавычки сами, то явно примените <font color="blue"><b>Quote=No</b></font>.<br /><br /><br />     &#9830; <font color="blue"><b>Произвольный параметр</b></font> - <b><i>одно</i></b> произвольное слово, взятое в фигурные скобки, - по умолчанию получает пустое значение.<br /><br /><br /><ul>Один и тот же параметр в тексте Бота может быть применен несколько раз.</ul><br /><ul>Параметры по умолчанию могут быть применены при назначении фактических значений параметров,     <br /> (смотрите, например, ниже в демонстрационном примере Проекта: <font color="blue">Folder={IN}</font> ).</ul><br /><ul>Как уже сообщалось выше: Боты могут изменить полученную через параметры информацию и вернуть её "обратно" в СайтСпутник.</ul><br /><br /><br /><br /> <u><b><br />Фактические значения параметров:</b></u> <br /><ul>Параметрам ботов можно явно присвоить необходимые фактические (конкретные) значения, например:</ul><br />    &#9830; Folder="D:\Рабочая папка\Shop",<br />    &#9830; out="D:\Рабочая папка\Shop\FilName.html"<br />    &#9830; Слово1=2019<br /><br /><br /><br /> <u><b> <br />Стартовые площадки для ботов</b></u><br /><br />Стартовые площадки служат для запуска размещенных на них Ботов. <br />В настоящей реализации СайтСпутника их девять.<br />Боты могут быть выполнены:<br /> <br /><ul> В самом начале работы Проекта,</ul><br /><ul> Перед открытием страницы Источника,</ul><br /><ul> После открытия страницы Источника,</ul><br /><ul> <u>После открытия всех Источников</u>, <font size="2"><font color="gray"><i>(эти четыре площадки доступны в SiteSputnik Pro)</i></font></font></ul> <br /><ul> Перед рубрикацией и анализом конкретной ссылки,</ul> <br /><ul> Во время рубрикации и анализа конкретной ссылки-GoBot:</i></b>,<font size="2"> <br /> а именно, в моменты выполнения операции:<br /> GoBOT:&lt;имя и параметры Бот-программы&gt;, </font><br /></ul><br /><ul> После рубрикации и анализа конкретной ссылки,</ul> <br /><ul> После формирования конкретной рубрики,</ul><br /><ul> <u>После формирования всех рубрик и потоков</u> <font size="2"><font color="gray"><i> (в самом конце работы Проекта в SiteSputnik News)</i>.</font></font></ul> <br /><ul> Десятая площадка находится за рамками выполнения Проекта (смотрите на картинке ниже по красной стрелочке):<br /> <br /><a href="http://sitesputnik.ru/Help/Pic/F/Bot_Manually.png" target=_blank><img src="http://sitesputnik.ru/Help/Pic/F/Bot_Manually.png" alt="" name="itag" border=none></a><br /> <br />Эта площадка служит для ручного запуска Ботов.<br /><b><br />Важно:</b><br />Выполняя Проект, СайтСпутник последовательно проходит через все страртовые площадки и проверяет их содержание.<br /><br /></ul></ul> <br />Продолжение сдедует ...<br /> Алексей Мыльников Thu, 16 May 2019 10:02:39 +0300