http://forum.razved.info//index.php?t=4407 Эмуляция RSS-потоков с произвольных страниц без применения Мастера в программе СайтСпутник ru http://forum.razved.info//index.php?t=4407&p=54404#pp54404 http://forum.razved.info//index.php?t=4407&p=54404#pp54404 <br>petryashov написал:<blockquote><div style="height:1px;width:1px;overflow:hidden">[q]</div>Вот Пример сайта, с которым я не справился: www.gazprom.ru/tenders/inwork/ <div style="height:1px;width:1px;overflow:hidden">[/q]</div></blockquote><br />Подключил через Мастер. Файл импорта сценария для этого Источника прикрепил. Обновитесь до 8.6.6.5 - в программу внесены усовершенствования, поэтому Вы и не справились.<br /> Алексей Мыльников Sat, 21 Feb 2015 12:17:38 +0300 http://forum.razved.info//index.php?t=4407&p=54388#pp54388 http://forum.razved.info//index.php?t=4407&p=54388#pp54388 Вот Пример сайта, с которым я не справился: www.gazprom.ru/tenders/inwork/ petryashov Thu, 19 Feb 2015 21:51:48 +0300 http://forum.razved.info//index.php?t=4407&p=54387#pp54387 http://forum.razved.info//index.php?t=4407&p=54387#pp54387 <ul><br />1.<br />Если число запросов большое, то сделайте один или три не очень точных запроса, но копните поглубже, тогда количество обращений к сайту уменьшится, а точность достигните на Рубрикации. Не надо каждый тендер подробно описывать запросом.<br /><br />2.<br />Чаще применяйте вызов RSS. Причем здесь СайтСпутник? Это минус RSS-потока, что он не дает возможность варьировать количеством ссылок, в него попадающих. Примените Планировщик, чтобы самому вручную не стартовать вовремя задачи.<br /><br />3.<br />Если есть где перейти на другую страницу, то можно осуществить такой переход, если нет, то на нет и суда нет.<br /><br />4.<br />Если пропустили 3-4 дня, то или больше страниц подайте на мониторинг или примените Планировщик задач, который будет работать по нужному расписанию, и все тендеры попадут на мониторинг. Приведите пример, где не применим п.4.<br /><br />X.<br />Приведите пример сайта, с которым Вы не справились.<br /></ul> Алексей Мыльников Thu, 19 Feb 2015 20:33:13 +0300 http://forum.razved.info//index.php?t=4407&p=54386#pp54386 http://forum.razved.info//index.php?t=4407&p=54386#pp54386 Подведу некоторые итоги использования различных способов получения информации с сайтов тендеров.<br /><br />1. Использовать Мастер, при помощи которого скачивать нужную информацию путем использования механизма внутреннего поиска по сайтам. Это хорошо срабатывает, если число запросов небольшое, но по мере появления необходимости поиска тендеров по новым ключевым словам количество обращений к сайту становится очень большим, что рано или поздно вызовет санкции со стороны администрации сайта (у меня такой печальный опыт уже был)<br /><br />2. Подключать RSS-поток при его наличии. Минусы- при большом количестве обновлений и ежедневном сканировании в RSS- поток может не попасть часть сообщений (например, сайт настроен так, что в поток транслируется только 100 последних сообщений)<br /><br />3. Эмулировать RSS - поток, найдя определенные закономерности в адресации обновлений: например, ID с уникальным номером закупки и т.п. Минусы: теряется часть информации за счет того, что программа не переходит на вторую, третью страницу и т.д.<br /><br />4. Эмулировать RSS- поток, привязываясь к закономерностям формирования адресов страниц выдачи списка обновлений (например, сканируем первые 10 страниц выдачи)<br /><br />В том случае, если по определенным причинам пропущено несколько дней при сканировании, то способы 2-4 не принесут часть информации.<br />Пока наиболее эффективно проявил себя способ №4, но, к сожалению, он не везде применим petryashov Thu, 19 Feb 2015 19:45:53 +0300 http://forum.razved.info//index.php?t=4407&p=54366#pp54366 http://forum.razved.info//index.php?t=4407&p=54366#pp54366 <ul><br />Появились ещё две операции для работы с лексемами:<br /><br />1) <b>&amp;&amp;</b> - лог. "И" над лексемами<br />2) <b>=фраза</b> - в html-контенте ссылки должна быть точная фраза, применять целесообразно только на глубине.<br /><br />Пояснения на примерах.<br /><br /><b>Пример 9: <font color="blue">http://infox.ru/ +/hi-tech/&amp;&amp;2014</font></b><br /><br />Оставит из примера 1 только ссылки, в которых есть число 2014<br /><br /><b>Пример 10:<font color="blue"><br /> wikibloger.com/groups/razoblachennie?page={1-11} +/bloggers/ -# +.livejournal.com;vk.com;facebook.com;twitter.com;/ok.ru;odnoklassniki;mail.ru; -blogger; <br /> wikibloger.com/groups/razoblachennie?page={1-11} +/bloggers/ -# +.livejournal.com;vk.com;facebook.com;twitter.com;/ok.ru;odnoklassniki;mail.ru; -blogger; <u>=avatar photo black</u></font></b><br /><br />Первый вариант (без конструкции <u><font color="blue">=avatar photo black</font></u>) "достанет" все адреса в социальных сетях, по которым работают все и черные, и белые блоггеры, а второй только все черные за счет того, что на анализ попадут только те ссылки, в html-контенте которых есть фраза <u><font color="blue">avatar photo black</font></u>.<br /><br />Этот пример работает по схеме, описанной здесь - forum.razved.info/index.php?t=5460 <br /><br /><br /><br /><u>Замечание от 05.03.21</u>. Операция для работы с тегом.<br />Для определения ссылок, попадающих в поток можно также применять теги, например: <br /><br /><b>Пример 11: <font color="brown"><br />https://volgograd.cian.ru/cat.php?deal_type=sale&amp;engine_version=2&amp;object_type%5B0%5D=1&amp;offer_type=flat®ion=4707&amp;room1=1&amp;room2=1&amp;room3=1&amp;room4=1&amp;room5=1&amp;with_neighbors=0</font> +&lt;<font color="blue">&lt;article</font></b><br /><br />Здесь для получения ссылок на ЦИАНе на списки продаваемых квартир в городе Волжском использовался тег <b><font color="blue">&lt;article</font></b>.<br /></ul> Алексей Мыльников Wed, 18 Feb 2015 13:13:21 +0300 http://forum.razved.info//index.php?t=4407&p=54365#pp54365 http://forum.razved.info//index.php?t=4407&p=54365#pp54365 <ul><br />Информация по этой ссылке forum.razved.info/index.php?t=5460 с форума СПКР, где показана технология подключения списка источников, размещенных на веб-странице, уместна и в этой теме.<br /></ul> Алексей Мыльников Wed, 18 Feb 2015 13:07:15 +0300 http://forum.razved.info//index.php?t=4407&p=47401#pp47401 http://forum.razved.info//index.php?t=4407&p=47401#pp47401 <ul><br /><b>Важные замечания.</b><br /><br />1. Продемонстрированная техника, с одной стороны, весьма проста, с другой стороны, достаточно эффективна особенно для <b>SiteSputnik News</b> и его расширений: <b>+WebSpider, +Comments, +Station</b>.<br /><br />2. Она дополняет, а не исключает возможности применения <u>Мастера подключения источников информации</u> для эмуляции RSS-потоков. <br />При необходимости, правила для дополнительных признаков будут усовершенствованы.<br /><br />3. Эта техника также применима для <a href="http://sitesputnik.ru/Help/SSWebSpider.htm" target=_blank>SiteSputnik WebSpider</a>, например, оператор:<br /><br /><b><font color="blue">http://infox.ru/ +/hi-tech/ || WebSpider=1 </font></b><br /><br />применённый в проекте типа "Веб-Спайдер" приведёт к выбору темы "Высокие технологии", её мониторингу и рубрикации. Другими словами, в этом случае программа СайтСпутник будет наблюдать за обновлением веб-пространства, ограниченного ссылками, попадающими в выдачу данного оператора, и рубрицировать обнаруженные изменения по правилам, прописанным в подключенных Рубриках. В проекте можно прописать произвольное количество подобных операторов.<br /></ul><br /> Алексей Мыльников Thu, 09 Jan 2014 08:02:50 +0400 http://forum.razved.info//index.php?t=4407&p=47400#pp47400 http://forum.razved.info//index.php?t=4407&p=47400#pp47400 Ещё несколько демонстрационных примеров:<br /><ul><br /><b>Пример 6: <font color="blue">http://forum.razved.info/ +m=profile&amp;u= </font></b><br /><br />Поток ссылок на профили участников форума СПКР, сделавших последнее сообщение, хотя бы в одном разделе. <br /><br /><b>Пример 7: <font color="blue">http://www.aif.ru/politics/ +russia </font></b><br /><br />Со страницы "Политика" из "Аргументы и факты" выбрать раздел "В России".<br /><br /><b>Пример 8: <font color="blue">http://www.mk.ru/culture/cinema/ +interview </font></b><br /><br />Со страницы "Кино" из "Культуры" из "Московского комсомольца" выбрать "Интервью".<br /></ul><br />Продолжение следует ...<br /> Алексей Мыльников Thu, 09 Jan 2014 07:57:31 +0400 http://forum.razved.info//index.php?t=4407&p=47399#pp47399 http://forum.razved.info//index.php?t=4407&p=47399#pp47399 <ul><br />В принципе, с точки зрения Пользователя, это вся техника. <br /><br /><u>Формально конструкция:</u><br /><br />+Лексема1;Лексема2;ЛексемаN - определяет список лексем, хотя бы одна из которых должна содержаться в ссылке, попадающей в выдачу.<br /><br />-Лексема1;Лексема2;ЛексемаM - определяет список лексем, ни одна из которых не должна содержаться в ссылке, попадающей в выдачу.<br /><br /><br />Для удобства определения нужных ссылок исходной страницы предварительно можно выполнить:<br /><br /><b>Пример 5: <font color="blue">http://infox.ru/</font></b><br /><br />Это приведёт к выбору всех ссылок исходной страницы. Их можно увидеть в списке "Экспорт-txt". На картинке ниже показан фрагмент такого списка.<br /><br /><a href="http://sitesputnik.ru/Help/Pic/F/Menu_RSS.jpg" target=_blank><img src="http://sitesputnik.ru/Help/Pic/F/Menu_RSS.jpg" alt="" name="itag" border=none></a><br /></ul><br />Продолжение следует ...<br /> Алексей Мыльников Thu, 09 Jan 2014 07:54:12 +0400 http://forum.razved.info//index.php?t=4407&p=47398#pp47398 http://forum.razved.info//index.php?t=4407&p=47398#pp47398 <ul><br />Об <u>автоматическом распознавании и обработке RSS-потоков</u> в <b>программе СайтСпутник</b> можно прочитать здесь на форуме: forum.razved.info/index.php?t=2344&amp;p=47342#pp47342. Суть написанного в том, что можно не подключать каждый новый RSS-поток через Мастер, а просто в запросе или пакете вписать его адрес (URL). Префикс http:// - обязателен.<br /><br />В новой версии программы <b>SiteSputnik 8.6.3</b> от 09.01.14 появился ещё один способ практически автоматической <b>эмуляции RSS-потоков</b> с произвольных страниц без применения <a href="http://sitesputnik.ru/Help/SSMaster.htm" target=_blank>Мастера</a>. <br /><br />Для <b>эмуляции RSS-потока</b> со страницы достаточно в запросе или пакете указать её адрес (URL) и дополнительный признак. Префикс http:// в URL - обязателен.<br /><br />Продемонстрирую новую технику на примерах.<br /><br /><ul><br /><b>Пример 1: <font color="blue">http://infox.ru/ +/hi-tech/ </font></b><br /><br />Здесь для страницы infox.ru эмулируется поток новостей и сообщений по теме Hi-Tech ("Высокие технологии").<br /><br />В выдачу на момент написания этого топика попадут ссылки, содержащие лексему /hi-tech/, а именно:<br /><ul><br /> infox.ru/themes/hi-tech/ <br /> infox.ru/hi-tech/internet/2014/01/06/Minyust_RF_zabrakova.phtml <br /> infox.ru/hi-tech/internet/2014/01/06/Minyust_RF_zabrakova.phtml?comm <br /> infox.ru/themes/hi-tech/index.phtml <br /> infox.ru/themes/hi-tech/rss.xml <br /> infox.ru/hi-tech/tech/2013/12/27/V_2014_godu_v_Pyenzy.phtml <br /> infox.ru/hi-tech/internet/2013/12/27/Krupnyeyshiye_muzyyk.phtml <br /> infox.ru/hi-tech/internet/2011/06/09/WP7.phtml <br /> infox.ru/hi-tech/tech/2014/01/05/Samsung_vyypustit_mo.phtml <br /> infox.ru/hi-tech/internet/2014/01/03/Dvoye_amyerikancyev_.phtml <br /> infox.ru/hi-tech/internet/2013/12/28/Roskomnadzor_vnyes_R.phtml <br /> infox.ru/hi-tech/gadget/2013/12/27/LG_pokazhyet___umnyy.phtml <br /> infox.ru/hi-tech/games/2013/12/27/SHutyer_Battlefield_.phtml <br /> infox.ru/hi-tech/internet/2013/12/27/Mail_Ru_otkazalas_ot.phtml <br /> infox.ru/hi-tech/multimedia/2013/12/27/FSB_budyet_provodit_.phtml <br /> infox.ru/hi-tech/tech/2013/11/07/Kurs_virtualnoy_valy.phtml <br /> infox.ru/hi-tech/internet/2012/06/06/Domyen__DYETI_____dy.phtml <br /> infox.ru/hi-tech/tech/2012/03/23/Robot_parikmahyer.phtml <br /></ul><br /><b>Пример 2: <font color="blue">http://infox.ru/ +/hi-tech/ -themes </font></b><br /><br />Этот поток отличается от первого тем, что в него не попадут 1, 4 и 5 ссылки. <br /><br /><b>Пример 3: <font color="blue">http://infox.ru/ +/hi-tech/;/blog </font></b><br /><br />Этот поток отличается от первого тем, что в него будут добавлены ещё "Блоги".<br /></ul><br />Продолжение следует ... Алексей Мыльников Thu, 09 Jan 2014 07:51:23 +0400