http://forum.razved.info//index.php?t=1170 ru http://forum.razved.info//index.php?t=1170&p=58211#pp58211 http://forum.razved.info//index.php?t=1170&p=58211#pp58211 <ul><br /><font color="blue"><font size="3"><b>Черные и Белые списки в рамках Проекта</b></font></font><br /><br />Доступно, начиная с версии <b><a href="https://sitesputnik.ru/" target=_blank>SiteSputnik</a></b> Pro 9.9.4.2 от 21.07.2021.<br /><br />Всё что написано выше, а именно, Черные и Белые списки, действующие в рамках Запроса, - остаётся в силе.<br />Если эти списки прописаны, то они приоритетнее нижеследующих списков.<br /><br />В <b><font color="blue">рамках Проекта</font> Черные и Белые списки</b> можно прописать следующим образом:<br /><br /><a href="https://sitesputnik.ru/Help/Pic/F/Sputnik_Black_List.png" target=_blank><img src="https://sitesputnik.ru/Help/Pic/F/Sputnik_Black_List.png" alt="" name="itag" border=none></a><br /><br />Красная стрелка показыает как выбирается текстовый файл, содержащий Черный и/или Белый список, а<br />Красной линией обведено имя выбранного файла.<br /><br />Пример содержания файла:<ul><br />sitesputnik.ru<br />freesoft.ru<br />ci-razvedka.ru<br />razvedka-internet.ru<br />info-war.ru<br />nejdanov.ru<br />informnn.ru<br />marketinginform.ru<br />forum.razved.info</ul><br />Имена сайтов или любые другие лексемы записываются в нём просто в столбик.<br /></ul> Алексей Мыльников Wed, 21 Jul 2021 13:44:36 +0300 http://forum.razved.info//index.php?t=1170&p=45865#pp45865 http://forum.razved.info//index.php?t=1170&p=45865#pp45865 <br>Алексей Мыльников написал:<blockquote><div style="height:1px;width:1px;overflow:hidden">[q]</div>А это уже некорректное заявление. Пробный вариант не глючит, а свернулся до минимума и не дает развернуться, потому что срок его действия кончился. Об этом Пользователю постоянно выводится сообщение: "Программа не зарегистрирована, её функциональные возможности огрничены". Остался поиск на глубину одной страницы для основных поисковиков. Вам об этом не раз писали, и не только я. Вы опять повторяете, то на что ранее получили ответ. Если хотите, то в следующей версии я сделаю так, что программа, у которой истек срок опробации, просто не будет открываться.<div style="height:1px;width:1px;overflow:hidden">[/q]</div></blockquote><br />Пробный период если не ошибаюсь 30 дней?<br />А у меня "возраст" программы всего 2 дня.<br />А глюки с исчезанием кнопок и вылетами всё равно есть<br /><br /><br>Алексей Мыльников написал:<blockquote><div style="height:1px;width:1px;overflow:hidden">[q]</div>напишите в Яндексе: Лев /1 Толстой или Лев /2 Толстой и 800 страниц скачивать не надо будет.<div style="height:1px;width:1px;overflow:hidden">[/q]</div></blockquote><br />Если бы... Всё было так просто <img src="http://forum.razved.info//smiles/facepalm.gif" align=absmiddle alt=":facepalm:"> <br /><br /><br>Алексей Мыльников написал:<blockquote><div style="height:1px;width:1px;overflow:hidden">[q]</div>Остался поиск на глубину одной страницы для основных поисковиков.<div style="height:1px;width:1px;overflow:hidden">[/q]</div></blockquote><br />Ну это легко обходится путем создания своего сценария <img src="http://forum.razved.info//smiles/laugh.gif" align=absmiddle alt=":laugh:"> Доктор ТуамОсес Mon, 23 Sep 2013 01:04:01 +0400 http://forum.razved.info//index.php?t=1170&p=45862#pp45862 http://forum.razved.info//index.php?t=1170&p=45862#pp45862 <br>Доктор ТуамОсес написал:<blockquote><div style="height:1px;width:1px;overflow:hidden">[q]</div>Я же писал:<br /><br /><br />Доктор ТуамОсес написал:<br /><br /> <blockquote><div style="height:1px;width:1px;overflow:hidden">[q]</div><br /> Ну чтобы юзать регэкспы {прим.ну или как Вы пишите "язык запросов"} не на сниппете, а на всем тексте веб-страницы её нужно сначала скачать. Вы предлагаете людям скачивать все 800 ссылок объединения выдачи?<br /> <div style="height:1px;width:1px;overflow:hidden">[/q]</div></blockquote><br /><br /><br />На этот вопрос ответите?<br />Разве не эффективней сразу отфильтровать 90% сайтов ещё на этапе анализа содержимого сниппетов, чем тянуть из инета к себе на хард диск ГИГАБАЙТЫ мусора?<br /><br />Ведь в большинстве случаев уже по сниппету веб-страницы в яндексе можно понять, что полностью читать веб-страницу не стоит. Не согласны?<div style="height:1px;width:1px;overflow:hidden">[/q]</div></blockquote><br />Отвечу: напишите в Яндексе: Лев /1 Толстой или Лев /2 Толстой и 800 страниц скачивать не надо будет.<br /><br>Доктор ТуамОсес написал:<blockquote><div style="height:1px;width:1px;overflow:hidden">[q]</div>А если триал версия глючит (копки исчезают, постоянно вылетает с потерей данных, описалова нормального нет и т.д. и т.п.<div style="height:1px;width:1px;overflow:hidden">[/q]</div></blockquote><br />А это уже некорректное заявление. Пробный вариант не глючит, а свернулся до минимума и не дает развернуться, потому что срок его действия кончился. Об этом Пользователю постоянно выводится сообщение: "Программа не зарегистрирована, её функциональные возможности огрничены". Остался поиск на глубину одной страницы для основных поисковиков. Вам об этом не раз писали, и не только я. Вы опять повторяете, то на что ранее получили ответ. Если хотите, то в следующей версии я сделаю так, что программа, у которой истек срок опробации, просто не будет открываться.<br /><br>Доктор ТуамОсес написал:<blockquote><div style="height:1px;width:1px;overflow:hidden">[q]</div>Поэтому, ИМХО, главными задачами программы должны быть:<br />1) автоматизация анализа сниппетов и скачанных веб-страниц<br />2) автоматизация фильтрации "левой" информации<br />3) автоматическое (или интерактивное в режиме "подсказка") генерирование новых "хороших" запросов по результатам анализа <div style="height:1px;width:1px;overflow:hidden">[/q]</div></blockquote> <img src="http://forum.razved.info//smiles/hi.gif" align=absmiddle alt=":hi:"> Алексей Мыльников Sun, 22 Sep 2013 19:32:46 +0400 http://forum.razved.info//index.php?t=1170&p=45846#pp45846 http://forum.razved.info//index.php?t=1170&p=45846#pp45846 <br>Доктор ТуамОсес написал:<blockquote><div style="height:1px;width:1px;overflow:hidden">[q]</div>В связи с этим у меня к Вам ряд вопросов:<br />- Это в гигабайтах сколько?<br /><div style="height:1px;width:1px;overflow:hidden">[/q]</div></blockquote><br />По разному - от двухстрочных сообщений в твиттере или в соцсети, до аналитических текстов в десяток страниц. Поэтому каждый раз по разному.<br /><br /><br>Доктор ТуамОсес написал:<blockquote><div style="height:1px;width:1px;overflow:hidden">[q]</div><br />- У Вас наверное очень жирный канал (сколько мегабайт в секунду средняя скорость даунлодадинга)<br /><div style="height:1px;width:1px;overflow:hidden">[/q]</div></blockquote><br />Канал не плохой - утверждают, что не менее 512 мегабит.<br /><br /><br>Доктор ТуамОсес написал:<blockquote><div style="height:1px;width:1px;overflow:hidden">[q]</div><br />- Зачем Вам так много инфы? Что Вы с ней делаете-то? Или Вы просто сканируете в инет на предмет чего-то конкретного? Типа "а не появилось ли "оно"?"<br /><div style="height:1px;width:1px;overflow:hidden">[/q]</div></blockquote><br />У меня за 30 постоянных потребителей информации, каждого из которых интересует от одного до 15 тем (направлений). По этим темам основной вопрос именно тот - "не появилось ли чего то ценного по ней".<br /><br /><br>Доктор ТуамОсес написал:<blockquote><div style="height:1px;width:1px;overflow:hidden">[q]</div><br />- Вы согласны, что 99,9 % скаченной инфы - это шлак/мусор? Тогда зачем её качать?<div style="height:1px;width:1px;overflow:hidden">[/q]</div></blockquote><br />Нет - это как настроить первичный сбор информации. Т.е выбрать правильные источники, составить правильные запросы и т.п. "мусорной информации" (по ощущениям - не считал) не более 20%. И, полагаю можно еще подсократить, но это нужно тщательнее поработать с источниками.<br /><br /><br>Доктор ТуамОсес написал:<blockquote><div style="height:1px;width:1px;overflow:hidden">[q]</div>Зачем столько? Ведь человек даже сотню страниц в день не осилит вдумчиво прочитать. Или Вы не читаете, а просто сканируете?<div style="height:1px;width:1px;overflow:hidden">[/q]</div></blockquote><br />Надеюсь уже ответил на этот вопрос. Из всего объема именно для меня всего 5 тем, в каждой по 2 - 10 сообщений в сутки.<br /><br />Медленный инет это не приятно. Но и в этом случае СайтСпутник сильно облегчает жизнь Предполагаю, что вы не используете возможности тонкой настройки (их нет в бесплатной версии) и правильного построения запросов к источникам информации.<br /><br />Тем ни менее с вашим общим посылом я согласен - на счет того, что нужно максимально поднимать эффективность. <br /><br /> Игорь Нежданов Sat, 21 Sep 2013 09:00:45 +0400 http://forum.razved.info//index.php?t=1170&p=45844#pp45844 http://forum.razved.info//index.php?t=1170&p=45844#pp45844 <br>Игорь Нежданов написал:<blockquote><div style="height:1px;width:1px;overflow:hidden">[q]</div>У меня СайтСпутник работает ежедневно. В среднем вытаскивает каждые сутки от 12 до 18 тысяч полнотекстовых сообщений <div style="height:1px;width:1px;overflow:hidden">[/q]</div></blockquote><br />Очень любопытно <img src="http://forum.razved.info//smiles/WONDER.gif" align=absmiddle alt=":wonder:"> <br /><br />В связи с этим у меня к Вам ряд вопросов:<br />- Это в гигабайтах сколько? <br />- У Вас наверное очень жирный канал (сколько мегабайт в секунду средняя скорость даунлодадинга)<br />- Зачем Вам так много инфы? Что Вы с ней делаете-то? Или Вы просто сканируете в инет на предмет чего-то конкретного? Типа "а не появилось ли "оно"?"<br />- Вы согласны, что 99,9 % скаченной инфы - это шлак/мусор? Тогда зачем её качать?<br /><br /><br>Игорь Нежданов написал:<blockquote><div style="height:1px;width:1px;overflow:hidden">[q]</div> 800 ссылок это "мелочь" для программы. <div style="height:1px;width:1px;overflow:hidden">[/q]</div></blockquote><br />Но для моего старенького компа и "тоненького" инет канала это огромная нагрузка. 18 000 веб страниц ... это примерно 5 гигабайт инфы в день.<br />Зачем столько? Ведь человек даже сотню страниц в день не осилит вдумчиво прочитать. Или Вы не читаете, а просто сканируете?<br /><br /><br>Игорь Нежданов написал:<blockquote><div style="height:1px;width:1px;overflow:hidden">[q]</div>800 ссылок это "мелочь" для программы. <div style="height:1px;width:1px;overflow:hidden">[/q]</div></blockquote><br /><br />У меня одна страница загружается в среднем за 20 секунд. 800 x 20 = 16 000 секунд. Т.е. примерно 4,5 часа потребутся программе..<br /><br />Я за это время 10 раз уже успею вручную "нагуглить" то, что мне надо <img src="http://forum.razved.info//smiles/facepalm.gif" align=absmiddle alt=":facepalm:"> <br />Путем анализа выдачи поисковиков и модификации по результатам этой выдачи своих поисковых запросов<br /><br />И вообще, ИМХО, устраивать у себя на компе мини-гугль (закачивая на хард с целью анализа десятки тысяч ссылок) - это порочная идея.<br /><br />ИМХО, нужно бить интеллектуальностью, чтобы как можно меньше качать на хард не нужной инфы. А не тупо, "в лоб" качать всё что попалось<br /><br />За счёт чего это можно сделать?<br />1) За счёт более детального анализа сниппетов выдачи поисковиков и содержимого все-таки скачанных на хард веб-страниц<br />2) За счёт более лучших и качественных запросов<br /><br />Поэтому, ИМХО, главными задачами программы должны быть:<br />1) автоматизация анализа сниппетов и скачанных веб-страниц<br />2) автоматизация фильтрации "левой" информации<br />3) <b>автоматическое</b> (или интерактивное в режиме "подсказка") генерирование новых "хороших" запросов по результатам анализа Доктор ТуамОсес Sat, 21 Sep 2013 02:10:11 +0400 http://forum.razved.info//index.php?t=1170&p=45842#pp45842 http://forum.razved.info//index.php?t=1170&p=45842#pp45842 <br>Доктор ТуамОсес написал:<blockquote><div style="height:1px;width:1px;overflow:hidden">[q]</div>Доктор ТуамОсес написал:<br /> <blockquote><div style="height:1px;width:1px;overflow:hidden">[q]</div><br /> Ну чтобы юзать регэкспы {прим.ну или как Вы пишите "язык запросов"} не на сниппете, а на всем тексте веб-страницы её нужно сначала скачать. Вы предлагаете людям скачивать все 800 ссылок объединения выдачи?<br /> <div style="height:1px;width:1px;overflow:hidden">[/q]</div></blockquote><br /><br />На этот вопрос ответите?<div style="height:1px;width:1px;overflow:hidden">[/q]</div></blockquote><br />У меня СайтСпутник работает ежедневно. В среднем вытаскивает каждые сутки от 12 до 18 тысяч полнотекстовых сообщений (а не только ссылок), которые затем вычищаются и рубрицируются в 120 Рубрик. И что? 800 ссылок это "мелочь" для программы. Игорь Нежданов Fri, 20 Sep 2013 16:57:43 +0400 http://forum.razved.info//index.php?t=1170&p=45839#pp45839 http://forum.razved.info//index.php?t=1170&p=45839#pp45839 <br>Семёныч написал:<blockquote><div style="height:1px;width:1px;overflow:hidden">[q]</div>Впечатляет меня упорство человека, юзающего кастрированную версию программы (дэмо-версию) и при этом, умудряющийся в ней разобраться и что-то из неё выжать. <div style="height:1px;width:1px;overflow:hidden">[/q]</div></blockquote><br />Дело в том, что я привык что триальная версия - это та же Pro версия, но только с искусственно введенными ограничениями (грубо говоря константы в ней просто меньшего значения типа не for i=1 to 1000, а for i=1 to 10 и т.п.). И я привык, что <b>триал версия - это "лицо продукта"</b>.<br /><br />А если триал версия глючит (копки исчезают, постоянно вылетает с потерей данных, описалова нормального нет и т.д. и т.п.) тот какой &lt;пип пип пип&gt; будет покупать Pro-версию? <img src="http://forum.razved.info//smiles/binocular.gif" align=absmiddle alt=":binocular:"> <br /><br />Т.е., грубо говоря, алгоритм такой:<br />- Человек пробует триал-версию. <br />- Она ему нравиться и он хочет большего. <br />- Он покупает Pro-версию.<br /><br />А не такой:<br />- Человек пробует триал-версию. <br />- Она вызывает у него раздражение своей "сыростью" и глюками. <br />- Он покупает Pro-версию в надежде "а может там лучше?".<br />====================================================================================<br />P.S.Я за свою жизнь юзал для разных целей более 1000 программ. Чтобы их все купить - нужно быть Абрамовичем <img src="http://forum.razved.info//smiles/blum1.gif" align=absmiddle alt=":blum:"> <br />А при моей зарплате 20 000 руб в месяц и наличии 4 "спиногрызов" сами понимаете выделить даже 200 руб в месяц на покупку софта - это серьёзный удар по семейному бюджету. Поэтому давайте оставим в покое вопрос "а че он не хочет купить Pro версию и юзает кастрированный триал".<br />Впрочем я бы не пожалел и 5000 руб даже при моём более чем скромном бюджете если бы функционал программы этого стоил. Но пока я не вижу в программе чего-то такого/эдакого, чтобы я бы аж ахнул. Пока функционал программы такой, что я сам смогу наваять подобный функционал за пару недель на каком-нибудь Autohotkey, Selenium и т.п. Продолжение этой темы <a href="http://forum.razved.info/index.php?t=4256">ТУТ</a> Доктор ТуамОсес Fri, 20 Sep 2013 12:30:42 +0400 http://forum.razved.info//index.php?t=1170&p=45838#pp45838 http://forum.razved.info//index.php?t=1170&p=45838#pp45838 <br>Алексей Мыльников написал:<blockquote><div style="height:1px;width:1px;overflow:hidden">[q]</div>применение языка запросов к сниппетам приводит к потере значимой информации<div style="height:1px;width:1px;overflow:hidden">[/q]</div></blockquote><br />Я же писал:<br /><br /><br>Доктор ТуамОсес написал:<blockquote><div style="height:1px;width:1px;overflow:hidden">[q]</div>Ну чтобы юзать регэкспы {<i>прим.ну или как Вы пишите "язык запросов"</i>} не на сниппете, а на всем тексте веб-страницы её нужно сначала скачать. Вы предлагаете людям скачивать все 800 ссылок объединения выдачи?<div style="height:1px;width:1px;overflow:hidden">[/q]</div></blockquote><br />На этот вопрос ответите?<br />Разве не эффективней сразу отфильтровать 90% сайтов ещё на этапе анализа содержимого сниппетов, чем тянуть из инета к себе на хард диск ГИГАБАЙТЫ мусора?<br /><br />Ведь в большинстве случаев уже по сниппету веб-страницы в яндексе можно понять, что полностью читать веб-страницу не стоит. Не согласны? Доктор ТуамОсес Fri, 20 Sep 2013 12:15:28 +0400 http://forum.razved.info//index.php?t=1170&p=45836#pp45836 http://forum.razved.info//index.php?t=1170&p=45836#pp45836 Уважаемый <b>Доктор ТуамОсес</b>, Блэклист сайтов создавался для:<br /><br>petryashov написал:<blockquote><div style="height:1px;width:1px;overflow:hidden">[q]</div>Алексей, мы когда-то этот вопрос уже обсуждали, но он как-то завис.<br />Суть:в тех случаях, когда мы ежедневно мониторим группу запросов в СайтСпутнике, достаточно быстро выявляется группа сайтов, которые не имеют отношения к теме, но не отфильтровываются даже самыми изощренными запросами в поисковых системах.<br /><br />Можно ли создать некий Блеклист, в который пользователь может включать сайты, которые СайтСпутнику посещать не надо?<div style="height:1px;width:1px;overflow:hidden">[/q]</div></blockquote>Оно и понятно: практически в каждом сниппете есть URL.<br /><br />Попутно этот приём можно применить и для фильтрации сниппетов по контексту, а именно: по единичным словам, без учета регистра. Развивать этот прием (уже в третий раз пишу) не считаю нужным, потому что в <b>SiteSputnik News</b> это уже есть (оно получилось "попутно", без целенаправленной разработки) и потому что <u>применение языка запросов к сниппетам</u> приводит к потере значимой информации. Я не сторонник доведение какой-то идеи до абсурда.<br /><br />По поводу Help(a). Отставание его содержания от производимого матобеспечения есть, но на форуме я всегда декларирую новые функциональные возможности программы, также выкладываю их на странице _http://sitesputnik.ru/Public.htm и в колонке "Хроника событий" на главной странице сайта о программе <b>СайтСпутник</b>.<br /> Алексей Мыльников Fri, 20 Sep 2013 11:10:47 +0400 http://forum.razved.info//index.php?t=1170&p=45834#pp45834 http://forum.razved.info//index.php?t=1170&p=45834#pp45834 Впечатляет меня упорство человека, юзающего кастрированную версию программы (дэмо-версию) и при этом, умудряющийся в ней разобраться и что-то из неё выжать. <img src="http://forum.razved.info//smiles/hi.gif" align=absmiddle alt=":hi:"> Ну, это сухие эмоции.<br />По-делу, соглашусь с Доктор ТуамОсес в том, что хэлп к программе не поспевает за теми функциями, которые в ней постоянно появляются. Последний раз мануал редактировали год назад? А изменений в ней добавилось и немало! Сомневаюсь, что в хэлпе можно прописать все нюансы программы, но стремиться к этому надо. А если кто-то из пользователей нашёл некий нюанс, не включённый в хэлп, то почему бы этот нюанс туда не добавить? Семёныч Fri, 20 Sep 2013 10:15:30 +0400