Версия для печати
- Форум Сообщества Практиков Конкурентной разведки (СПКР) http://forum.razved.info/
-- Софт для конкурентной разведки http://forum.razved.info//index.php?f=7
--- Ваш любимый софт для конкурентной разведки http://forum.razved.info//index.php?t=4001
-- CI-KP написал 14 июня 2013 12:29
Такую тему открыл в группе Линкедин "Strategic and Competitive Intelligence Professionals (SCIP)" (http://www.linkedin.com/groups?home=&gid=68320&trk=anet_ug_hm) англичанин Mark Walker, Founder and CEO at Xavy.
Буду постить сюда ответы.
Evgeny Yushchuk
www.integrum.ru/ (Information about companies and biggest Media archive)
sitesputnik.ru/ (Find all NEW addresses in thr Internet about your problem)
www.yandex.ru/ (Search Engine, well know Russian language)
https://www.google.ru/ (Global Search Engine)
aignes.com/ (Show chahges at Internet-Pages)
news.yandex.ru/ - News
blogs.yandex.ru/ - Blogs search
iqbuzz.ru/ - Social Media monitoring with visualisation
Dmitriy Kupzov
www.credinform.ru/en-US (Information about companies world wide)
kad.arbitr.ru/ (Card files of the Arbitration Court of the Russian Federation)
bankruptcy.interfax-aki.ru/ (Uniform federal register of information about bankruptcy of the Russian Federation)
black-search.flexum.ru/ (Search on a blacklists)
www.bname.ru/ (SEO site analysis)
www.nigma.ru/ (Meta serch engine)
https://duckduckgo.com (Anonymous search engine)
-- Vinni написал 14 июня 2013 13:41
а чего про Аваланч и RSSH забыли? 
-- CI-KP написал 14 июня 2013 13:51
Vinni написал:[q]
а чего про Аваланч и RSSH забыли? [/q]
Спасибо 
Так просто не все сразу в голову пришло - потому и не включили. Включим, тема же открыта.
Если не сложно - прямо со ссылками кидайте сюда. Думаю, что после объединения информации этого топика с линкединовской - получится годный перечень инструментов.
-- CI-KP написал 14 июня 2013 14:00
Для: Vinni
Так правильно будет написать?
RSS Handler www.ryalsoft.ru/ (Agregator RSS with downloading useful information and automatic separation and distribute to folders)
Avalanche 2.0 tora-centre.ru/avl1.htm (Find new pages in the Internet and automatically distribute it to folders)
-- Vinni написал 14 июня 2013 15:30
Спасибо, Евгений
Я бы несколько уточнил тогда
[q]
RSS Handler www.ryalsoft.ru/ (Agregator RSS with downloading useful information and automatic separation and distribute to folders)
Avalanche 2.0 tora-centre.ru/avl1.htm (Find new pages in the Internet and automatically distribute it to folders)
[/q]
Agregator RSS with downloading, extracting useful information from news pages (by regex), classifing and separating news to hierarhical folders by means of special language
Avalanche 2.0 tora-centre.ru/avl1.htm (monitoring news pages in the Internet, extracting news from them and automatically distribute it to "smart folders" )
-- CI-KP написал 14 июня 2013 16:13
Спасибо, ув. Vinni
Сейчас заброшу в Линкедин.
-- CI-KP написал 27 июня 2013 12:38
Mark Walker • Спасибо всем за некоторые большие ответы. Я согласен, что ваша человеческая сеть всегда является одним из самых ценных ресурсов, но я согласен с Евгением, что я не вижу его в качестве инструмента в том смысле, что Google является инструментом, чтобы найти лучшие источники информации в Интернете . Поэтому я думаю, что было бы разумно выделить их ...
В терминах "мои любимые":
Ресурсы -
* Личные контакты с людьми;
* FT/Economist и другие СМИ;
* Кнференции;
* Отраслевые отчеты
Инструменты -
* Google;
* Google Trends;
* Google keywords;
* Google Alerts...i.e. most Google products!
Mark Walker • Thanks everyone for some great responses. I agree that your human network is always one of the most valuable resources available, but I agree with Evgeny that I don't see it as a tool in the sense that google is a tool to find the best sources of information available on the web. So I think it would be sensible to separate them out...
In terms of my favourite:
Resources -
* My human network;
* FT/Economist and other media;
* Conferences;
* Industry reports
Tools -
* Google;
* Google Trends;
* Google keywords;
* Google Alerts...i.e. most Google products!
-- NVK63 написал 6 июля 2013 3:09
atlas.ti -первичная обработка данных (качественный контен-анализ), баз первичных данных по темам
TheBrain- качественная обработка даныых, осмысление, графические взаимосвязи, базы данных по темам
cronos pro, cros - банки данных
о поиске данных в инете уже сказали коллеги выше
-- ara_367519 написал 3 марта 2014 14:50
Можно добавить сюда еще одну специфическую программу - Text Duplicate Killer (http://softodon.com/getsoft-704-text-duplicate-killer.html).. эта утилита предназначенная для удаления из текста повторяющихся строк (не обязательно смежных). В результате создается новый текстовый файл, в котором каждая строка встречается только один раз (пользовался для составления и правки словаря, в частности как для программы СайтСпутник invisible, так и ряда других)
-- ara_367519 написал 4 марта 2014 10:27
Хочу предложить еще одну программу - она в некоторых случаях (мониторинг) - может оказаться весьма полезной - FTPinfo.
Возможности программы:
- Поиск FTP серверов в указанном диапазоне адресов;
- Слежение за состоянием FTP серверов (доступен или нет);
- Слежение за изменением файлов на выбранных FTP серверах;
- Поиск файлов по маске среди опрошенных серверов;
- Скачивание выбранных файлов с FTP серверов с возможностью регулирования скорости;
Создание отчетов об изменениях на FTP сервере;
- Рассылка созданных отчетов по E-Mail и передача отчетов на любой FTP сервер;
- Настройка вида отчетов.
Программу можно использовать как для наблюдением за FTP серверами в локальной или районной сети, так и для наблюдения за серверами в Интернете.-http://openprog.ru/ftpinfo
-- ara_367519 написал 5 марта 2014 21:13
Хочется всем представить, ну кто еще не знает один очень интересный браузер (portble) от OWASP - mantra, его возможности для КР и интернет серфинга (пентеста) просто вау 
очень хорошо подобранные расширения и дополнения, значительно облегчат работу в сети.. помогут как в поиске информации, так и значительно упростят проблемы анонимности работы)-http://www.getmantra.com
-- fellix13 написал 5 марта 2014 22:15
ara_367519 написал:[q]
http://www.getmantra.com [/q]
Похоже что доступ к сервису уже ограничен регулятором, пришлось заходить обходным путём))
-- ara_367519 написал 5 марта 2014 22:33
fellix13 написал:[q]
пришлось заходить обходным путём))[/q]
я вроде нормально зашел.. но, главное результат
-- ara_367519 написал 18 марта 2014 15:24
Обнаружил вот такой сервис.. возможно кому-то и пригодится..
SocFishing - это интернет-сервис позволяющий узнать, кто заходил к Вам на сайт
Функционал сервиса:
SocFishing предоставляет данные о посетителях вашего сайта
Возможность напрямую связаться с клиентом
Показатели сайта, дополненные данными из Вконтакте
Организация и объективный подсчёт результатов конкурсов
Объединение переписки нескольких аккаунтов в едином интерфейсе
Распространение информации по целевой аудитории
Формирование процесса взаимодействия с потенциальным клиентом
Сайт подключается по средствам сгенерированного javascript — загрузчика. После подключения вы можете наблюдать в удобном формате: ID Вконтакте, Аватар, Имя, Фамилия, Пол, День рождения, Страна, Город, Телефон, Университет, Факультет, Школа, Статус, Отношения, Интересы, Фильмы, ТВ, Книги, Игры, О себе, Skype, Twitter, Facebook, Instagram, Livejournal, Личный сайт, Текущее местоположение, IP-адрес, Домен входа, Страница входа, Источник перехода, Поисковый запрос, Поисковая система, Интересы яндекс, Дата.
Сервис условно-бесплатный.. в принципе, при положительном результате не особо дорогой.. - socfishing.ru/
-- ara_367519 написал 7 апреля 2014 10:08
Portia: графический интерфейс для скрапинга сайтов
Scrapy — популярный фреймворк для сбора данных с веб-сайтов (скрапинг). Написанный на Python, он позволяет сконфигурировать паука, выполняющего GET-запросы, парсить HTML-документы, искать нужные данные и экспортировать их в другой формат. Поддерживаются куки и сессии, аутентификация на сайтах, подмена user-agent, консоль для отладки, ведение логов, мониторинг через веб-интерфейс, управление через telnet-консоль и прочее.
Таким образом, с помощью Scrapy можно быстро извлечь нужную информацию с сайта или веб-страницы. Например, все адреса электронной почты, каталог товаров из интернет-магазина, прогноз погоды и прочее.
Scrapy выдает поток данных для обработки и использования в другом веб-приложении. В общем, исключительно полезный и мощный инструмент. Теперь работать с ним станет еще приятнее, не нужно даже изучать Python. Благодаря графическому интерфейсу Portia любой неподготовленный пользователь способен выделить нужную область на веб-странице — и запустить скрапер.
Видеофайл в формате mp4, 9,4 МБ
Разработчики планируют вскоре прикрутить графический интерфейс к веб-сервису Scrapinghub, при этом обеспечат полную совместимость с функцией автоскрапинга и прочими инструментами на платформе Scrapinghub.-http://www.xakep.ru/post/62310/default.asp...весьма занятная штука..
-- CI-KP написал 7 апреля 2014 10:20
Спасибо!
-- ara_367519 написал 11 апреля 2014 22:09
Хотелось бы представить еще вот такую прогу-TheHarvester — Поиск соседних доменов, сбор email
TheHarvester - вот что обязательно пригодится вам на самой начальной стадии аудита безопасности. Это небольшая утилита, написанная на python ищет полезную информацию, связанную с доменным именем в поисковых системах, различных сервисах и в DNS записях. TheHarvester поможет вам обнаружить:
email адреса на искомом домене
Другие домены на одном и том же сервере
Поддомены (методом DNS запроса и простого перебора по словарю)
Методы работы
Пассивные
Google: поисковая система - www.google.com
Google-profiles: поисковая система в Google profiles
Bing: microsoft поисковая система - www.bing.com
Bingapi: поисковая система от microsoft, используя API (вам нужно будет добавить свой API ключ в файл discovery/bingsearch.py file)
Pgp: сервер ключей PGP - pgp.rediris.es
Linkedin: поиск с помощью google, специализированный на выявлении пользователей Linkedin
Shodan: Поисковая система Shodan Computer, подробнее можно почитать здесь (http://www.shodanhq.com/)
Активные
DNS перебор: атака по словарю
DNS обратный запрос (reverce lookup): Это поможет обнаружить дополнительные хосты
DNS TDL расширение: перебор по словарю TLD
Ключи-опции программы:
-d: Домен, по которому будет осуществляться поиск или название компании
-b: Источник, в котором будет осуществлен поиск (Варианты: google, bing, bingapi, pgp, linkedin, google-profiles, people123, jigsaw, all)
-l: Лимит результатов, которые theharvester будет учитывать. К примеру, при лимите в 50 - будут просмотрены только первые 50 результатов поиска в google
-s: Номер результата, с которого необходимо начать поиск. При -s 50 и -l 100 будут изучены результаты с 50 по 100.
-v: Проверять hostname через DNS и искать виртульные хосты (vhosts)
-f: Сохранить результат в файл. Поддерживается HTML и XML формат
-n: Выполнять обратный запрос DNS (reverse lookup) по всем обнаруженным доменам
-c: Выполнить брутфорс (перебор) всех возможных поддоменов для домена. Словарь для перебора находится в вайле dns-names.txt
-e: Использовать конкретный NS сервер
Пример
Проведем разведку ibm.com. В качестве источников поиска, будем использовать сразу все (-b all) и ограничемся 200 результатми (-l 200)
./theHarvester.py -d ibm.com -b all -l 200
Результат:
[+] Emails found:
------------------
Frischknechtjfrisch@us.ibm.com
Agarwalsaurabhagarwal@in.ibm.com
fagin@almaden.ibm.com
vee@almaden.ibm.com
laura@almaden.ibm.com
lucian@almaden.ibm.com
fufiano@us.ibm.com
kabryson@us.ibm.com
mhson@kr.ibm.com
Janssen@de.ibm.com
reports@us.ibm.com
[+] Hosts found in search engines:
------------------------------------
23.5.132.45:www.ibm.com
198.4.83.38:almaden.ibm.com
129.42.42.133:www-947.ibm.com
170.225.15.24:publib.boulder.ibm.com
129.42.38.1:www-128.ibm.com
204.146.30.17:www-03.ibm.com
204.146.30.32:www-304.ibm.com
129.34.20.3:www.research.ibm.com
129.33.205.80:www-01.ibm.com
129.35.224.116:pic.dhe.ibm.com
23.52.45.35:www.ibm.com
204.146.30.17:www-03.ibm.com
129.34.20.3:www.research.ibm.com
170.225.15.45:www.redbooks.ibm.com
192.109.81.20:www.ecurep.ibm.com
170.225.15.19:techsupport.services.ibm.com
129.33.205.80:www-01.ibm.com
129.34.20.108:domino.research.ibm.com
129.42.42.133:www-947.ibm.com
129.34.20.140:researcher.ibm.com
194.196.36.25:www-05.ibm.com
170.225.15.24:publib.boulder.ibm.com
129.42.160.34:www-933.ibm.com
[+] Virtual hosts:
==================
198.4.83.38 www.almaden.ibm.com
198.4.83.38 www.qbic.almaden.ibm.com
198.4.83.38 ftp.almaden.ibm.com
198.4.83.38 alme1.almaden.ibm.com
198.4.83.38 198.4.83.38
129.42.42.133 www.ibm.com
129.42.42.133 www-947.ibm.com
170.225.15.24 publib.boulder.ibm.com
170.225.15.24 pic.dhe.ibm.com
170.225.15.24 www.ibm.com
170.225.15.24 www.redbooks.ibm.com
129.42.38.1 ibm.com
129.42.38.1 www.lotus.it
204.146.30.17 www.ibm.com
204.146.30.17 www-03.ibm.com
204.146.30.32 www.ibm.com
204.146.30.32 www-304.ibm.com
204.146.30.32 www-03.ibm.com
204.146.30.32 www-01.ibm.com
204.146.30.32 www-950.ibm.com
129.34.20.3 www.research.ibm.com
129.34.20.3 www.haifa.ibm.com
129.34.20.3 www.haifa.il.ibm.com
129.34.20.3 www.trl.ibm.com
129.34.20.3 researchweb.watson.ibm.com
129.34.20.3 www.almaden.ibm.com
129.34.20.3 www.ibm.com
129.33.205.80 www.ibm.com
129.33.205.80 www-01.ibm.com
129.35.224.116 pic.dhe.ibm.com
129.35.224.116 publib.boulder.ibm.com
170.225.15.45 www.redbooks.ibm.com
170.225.15.45 www.ibm.com
192.109.81.20 www.ecurep.ibm.com
170.225.15.19 techsupport.services.ibm.com
129.34.20.108 domino.watson.ibm.com
129.34.20.108 domino.research.ibm.com
129.34.20.108 www.research.ibm.com
129.34.20.140 researcher.watson.ibm.com
129.34.20.140 researcher.ibm.com
129.34.20.140 www.research.ibm.com
194.196.36.25 www.ibm.com
194.196.36.25 www-05.ibm.com
129.42.160.34 www-933.ibm.com
129.42.160.34 www.ibm.com
129.42.160.34 www-912.ibm.com
129.42.160.34 www-01.ibm.com
Отличный результат! Мы узнали много новых точек входа, которые могут быть защищены менее надежно или даже попросту заброшены (test.domain.com, old.domain.com).-http://lirvux.info/poisk-sosednij-domennov-sbor-email-theharvester/#more-49
-- ara_367519 написал 19 декабря 2014 15:34
Иногда возникает необходимость осущесвлять аудит своих ресурсов на предмет обнаружения различных брешей.. тогда для этих целей может весьма сгодится вот этот ресурс -http://www.acunetix.com/free-network-vulnerability-scan/ (он абсолютно бесплатен, но возможности даже очень ничего.. )
-- ara_367519 написал 12 января 2015 12:56
Появился еще один браузер для просмотра заблокированных сайтов.. оф.страница - https://piratesnoop.com (из описания - PirateSnoop сделан на основе SRWare Iron, который, в свою очередь, построен на Chromium. Разработчики SRWare Iron изначально ставили цель защитить пользователей от онлайн-слежки и подобрали набор правильных настроек.
Создатели PirateSnoop с торрент-сайта RARBG добавили ещё одну функцию в стандартный интерфейс Chromium: это симпатичная пиратская кнопочка в правом верхнем углу, рядом с адресной строкой. Нажав её, можно обойти практически любую цензуру.
В отличие от PirateBrowser, здесь не используется сеть Tor, поскольку узлы Tor не допускаются к соединению на многих торрент-сайтах. Вместо этого, трафик идёт по HTTPS через собственную сеть прокси-серверов PirateSnoop. Браузер постоянно обновляет список прокси, если кто-то блокирует их IP-адреса. Новые версии PirateSnoop выходят одновременно с обновлением ядра SRWare Iron.)
-- ara_367519 написал 25 августа 2015 10:33
Geotweet - Social engineering tool for human hacking
Another way to use Twitter and instagram. Geotweet is an osint application that allows you to track tweets and instagram and trace geographical locations and then export to google maps. Allows you to search on tags, world zones and user (info and timeline). Requirements Python 2.7 PyQt4, tweepy, geopy, ca_certs_locater, python-instagram Works on Linux, Windows, Mac OSX, BSD.-http://www.kitploit.com/2015/08/geotweet-social-engineering-tool-for.html
-- anyone написал 28 сентября 2015 11:50
Коллеги, интересует следующий вопрос - какую программу / сервис использовать для мониторинга ряда запросов вида - site: filetype:pdf OR filetype:xls OR filetype:doc
google alerts не подошел, за отсутствием возможности разбивки подписок на категории,
web site watcher - возможно, но нужно узнать каким плагином проверять доки
что посоветуете?
-- ara_367519 написал 21 октября 2015 10:30
Достаточно интересный ресурс, но может пригодиться и для целей КР - showmystreet.com (сервис позволяет находить объеткы и их изображения, симуляция движения по улице..интегрирован с Google maps)
-- ara_367519 написал 28 января 2016 17:21
Сервис для анализа заголовков электронной почты с удобным выводом для использования - www.iptrackeronline.com/email-header-analysis.php
Этот форум работает на скрипте Intellect Board
© 2004-2007, 4X_Pro, Объединенный Открытый Проект