Александр Митрофанов: Массивы данных сменились потоками.

Форум Сообщества Практиков Конкурентной разведки (СПКР)

Конкурентная разведка, Бизнес-разведка, Корпоративная разведка,
Деловая разведка по открытым источникам в бизнесе.
Работаем строго в рамках закона.

Дезинформация и активные мероприятия в бизнесе
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Общие вопросы конкурентной разведки »   Александр Митрофанов: Массивы данных сменились потоками.
RSS

Александр Митрофанов: Массивы данных сменились потоками.

<<Назад  Вперед>>Страницы: 1 * 2
Печать
 
CI-KP
Администратор

Откуда: Екатеринбург
Всего сообщений: 5565
Рейтинг пользователя: 24


Ссылка


Дата регистрации на форуме:
15 мая 2009
Игорь Юрьевич Нежданов, на мой взгляд, верно прокомментировал в моем блоге:
"Совершенно справедливо - сейчас всё большее значение приобретают именно потоки, а статические базы утрачивают свое значение. И именно по тому, что базы статичны".

---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru
Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь.
hound
Гость

Ссылка

[q=CI-KP] И именно по тому, что базы статичны". [/q]
Я полагаю, другой причиной является резкое возрастание объемов информации.
CI-KP
Администратор

Откуда: Екатеринбург
Всего сообщений: 5565
Рейтинг пользователя: 24


Ссылка


Дата регистрации на форуме:
15 мая 2009

hound написал:
[q]
Я полагаю, другой причиной является резкое возрастание объемов информации.
[/q]

Все же дело не в объемах, а в скорости. Скорости принятия решения оппонентами и скорости реагирования. Она возросла.
Вторая причина - в том, что появились новые каналы коммуникации, в которых данные рождаются, и одновремено появились средства контроля за этими каналами. Тот же Твиттер или блоги. Сегодня есть возможность в реальном масштабе времени все это видеть. И даже влиять на ситуацию - в т.ч. и на информационном уровне.

---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru
Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь.
hound
Гость

Ссылка

[q=CI-KP]Все же дело не в объемах, а в скорости.[/q]
Скорость, безусловно, да. Но объем, полагаю, тоже немаловажный фактор. Ее просто банально - ОЧЕНЬ много. И поэтому нельзя - сначала накопить, потом выбрать. Пока накапливаешь - появится новая, и так до бесконечности. А до "выбора" нужной уже и руки не дойдут.
Игорь Нежданов
Модератор форума
Прагматик
Откуда: Советский Союз
Всего сообщений: 1025
Рейтинг пользователя: 13


Ссылка


Дата регистрации на форуме:
7 июня 2009

hound написал:
[q]
Я полагаю, другой причиной является резкое возрастание объемов информации.
[/q]

С объемами проблем нет. Проблема именно в скоротечности.


hound написал:
[q]
Пока накапливаешь - появится новая, и так до бесконечности.
[/q]

Это и показатель скоротечности. А объемы перерабатываемы.

---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок
hound
Гость

Ссылка

[q=Игорь Нежданов]А объемы перерабатываемы. [/q]
Конечно - в КР. Сорри, внимательно не прочитал... Все это ведь именно о КР...
Посыпаю голову пеплом.
CI-KP
Администратор

Откуда: Екатеринбург
Всего сообщений: 5565
Рейтинг пользователя: 24


Ссылка


Дата регистрации на форуме:
15 мая 2009

Игорь Нежданов написал:
[q]
Это и показатель скоротечности. А объемы перерабатываемы.
[/q]

Я как раз то же самое сказать хотел. А штатные программы по работе с базами данных с сегодняшними объемами нормально справляются? К примеру, если Твиттер начнет грузиться автоматически с пары сотен аккаунтов - переварит?

---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru
Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь.
Игорь Нежданов
Модератор форума
Прагматик
Откуда: Советский Союз
Всего сообщений: 1025
Рейтинг пользователя: 13


Ссылка


Дата регистрации на форуме:
7 июня 2009

CI-KP написал:
[q]
Я как раз то же самое сказать хотел. А штатные программы по работе с базами данных с сегодняшними объемами нормально справляются? К примеру, если Твиттер начнет грузиться автоматически с пары сотен аккаунтов - переварит?
[/q]

По скольку более или менее знаком с Кроносом, то скажу о нем - переварит. Сотни миллионов записей - без проблем.

---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ...
Лаборатория Перспективных Разработок
CI-KP
Администратор

Откуда: Екатеринбург
Всего сообщений: 5565
Рейтинг пользователя: 24


Ссылка


Дата регистрации на форуме:
15 мая 2009

Игорь Нежданов написал:
[q]

По скольку более или менее знаком с Кроносом, то скажу о нем - переварит. Сотни миллионов записей - без проблем.
[/q]

Понятно. Спасибо.

---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru
Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь.
Vinni
Администратор

Всего сообщений: 2136
Рейтинг пользователя: 22


Ссылка


Дата регистрации на форуме:
5 июня 2009

Игорь Нежданов написал:
[q]
По скольку более или менее знаком с Кроносом, то скажу о нем - переварит. Сотни миллионов записей - без проблем.
[/q]


Oracle тоже. В промышленных реляционных БД такие же объемы.

Хотя, вопрос - нужно ли хранить в БД всю информацию? :wink:
Тот же Аваланч хранит в отдельных файлах загруженные страницы и новости, а в БД только информацию о рубрикации и общую информацию о странице (откуда, когда, где хранится и т.д.).

И в одной системе, расчитанной на колоссальный объем, я видел, что БД не используется, а используются специфические индексные файлы, ускоряющие поиск по тем или иным атрибутам информационного блока.

<<Назад  Вперед>>Страницы: 1 * 2
Печать
Форум Сообщества Практиков Конкурентной разведки (СПКР) »   Общие вопросы конкурентной разведки »   Александр Митрофанов: Массивы данных сменились потоками.
RSS

Последние RSS
Англоязычный интерфейс программы "Сайт Спутник"
Учебник по конкурентной разведке
Конкурентная разведка: маркетинг рисков и возможностей
Книга "История частной разведки США"
Книга "Нетворкинг для разведчиков"
Поиск и сбор информации в интернете в программе СайтСпутник
Новые видеоуроки по программе СайтСпутник для начинающих
Технологическая разведка
SiteSputnik. Мониторинг Телеграм
СайтСпутник: возврат к ранее установленной версии
SiteSputnik. Доступ к результатам работы из браузера
Анализ URL
Браузер для анонимной работы
Топливно-энергетический комплекс
Профессиональные сообщества СБ
Несколько Проектов в одном, выполнение Проектов по частям
SiteSputnik-Bot: Боты в программе СайтСпутник
К вопросу о телеграм
SiteSputnik: Автозамены до и после Рубрикации или Перевода
Демо-доступ к ИАС социальных сетей

Самые активные 20 тем RSS