Форум Сообщества Практиков Конкурентной разведки (СПКР) » Общие вопросы конкурентной разведки » Александр Митрофанов: Массивы данных сменились потоками. |
<<Назад Вперед>> | Страницы: 1 2 | Печать |
Игорь Нежданов
Модератор форума
Прагматик Откуда: Советский Союз Всего сообщений: 1025 Рейтинг пользователя: 13 Ссылка Дата регистрации на форуме: 7 июня 2009 |
CI-KP написал: Я как раз то же самое сказать хотел. А штатные программы по работе с базами данных с сегодняшними объемами нормально справляются? К примеру, если Твиттер начнет грузиться автоматически с пары сотен аккаунтов - переварит? По скольку более или менее знаком с Кроносом, то скажу о нем - переварит. Сотни миллионов записей - без проблем. ---
Есть вопрос - спрашивайте. На прямой вопрос будет прямой ответ... Лаборатория Перспективных Разработок |
CI-KP
Администратор
Откуда: Екатеринбург Всего сообщений: 5565 Рейтинг пользователя: 24 Ссылка Дата регистрации на форуме: 15 мая 2009 |
Игорь Нежданов написал:
Понятно. Спасибо. ---
Ющук Евгений Леонидович, профессор УрГЭУ. www.razvedka-internet.ru; www.ci-razvedka.ru Не всегда нужно стремиться совершать кражу со взломом там, где можно войти через дверь. |
Vinni
Администратор
Всего сообщений: 2136 Рейтинг пользователя: 22 Ссылка Дата регистрации на форуме: 5 июня 2009 |
Игорь Нежданов написал: По скольку более или менее знаком с Кроносом, то скажу о нем - переварит. Сотни миллионов записей - без проблем. Oracle тоже. В промышленных реляционных БД такие же объемы. Хотя, вопрос - нужно ли хранить в БД всю информацию? Тот же Аваланч хранит в отдельных файлах загруженные страницы и новости, а в БД только информацию о рубрикации и общую информацию о странице (откуда, когда, где хранится и т.д.). И в одной системе, расчитанной на колоссальный объем, я видел, что БД не используется, а используются специфические индексные файлы, ускоряющие поиск по тем или иным атрибутам информационного блока. |
<<Назад Вперед>> | Страницы: 1 2 | Печать |
Форум Сообщества Практиков Конкурентной разведки (СПКР) » Общие вопросы конкурентной разведки » Александр Митрофанов: Массивы данных сменились потоками. |
Самые активные 20 тем | |