Форум Сообщества Практиков Конкурентной разведки (СПКР)

Феномен Больших Даных в политике, разведке и маркетинге

hrazvedka.ru/blog/anb-glazami-blondinki-post-krajnij-na-temnoj-storone-sily.html

Елена Ларина в материале: "АНБ глазами блондинки. Пост крайний. На темной стороне силы."

"...для Больших Данных важны не фамилия, имя, отчество человека и т.п., или как принято говорить – персональные данные, а набор признаков и характеристик этого человека, как некоей единицы, включаемой в ту или иную группу.

Один из мировых авторитетов в сфере теории сложности и синергетики Георгий Малинецкий недавно сказал, что только 23% данных носят осмысленный для человека характер и лишь 3% из них реально используются при решении тех или иных практических задач. Самое главное в этих цифрах состоит в том, что человек думает, а машина считает. Соответственно, информация, бросовая для человека оказывается вполне пригодной для машины. Большие Данные включают не три, и даже не двадцать три процента, а с гораздо большую долю структурированной и неструктурированной информации. По оценке экспертов IBM она в настоящее время доходит до 50%, а в перспективе возрастет до 75%.

Что могут дать Большие Данные? Приведу только один хрестоматийный пример. Крупная американская торговая компания Target сформировала огромную базу данных покупателей и покупок . Аналитики компании выделили часть базы со списком покупательниц, о которых известно, что у них уже родился ребёнок, и стали изучать, чем отличаются покупки, которые они делали до беременности, от покупок во время вынашивания ребёнка.

Оказалось, что в первые двадцать недель беременности многие покупают минеральные пищевые добавки. Другой признак: они начинают приобретать вату и мыло без запаха в куда больших количествах, чем прежде. Если несколько подобных признаков совпадает, то вероятность того, что покупательница беременна, очень велика. А значит, можно бомбардировать её рекламой и скидочными купонами на товары для новорождённых.

Точность метода оказалась настолько высокой, что едва не привела к скандалу. Компания стала получать жалобы от обескураженных родителей, не понимающих, почему магазин предлагает их несовершеннолетним дочерям скидки на пелёнки и кроватки для грудничнов. Оказалось, что алгоритм Target заметил беременность раньше родственников.

В АНБ на сегодняшний день сформированы аналитические алгоритмы и написаны программы, позволяющие осуществлять анализ и прогноз в самых различных сферах и видах деятельности для различных стран, социальных и этнических групп и т.п. По сути АНБ представляет собой сегодня Базу Баз Больших Данных с соответствующими программными средствами ее переработки. Именно для этого сейчас в Юте заканчивается строительство огромного Data Центра. Именно поэтому, несмотря на все разоблачения Сноудена, Американский Конгресс при всей непростой финансовой ситуации США беспрекословно финансирует программы АНБ, а Барак Обама готов защищать АНБ от любой критики с совершенно неординарной жесткостью.

Хорошо известно, что маркетинг, в конечном счете, представляет собой методы принуждения к потреблению. Иными словами, современный, привычный для жителей разных стран мира маркетинг – это не что иное, как программирование их поведения. Большие Данные позволяют осуществлять это программирование с невиданной прежде эффективностью. Кроме того, они дают возможность расширить сферу программирования поведения с потребительской сферы на любые другие.

Представляется, что перспективная ключевая задача экосистемы АНБ – это отнюдь не индивидуальная слежка за пользователями интернета. Это слишком мелко для многомиллиардных расходов. Задача стоит гораздо более масштабная. Крупнейшая в мире фабрика по обработке Больших Данных является одним из двух важнейших элементов создания системы управления поведением сколько угодно больших групп населения самых различных стран мира".

Вы, наверное, имели ввиду закон Больших чисел Чебышева?

ПростоТихонов написал:

[q]

Возможно я ошибаюсь

[/q]

Ошибаетесь не возможно, а точно. Для начала, корреляция, как известно опять же из института ничего не говорит о причинно-следственных связях, а лишь о степени согласованности изменения переменных. Я уже не говорю о том, что все давно знают, что для социальных систем в большинстве случаев действует не гаусово распределение, т.е. по среднему значению, а так называемое распределение Ципфа-Парето. Но дело даже не в этом. Конечно, аппарат мат.статистики там используется. Но не он является главным. На первых ролях такие разделы математики, а соответственно, и построенные на их основе алгоритмы, как теория распознавания образов, нейронные сети, нечеткие вычисления и много чего другого. Конечно, можно сказать, что в конечном счете все это - математика. Но, кстати, интересно, что наиболее продвинутые программы в области интеллектуального анализа Больших Данных используют не привычную математику, базирующуюся на теории множеств, которой посвятили свои тома "Оснований математики" Н.Бурбаки (псевдоним), а на теории категорий и функторов. Вот такие дела.

ПростоТихонов написал:

[q]

фразы все давно знают, что... вызывали презрительные ухмылки.

[/q]

Замечу, что описанная Вами презрительная ухмылка - ровно тот же стереотип, что и "все давно знают". Просто для другого сообщества - считающего себя (и даже, возможно, не без оснований) отличающимся от общей популяции в лучшую сторону. Ведь это ситуация, когда "Все давно знают, что фраза "все давно знают" должна вызвать презрительную ухмылку" :)

На мой взгляд, тут положение вещей похоже на таковое при "невербальном языке". Когда там написано, что при лжи люди почесывают нос - это не значит, что ВСЕ и ВСЕГДА делают так. Это значит лишь, что вранье ЧАСТО сопровождается почесыванием носа, но вообще-то "все давно знают" (проверив на себе, например), что нос может чесаться и без вранья, а отдельные уникумы умеют врать не только не краснея, но и не почесывая носа.

Elena_Larina написал:

[q]

все давно знают, что для социальных систем в большинстве случаев действует не гаусово распределение, т.е. по среднему значению, а так называемое распределение Ципфа-Парето

[/q]

Elena_Larina написал:

[q]

естественные процессы подчинены Гаусовому распределению, и соответственно, на них построена статистика, а социальные процессы описываются распределением Лотки-Парето

[/q]

Так "Ципфа-Парето" или "Лотки-Парето"?