Развитие технологий позволило людям оцифровывать практически весь окружающий мир, при этом с довольно высокой степенью детализации. Этот процесс породил и порождает ежесекундно гигантские массивы данных, которые поступают от всевозможных приборов: цифровых датчиков, сенсоров, видеокамер, оборудования для научных и медицинских исследований и так далее. Один из самых влиятельных специалистов по изучению данных, профессор MIT Алекс Пентланд рассказывает, как может измениться мир при помощи Big Data.

Что такое Big Data?

Я полагаю, что сильной стороной Big Data является то, что это информация о реальном поведении людей, а не об их убеждениях. Я сейчас не говорю о том, что люди публикуют на своей странице в фейсбуке, не говорю о поисковых запросах в Google, хотя многие подумали именно про это. Ваши посты в фейсбуке — это то, чем бы вы хотели поделиться, подделанное под сиюминутные стандарты. Но настоящие вы определяетесь тем, с кем и как вы проводите свое время, что вы покупаете. То есть Big Data — это массив информации о человеческом поведении в реальной жизни, анализируя которую ученые могут многое сказать о нас.

Такого рода данные можно получить из геолокации мобильного телефона или считать с кредитной карты. Это как крошки, которые вы оставляете за собой по мере того, как движетесь. Стоит отметить, что ключевым моментом здесь являются именно связи между людьми. В большинстве случаев ученые пытались разобраться в таких явлениях, как, например, экономические пузыри, применяя методы веб-науки или науки о сложных системах. Однако эти старые подходы оставляли человеческий фактор за скобками уравнения. То, что действительно имеет значение, — это как механизмы и техника связывают людей и как благодаря этому создаются финансовые рынки, правительства, компании, другие социальные структуры. Для более глубокого изучения этих важных связей Азу Оздаглар и я создали лабораторию в MIT — Center for Connection Science and Engineering.

Случайные связи

Однако объемы информации такие большие, что какой бы вы ни задали вопрос, то получите статистически обоснованный ответ. Как ни парадоксально, но это означает, что применяемый научный метод больше не работает, ведь почти все становится значимым! Следовательно, традиционная парадигма вопрос-ответ, которой мы пользовались на протяжении веков для построения различных систем, начинает трещать по швам.

Прибегая к Big Data, можно легко сделать неправильные выводы о взаимосвязях. К примеру, люди, которые по понедельникам ездят на работу на машине, более склонны к гриппу. Если вы применяете традиционные методы обработки информации, которая вероятно правдива, задача не решается. Проблема кроется в том, почему эта информация правдива? Случайность ли это? Вы не можете быть уверены, и традиционные аналитические методы не в состоянии дать ответы на эти вопросы. Мы вынуждены вплотную столкнуться с новыми способами проверки случайности связей в реальном мире.

Big Brother

Другой важной стороной работы с Большими данными является тот факт, что информация, связанная с людьми, имеет в большинстве своем много степеней защиты. Можно представить, что Big Data позволит создать мир, где за всеми наблюдает Большой Брат.

Если бы можно было следить за всеми людьми в любое время, смотреть, что они делают, с кем проводят время и так далее, можно было бы создать совершенно иной мир. Было бы реально смоделировать транспортную систему, систему энергетики и здравоохранения, которые бы работали намного лучше. Размышления о контактах между людьми, о работе с компьютерными системами, о роли информации привели меня к осознанию того факта, что мы находимся на пороге больших перемен. Мы отходим от идей эпохи Просвещения о классах и рынках и приближаемся к пониманию важности взаимосвязей между индивидуумами и построению систем, основанных на доступе к информации. Возникновение подобного мира превратило бы Джорджа Оруэлла в третьесортного журналиста со скудной фантазией. Но ведь писатель не осознавал того, что, наблюдая за поведенческими паттернами, можно определить, за кого люди хотят отдать голос на выборах или как они отреагируют на изменения в законодательстве. В принципе, можно было бы построить нечто, на первый взгляд, похожее на империю зла. И, не сомневаюсь, что кто-то попробует сделать именно это. Становится очевидным, что нужно глубоко задуматься о защите информации.

Кому принадлежит информация?

Как извлекать нужную информацию? Во-первых, нужно понять, кому она принадлежит. Владеет ли ей телефонная компания только лишь потому, что данные были получены, пока вы говорили по мобильному телефону? Возможно, у них есть какие-то права на использование этой информации. Владельцы наиболее ценной информации — это банки, телефонные и медицинские компании. Их деятельность строго контролируется и, как следствие, они не могут использовать данные с выгодой для себя до того, как получат согласие, как от клиента, так и от высших инстанций, следящих за их деятельностью.

В обществе, управляемом системой Big Data, большинство основополагающих идей и представлений о мире меняется радикальным образом. Например, Адам Смит и Карл Маркс ошибались, ну или, по крайней мере, ответили лишь на небольшое количество вопросов. Почему? Потому что они говорили о рынках и классах, то есть о совокупных величинах. Это усредненные значения. Однако социальные явления состоят из миллионов взаимосвязей между непосредственно людьми. Эти взаимосвязи — не нечто усредненное, это то, что приводит к внезапным обвалам рынка или Арабской весне.

Информация об индивиде становится более ценной, если ей можно делиться. Данные о том, как вы себя ведете, куда ходите, например, может быть использована системой здравоохранения для предотвращения инфекционных вспышек. Если наблюдать за людьми в режиме реального времени, сегодня это вполне осуществимо, можно сказать, кто и когда заболевает. Таким образом можно проследить, как болезнь распространяется. А если вы можете это видеть, значит можете это остановить или предотвратить, и следовательно, начать строить мир, где пандемия уже не так опасна.

То же самое с глобальным потеплением. Мы знаем, каким образом мобильность влияет на выбросы газов, следовательно, можно конструировать такие города, которые были бы более рациональны, ориентированы на человека и потребляли в разы меньше энергии.

Отсутствие понимания

Еще одной проблемой можно назвать понимание. Когда вы выявляете взаимосвязь, которая работает, вам бы хотелось выстроить новую систему, что требует от людей, задействованных в этой взаимосвязи, понимания происходящего. Менеджеры и владельцы должны отдавать себе отчет в том, какое значение имеет то, что они делают. Между человеческой интуицией и миром Больших данных должен быть налажен диалог. Правда, в настоящее время это в новинку для большинства управленческих систем. Менеджеры редко представляют, как использовать Big Data и что это вообще такое.

По правде говоря, у самих специалистов по работе с данными мало интуиции в таких делах. И это уже реальная проблема. Недавно я наткнулся на такую статистику: 70 или 80% результатов исследований, которые мы находим в компьютерной литературе, вероятно, нерелевантны, поскольку ученые, не осознавая этого, просто пытались подогнать полученные данные. Они выбирали какую-то модель, получали хорошие цифры и публиковали свои исследования, а рецензенты даже этого не понимали. Это весьма прискорбно, потому что, если мы начнем строить наш мир на таких вот результатах, то кончим тем, что поезда будут врезаться в стены, ну и тому подобное.

Поразительная, по крайней мере, для меня, вещь заключается вот в чем: теперь мы можем следить за динамикой социальных взаимодействий, к чему она ведет, можем не ограничиваться рассуждениями о средних величинах, таких как рыночные индексы. Возможность наблюдать за изменением рынка во всех подробностях или, например, за зарождением политических революций означает также и возможность контроля за этими процессами. Big Data может быть использована во благо или во вред, но как бы то ни было, она приведет нас в новую интересную эпоху. Мы вот-вот изобретем человеческое общество заново.

Прекрасное будущее

Эти коренные изменения отсылают нас к тому, о чем я говорил ранее. Сегодня социальные системы строятся на усредненных данных, к примеру: этот класс людей делает то-то, этот рынок имеет такую динамику развития. На самом же деле они состоят из миллионов и миллионов маленьких связей и действий, и при помощи Big Data мы можем заняться разработкой вещей, которые работают непосредственно на личном уровне. В то же время существуют некоторые вдохновляющие вещи в этом новом мире, где правит информация. Для сравнения, самыми надежными архитектурными конструкциями считаются те, в которых нет центральных точек опоры. То есть применительно к миру в целом это значит, что диктатору не удастся установить контроль над обществом, где информация общедоступна.

Я предполагаю, что организации, устанавливающие жесткие ограничения на использование информации, в конце концов исчезнут, поскольку возникнет жесткая конкуренция со стороны тех, кто открыто предлагает информацию и не пытается в свою очередь владеть вашими данными.