Рэнди Брин
Исполнительный директор Emotiv, занимается разработкой и производством игр, менеджментом и развитием бизнеса, создал более 50 игр.
Лекция подготовлена Стэнфордским университетом. Пожалуйста, посетите наш сайт www.stanford.edu
Эта презентация подготовлена Профессиональным Отделением Стэнфорда.
Демонстрация интерфейса "Мозг-Компьютер" с использованием Emotiv Epoc. Рэнди Брин.
Сегодня мы будем говорить о демонстрации интерфейса "Мозг-Компьютер" с использованием
прибора Emotiv Epoc. Немного истории. В 1974 Научно-исследовательский институт проводил такие исследования,
он был похож на этот, только более примитивный, в котором вы могли работать
после нескольких тренировок "Фай, а, эй, ти, ти, уай", просто думая слова.
Если кому интересно, как это всё работало, я поместил отчёты
на веб-сайт. Сегодня мы посмотрим на современную конструкцию для игрового мира. Наш выступающий Рэнди Брин из Emotiv Systems,
и он сделал больше игр, чем кто-либо во Вселенной. Возможно. В любом случае, большинство из них невероятно успешны для
этого девайса. - Привет всем. Я Рэнди Брин. Со мной Марк Дэлаторрио из Emotiv Systems. Он исследователь
из Сиднея, где была его исследовательская лаборатория. Сейчас его перевели в Сан-Франциско, в наш бизнес-офис. Там в основном
рекламная продукция для системы. Что мы будем делать сегодня? Покажем, что
планируем делать для покупателей, то же, что вы видите и сейчас, только у нас тестовое оборудование. В него включено
устройство для головы - беспроводной электроэнцефалограф, который передаёт сигналы
на ваш ПК, тут особый передатчик. На ноутбуке специальная программа, которая воспринимает эти сигналы
и преобразует их в решения на основе состояния. Эти состояния достаточно определённые. Вам не нужно
беспокоиться о том, что нужно представить текст и пропеть его перед экраном. Конечно, это возможно,
но такая форма работы не будет популярной. Мы думаем об этом девайсе как о
простой форме интерфейса "Человек-компьютер". На данный момент у компьютера только та информация, которую вы ему даёте.
Вы контролируете ваше общение. Все эти действия делаются намеренно. Проблема в том,
что нормальное общение выглядит по-другому. В реальной жизни при разговоре мы обмениваемся информацией,
происходит много всего другого. Это естественное общение. Мы передаём разные аспекты информации и транслируем их.
Это важно, потому что если у нас будет только "голая" информация, нам будет трудно уловить основную идею.
Мне кажется, я хочу это подчеркнуть, это очень важная пропущенная нами брешь.
Поэтому нам трудно понять устройство. Поэтому мы начнём сначала и попытаемся
продемонстрировать практическое применение в небольшой срок. Что вы видите на экране? Это устройство для головы,
созданное для продажи, именно такое устройство показываем и мы. Только у нас тестовое оборудование.
Но в течение года мы хотим, чтобы этот набор поступил в продажу. Сейчас у нас оборудование немного отличается форм-фактором,
но если вы заметили, то электроника, батарея, беспроводное подключение,
программное обеспечение для ПК - всё остальное будет похоже на использованное нами сегодня. Эта гарнитура
надевается сзади. Вот эта часть наверху. Это сделано в целях эстетики, практичности
и удобства. Дизайн у нас создавался для таких же целей. Он облегающий, автоматически обнаруживает устройство передачи сигнала,
подходит для большого разнообразия голов, быстро одевается. Это был реальный вызов для дизайнеров.
Я пришёл в компанию через два года после запуска разработки. Как раз шла работа в Сиднее.
Как раз приходило осознание того, что можно уместить в маленькую форму. В лаборатории
мы начали тестировать устройство при помощи эмоций, в частности возбуждения. Потом мы поняли, что у нас нет физической системы обработки,
и нам нужно было придумать, как это всё сделать, поэтому я сфокусировался на том, как помочь компании понять,
какую работу нам нужно проделать и продемонстрировать это на практике. На слайде можно заметить, о каком практическом применении
я говорю. Некоторые пункты очевидны, некоторые не очень. Но сейчас
самое простое решение - использовать для игр. Для семантических интерфейсов. Мы видим это расширение в будущем,
но пока не даём примеры, почему. Ещё мы видим потенциал в том, чтобы расширить своё присутствие в виртуальном пространстве.
В играх, но ещё и в социальных сетях. Но это всё зависит от инструментов, которые ещё не создали. Если вам придётся
создавать своего персонажа и задумываться о том, какие у него движения и анимация, тогда вы не сможете
концентрироваться на самих ощущениях. Есть другой способ подумать над этой проблемой. Вот вы к примеру идёте
и задумываетесь над тем, как вас воспринимают остальные, вам приходиться волноваться о мелких деталях лица, о ваших движениях, как вы
говорите. Вы будете думать только об этом. Как, например, некоторые люди не могут говорить
перед толпой. Потому что они концентрируются на своих мыслях, а не на том, что следовало бы говорить. Это тот самый
мост, который мы хотим наладить. Которым мы хотим закрыть ту брешь, и создать инструменты, которые позволят осуществлять
естественный контроль над движениями персонажа, и позволят человеку принять участие в этом мире. Немного статистики.
Кому-то это может показаться очевидным, но количество людей, проводящих время в интернете, что и так понятно, а может и нет, значительно больше,
чем людей, проводящих время в виртуальных мирах с точной проекцией их самих. Один из примеров - World of Warcraft,
хардкорные игроки проводят в среднем 20 часов в неделю за этой игрой. Это только разновидность,
но в марте этих игроков было 10 миллионов. Это только одна игра. Мы знаем то, что людям нужно общение в интернете. Самый очевидный пример -
Facebook. Проблема только в том, что его преимущества не совсем социальные. Его можно использовать как
рекламную площадку, но там нет медийного обмена идеями. Между этими видами активности существует взаимное притяжение.
Мне кажется, вы скоро увидите некоторые существенные проекты с быстрорастущей популярностью
Мы также понимаем потенциал в использовании этого девайса для расширения возможностей проектов. Мы не думаем, что
джойстик или клавиатура помогут. Сможем сделать такие проекты, для которых эти контроллеры будут неудачным решением. Ещё один пример -
Гарри Поттер. Мир магии, телекинеза. Это очень старая идея. Это универсальная сказка для всех
культур. Мы обнаружили, что мы можем использовать эти технологии и в развлекательной среде. Это
будет гораздо увлекательней, нежели при помощи механических интерфейсов. Мы это чуть позже
продемонстрируем. В общем, идея для потребительского продукта
состоит в том, что прийти на рынок со своей гарнитурой, со своим дизайном. Можно думать об этом как о Guitar Hero. Там есть и программа,
и аппаратура. И у этих двух наборов даже схожие концепты. Ещё мы хотим придать больше важности этому набору для тех,
кто уже задумал купить эту гарнитуру. Мы хотим объяснить разработчикам, как можно пользоваться этим устройством. Мне кажется,
с нашей стороны это просто важнейшая задача, потому что гарнитура очень сильно отличается и в хорошую сторону от нынешнего аналога тем, что она делает и как её использовать.
Но для идеи с Гарри Поттером, о которой я упоминал, мы можем использовать эмуляцию клавиатуры, чтобы точнее определить,
как нам пользоваться гарнитурой. Потом посмотреть демонстрацию. И сможете играть так, как вам нужно. Это несколько тривиально,
но у нас был один забавный пример. Дети играли с этой системой, и 9-ти, 10-ти, 12-тилетние дети играли в Гарри Поттера.
Один из них сказал так: " Я играю им так, как им нужно играть". Они полностью контролируют персонаж. Каким-то
образом его ощущая. Когда они играли с гарнитурой, они наблюдали, как перемещается объект, которому они мысленно говорят перемещаться.
Они говорили, что ощущали себя Гарри Поттером. Эта информация очень важна. Ядро всех семантических и естественных
интерфейсов - это то, что вы не управляете персонажем при помощи кнопок или команд.
И мне кажется, что мы нашли новый рынок. Рынок за пределами игрового.
Это просто здорово, когда люди могут делать что-то так, как они ожидают и не задумываясь о том, как это делать.
Ещё одна вещь, которую я хочу упомянуть. Мы понимаем возможности
практического использования устройства компаниями. Мы верим, что возможно будет
определять персональное влияние и использовать эту информацию для отображения её в виртуальном пространстве. Мы хотим обеспечить
необходимые инструменты, с помощью которых это можно делать. Мы также хотим создать место для креативных людей, которые создавали бы свои дополнения
для разных приложений, куда их можно будет загружать. Для таких, которые купят гарнитуру и будут творить.
Это всё будет возможно в онлайн-сообществе для пользователей гарнитуры.
Опять повторюсь, у нас беспроводное устройство, это электроэнцефалограф, с очень чётким
сигналом. Он обрабатывает сигналы и передаёт их на ресивер, на ПК. Просто передача.
А потом система уже думает, как это приспособить к приложению. Я хотел сказать,
что в системе есть гироскоп. Так что ваши движения головой будут контролировать движения головой вашего аватара.
Движения виртуального персонажа очень важны. Из них мы получаем много информации. Это одна из форм общения.
На словах всё звучит просто. Но на практике мы пытаемся перенести те идеи, которые используются при общении.
Мы думаем, что тут достаточно чувствительности, которую можно использовать вместо контроля мыши для работы с приложениями.
Можно вообще не использовать руки. Или контроль камер. В таком случае движения джойстика должны отвечать за поворот головы,
чтобы можно было работать с пространством. Сейчас я хочу рассказать о рыночной стратегии и том,
что мы делаем и почему. Мы в компании имеем своё видение на создание приложений для этого устройства.
Но ещё важно вывести его на рынок так, чтобы оно было успешным. Это ещё должно дополняться ощущением людей
о том, что это важно. И если представить все сферы пользования этой гарнитуры, в играх,
что самое очевидное, и для этого есть много причин. Первая и самая важная - если вы подумаете о технологиях, которые можно
привнести в ваш дом. И вообще все компьютеры и приставки стали популярны из-за игр: в них вкладываются деньги,
в них нравится играть. Когда я работал в игровой индустрии, рутиной было доказать, что купленная вами игра
оправдывала затраты на ваш дорогой компьютер. И показывать друзьям, как круто выглядит то,
что может быть возможно в будущем. И в некотором смысле так до сих пор и остаётся. Графика в играх
толкала индустрию вперёд много лет. Мы дошли до той точки, когда начала убывать доходность. Будет подниматься реализм,
вместе с ним и повыситься стоимость разработки. И это не просто как сделать модели персонажей. Нужно придать визуальность
целому миру, в котором и будут жить эти персонажи. Если будет высокодетализированный персонаж, то и мир вокруг него
должен быть таким же, чтобы не было расхождений. Он ещё не должен просто правильно выглядеть, но и правильно взаимодействовать. Взаимодействовать так,
как вы это представляете. Мы поняли этот мир. Качество отрисовки также влияет на ощущения.
Другое дело, когда ограничен интерфейс. В большинстве случаев он гораздо
запутаннее, чем должен быть. Интересно, что графика развивалась интенсивно, а ИИ - нет. Физика начала прогрессировать
вот совсем недавно. Это очень важный момент, нужный для полноты картины. При всём уважении к персонажам,
они ничего не знают о пользователе. Если игрок что-то испытывает, он хочет общаться с персонажем. Сейчас вы можете только что-то ему передать, ударить
вы можете что-то сделать, пусть даже что-то ужасное, им не интересно. Я говорю о взаимодействии с персонажами.
В результате страдает история. И взаимодействия этих персонажей ограничено. Мы считаем эту область
важной для индустрии и важной для нас. На этом слайде обобщено развитие игры
за последние 30-35 лет. Мы начинали с двух цветов - белого и чёрного, если их можно назвать "цветами".
Контроллеры от всех приставок практически не менялись. Их природа схожа. На них
8 кнопок. Нужно постоянно нажимать на джойстик. Но функционально они не отличаются от предшественников. И ничем не менялись.
Недавно мы увидели новые тренды для семантических устройств. Они просто повторяют интерфейсы из реального
мира. Но их назначение более понятно, чем при использовании нынешних девайсов.
Я могу привести ещё примеры, но я хотел бы рассказать о NintenDogs.
Это игра, где ты тренируешь виртуальную собаку, говоришь с ней. Там есть распознавание речи. Это гораздо больше
подходит для обмена ощущениями, чем управлением животным с джойстика. Или Wii, самое неординарное из современных устройств.
Потому что это кросс-платформенная приставка, и ощущения от игры в компании совсем другие. Опять-таки, интерфейсы
"Мозг-компьютер" мы считаем самыми подходящими для игр, нежели другие контроллёры.
И мы думаем, что этот кусочек мозаики нужен индустрии. Идея приспособить его к играм второстепенна.
Это другой способ взаимодействий, а не просто управление компьютером.
Я хочу детальней описать то, что мы делаем. Система ЭЭГ: низкая задержка,
портативность, дешевизна, пассивно и неинвазивно. Внутри определения...
у нас есть три разных системы определения, в разных наборах: это впечатлительный набор,
Аффективный - определяет эмоции. И когнитивный.
То есть способность управлять событиями при помощи психики. Для каждого набора
разные приложения. В некоторых случаях можно использовать их все. В других - какие-то отдельные.
Мы выпускали SDK, который позволяет прикоснуться ко всем этим программам. Использовать то,
что нужно приложению. Но... простите.
Извините. Следующий наш пункт - наборы для разработчиков.
Можно вопрос? Фактически это просто сенсоры, прикреплённые к голове. - Да.
Они концентрируют очень малое количество электроволн на поверхности головы.
Как вы настраиваете устройство для работы с маленькими игроками, 12-14 лет,
- И есть ли отдельный процессор для распознавания сигналов мозга? - Нет. Есть некоторые процессы в самом интерфейсе,
но они все обусловлены. Процессы передачи сигнала отвечают за доставку сигнала на ПК. Определение -
находит их на ПК. Так что там много процессов. Это может быть как отдельный процесс,
либо может быть отдельное приложение. - Вы уже говорили о числах. Вот первые числа - это были события, получаемые во время тестов,
- А другие цифры это количество событий, которых вы ожидаете? -Да. В общем, события
мы уже поставляем вместе с приложением. Мы покажем панель задач,
чтобы вам было понятнее. Готов?
Хорошо. В общем...
Ну наконец. Сейчас вы смотрите на наш набор, который позволяет наладить связь
с гарнитурой. И позволяющий определять сигналы. Если использовать его как часть приложения, то можно будет это отлаживать прямо в приложении.
У нас есть небольшой виджет, который может запускаться отдельно. Если запустить его в Windows,
то можно будет сделать эмуляцию клавиатуры. Запускать его нужно отдельно с Панели задач.
Он запускается под приложением для нашего девайса. Самым первым вы увидите экран установки.
Он будет просто показывать вам, откуда идут сигналы. Всё это дублируется в правом верхнем углу.
Есть небольшая инструкция о качестве сигнала. Нам важны лишь эти три вкладки, которые отвечают
за три набора определений. Начнём мы с аффективного, простите, с впечатлительного.
Вы видите очень простой аватар. Справа вы видите то, что происходит, в зависимости
от действий Марко. Марко, можешь сесть немного по-другому? А то у тебя тень
на глаза падает.
Хорошо. Вы видите события
как отметки на графике. Верхняя полоса показывает мерцания. Если посмотреть ниже, то можно увидеть
подмигивания. Можете посмотреть влево и вправо.
Можешь поднять брови вверх?
Вот он улыбается.
Действие тормознулось. А он не останавливается. И опять улыбка.
Этот аватар очень упрощён. Вы можете вести себя как угодно. Ваш персонаж оживёт.
Нужна только практика. Включи демонстрацию с роботом.
Настройка связи.
Это немного отличается от аватара. Покажем его вам для контраста.
Очень трудно настроить.
Невозможно.
- Ближе. Да. - Вы заметили, как там
шла информация на графиках? Все эти события просто на них моргают.
Это улыбка, грусть или радость. Это всё
события между нулём и единицей. Для разных определений разный ответ.
Для лицевых восприятий нужна тренировка. Есть универсальные моменты. Эти вещи срабатывают мгновенно. Вы можете сравнить каждый момент ощущений
и найти ту отметку, которая вас удовлетворит. Вы можете даже сохранить её, чтобы потом найти ещё один похожий момент.
Это даже более аффективно. Но всё равно мы с пользователями будем работать в универсальном ключе.
Аффективность - это важный момент для работы, но универсальный метод можно критиковать. Универсальность - чтобы
уравнять всех пользователей. Потому что не все они могут сразу попасть в то состояние, какое нужно. Эта система самообучается и постоянно
подстраивается под пользователя. - Пока не очень.
Последний набор - когнитивный. Это последняя разработка. Мы его вам сейчас покажем.
Ну как, сделал?
Не будет работать - перейдём дальше.
- Попробую на ноутбуке. - А вот, к примеру, моргание, или электричество
в волосах не мешают в системе определения? - Устройство определения такое, что оно может находить всё автоматически.
Нужно только надеть правильно. А сенсоры просто
находятся на голове. Устройство сделано из таких материалов, что оно
может сохранять форму. Мы можем работать? Пропустим это демо.
Следующее, что вы видите - 4 графика. На графиках слева определяется одно и то же, просто по-разному отображается.
Это уровень возбуждения Марка. Он сейчас возбуждённо работает. Но верхний график
с более крупным шагом. А нижний - сиюсекундный уровень ощущений. Вы можете считать это
двумя уровнями. Тот, что выше на графике - возбуждённость, а ниже - спокойствие. Они оба важны.
График опускается на средний уровень. Для работы с гарнитурой вам нужно быть спокойным, сконцентрированным. Расслабленным.
Следующий график посередине - граница интереса. Это тот график, который мы используем только
для использования в играх. Мы сейчас ведём её разработку. Идея в том, чтобы отслеживать уровень восприятия игрока.
И используем мы его для того, чтобы усилить впечатление от игры. Это могут быть взаимодействия с персонажем.
И может так получиться, что взаимодействовать он будет лучше людей. Но такой регулировки добиться сложно. Это очень важно для игроков,
потому что в игры играет много людей, и нужно будет не только приукрашать геймплей, но и позволять игрокам им насладиться.
Нужно над этим долго упорно работать, но не все могут этого делать. Последний график
создан для таких целей - для разочарования. мы выяснили, что уровень разочарования очень важен, и не всегда он отрицателен.
Как в жизни: если что-то будет слишком легко, то будет неинтересно. Нужно создавать барьеры, препятствия.
В отдельные моменты времени это легко понять. Но нужно создавать такие барьеры, которые можно было бы перепрыгнуть.
А то сделаешь их либо слишком высокими, либо слишком низкими. Тогда пропадёт интерес к игре. Одно из основных приложений
этой идеи - эта игра, которую мы покажем вам в конце. Некоторые приложения позволяют
переключать музыку. Система отслеживает ваши ощущения. Когда трек нравится, она ищет что-то, чтобы вам дальше
это нравилось. А ещё смена подсветки меняет впечатление от песни. К примеру, вы можете определить, когда
человеку неинтересно, он зевает, концентрируется на чём-то другом. Вы проецируете это на себя.
Вам нужно как-то вернуть себе заинтересованность. Последняя демонстрация - когнитивный набор.
Мы начнём со свежего профайла. Сейчас нет никакой информации
о состоянии мозга Марко. Сейчас он начнёт записывать фоновое состояние мозга. Вы можете наблюдать это в окошке программы.
Это не похоже на то, как мы им пользуемся в реальной жизни. Наша игровая демонстрация, тренировочная, создана в стиле фэнтези.
Вы пользуетесь сенсором, который говорит вам освободить разум. Вы пробуете расслабиться на минуту. После этого вам предлагают передвинуть камень,
и показывают, как это делать. Потом вы представляете, как это делаете. Опять идея здесь связна с Панелью задач.
- Это необязательно должен быть базовый набор. Покажешь, Марко? - Я начну с самого начала? - Да, давай.
Толчок - это первый пункт из списка. В списке 12 действий плюс
13 дополнительных для других задач. Он выбирает то действие, которое собирается повторить.
И он собирается дать компьютеру информацию, выполняя это действие.
Смотрите, он воображает движение. Его рука движется. Он ничего не двигает, просто показывает, что должно быть.
Теперь он толкает объект. Марко, толкни теперь без рук, пожалуйста.
Идея в том, чтобы не использовать руку. Рука просто помогала ему сосредоточиться.
И помочь компьютеру понять, что он делает. Следующее, что я хочу вам показать - исчезновение.
Самое интересное, что это не движение. Это визуализация. Опять-таки, тренировочный период 6 секунд.
Он пытается представить исчезновение. И объект исчез. Ещё важный момент.
Можешь запустить два движения, чтобы мы увидели контраст?
- Сейчас тренировка одного движения? - Он покажет один пример за раз. - Эти примеры можно
выполнять все на одном уровне? - Да. Он практиковался, он лучше остальных может это делать. Но вообще все, кто воспользуется гарнитурой,
сразу увидят результат. Я видел людей, которые тренировали движение борьбы на самом первом занятии.
Немногие способны сделать такие движения сразу. Вам нужна способность фокусироваться,
что смогла бы определить система. Так что, если вы боитесь, как система воспримет ваш толчок, то есть вы не уверены, это повлияет на определение,
и чёткой картины принятой информации не будет. - А можно всегда пользоваться ещё руками?
Я думаю, что можно делать и так, и так. Мне кажется, это возможно.
- А как же это всё делать? - Мне кажется, этот аргумент уйдёт, когда вы воспользуетесь инструментами для помощи.
Раньше проводились такие исследования, в которых выявлялась способность человека, к примеру,
переключать каналы на ТВ разумом. Ваш проект основан на таких исследованиях? - Нет. Итак.
Всё то, что вы сегодня видите, основано на разработках лаборатории в Сиднее. И все приложения сделаны
по одному образцу. - Как выделяются разные сигналы: ЭЭГ, моргания,
остальные? - Я могу подробнее объяснить процесс определения. Все сигналы собираются
в кучу - ЭМГ, мозговые волны. Есть разные способы определения этих сигналов.
И универсального способа нет. Наверно, да. - И значит, нужно выбирать тот способ, который лучше подходит?
Опиши свой фон, пожалуйста. - Я стараюсь.
- Как мне его так держать? Всё равно я ненадолго. - Прицепи.
Я занимаюсь этим проектом три года. Я проводил исследования. Ничего такого. Просто работал над очень интересными штуками.
Кто работал с ЭМГ, скажут, что это очень трудно. Сигнал очень слаб, а способов помешать ему - море.
К примеру, если вы в больнице с этим прибором будете стоять рядом с розеткой, то вы практически покойник.
Много работы было в том, чтобы сделать процесс игры увлекательным. Тестирования мы проводили двумя способами. Один был
с контроллером в руках за игрой в Halo 3. Но стрелять приходилось мозгом. Ещё мы проводили в Second Life испытания
"впечатлительного" набора. Просто пользовались и шлифовали. Во втором способе мы пользовались исключительно гарнитурой и чистили
наш интерфейс "Мозг-компьютер". Это внутренние процессы на внешнем устройстве, которые нужно определить. Сейчас мне тяжело проводить презентацию так,
потому что я не отвлекаюсь на мелочи, а остаюсь собранным, когда чем-то занимаюсь, но мы, конечно,
можем попробовать. И покажем, как нужно управлять при помощи разума. Наш "когнитивный" способ - реальность о телекинезе
или о контроле разума. Так что даже при помощи гироскопа я не думаю, что у меня всё получится. Я отвечу на ваши вопросы потом.
Запустим игровую демонстрацию? Сейчас мы покажем
небольшую созданную нами игру, в которой попытались собрать всё.
- Ты ещё долго? - Ещё секунд 40.
- Какая задержка у системы определения?
Ответ разный, и будет зависеть от типа определения. Общее определение очень короткое,
но также, зависит от остальных частей. Но если вы будете за этим наблюдать, то задержки достаточно регулируемые.
У когнитивной - самые большие. Но что в ней интересно, так это задержка между тем, как вы подумали о действии,
и перед тем, как предупредили о его начале. Так что на ваш вопрос о процессах
достаточно трудно ответить. Вы сейчас видите задержку в секунду. Это поможет вам понять и осознать мой ответ.
Задержка зависит от игрока и приложения. У кого-то она будет чрезвычайно короткой, у кого-то, даже у Марко, она будет
очень долгой. Но вы все пользовались этой системой и знаем, насколько важно
психологическое состояние, аспект контроля. Если вы не будете собраны, то это скажется и на интерфейсе.
И очень легко понять, что вы не собраны настолько, насколько вы можете.
Марко сейчас играет в игру. Можешь повернуться лицом к сенсею?
Хочешь, чтобы я..? А, понял. Вот, только у него очень низкая частота кадров.
Да, будет трудно. Он уже прошёл часть событий. Сенсей дал ему указания,
что делать. Он может повторить инструкции сенсея, и работать
с окружением. Вот стоит памятник, вокруг него летают духи, ему нужно их распугать.
Чтобы выполнить одно из заданий. Сенсей описал способ распугивания. Он сказал: "Сделай страшное лицо, напугай их взглядом".
В общем, он их напугал.
Просто частота кадров очень низкая. - Всё они улетели.
- А частота кадров должна быть такая? - Это зависит от некоторых аспектов соединения.
Потому что вот с проектором у нас никогда не было проблем с частотой кадров. - Какие нужны технические характеристики? Может, некий
акселерометр? - Мы начинали с обычных процессоров.
Потом появились двуядерные процессоры. Поэтому наша система должна работать на всех компьютерах,
более-менее современных. - А задавал этот вопрос к тому, что сейчас есть мейнстримовые проекты,
платформы, у консолей, к примеру, хорошие процессорные данные.
Вообще-то, консоли появились не так давно, и они намного мощнее многих домашних систем.
Так радует, что не надо мучиться с операционной системой. Хвох 360 - несколько ядер.
Sony Playstation 3 - несколько ядер. Мультипроцессор. Смысл в том, что мы можем гораздо более
преуспеть в этой сфере, чем с низкобюджетными двуядерными компьютерами. Мы запустили пару тестов на частоту кадров.
Потому что делать замеры качества на разных платформах бессмысленно. Но мы думаем, что где-то 8 процентов
концептуальных CPU будет обрабатывать графику или физику, что только поможет играм
в скорости работы. У нас есть возможность запускать две гарнитуры с одного устройства.
И эти тесты были запущены специально для систем определения двух гарнитур.
Ну, как сказать. Первую систему мы запустили на 32 битах.
Мы изолировали самые часто используемые. Мы также задумывались о гибкости системы.
Какая форма должна быть у девайса, что он влезал на любую голову. Мы также добавили негнущиеся части,
потому что иначе гарнитуры постоянно ломались. Ещё было трудно постоянно отслеживать его
местоположение. Из-за некоторых ограничений в жёстких частях гарнитуры она крепится
не наверху, а сзади. Важен ещё и размер головы, потому что это тоже влияет на возможности определения,
но всё-таки мы получили нормальные результаты работы. Мы считаем, что жёсткие части - главная находка дизайна.
Можно использовать одно устройство нескольким игрокам без каких-либо видимых проблем.
- Как определяются разные виды активности мозга? - Вообще-то нам нужно было ещё найти, какой
тип активности чем будет определяться. Мы начали просто с огромного набора, в процессе работы
разбивая его на разновидности. Если честно, когда мы создаём устройство, которое работает только с разновидностями возможностей, которые мы показали, тогда мы
должны его переделать. Но разработка устройства включает в себя огромное количество возможностей, которые надо включать
в приложения. Мы потом подгоняем параметры. - Не против, если я немного расскажу о перспективах?
Если говорить о перспективах, то у этого устройства нет ограничений. Его можно использовать в любой сфере деятельности.
Хотя мы всегда так делаем. Мы сейчас уже закончили разработку проекта и изучаем новые возможности для потребителей.
Мы постоянно используем несколько наборов, чтобы отшлифовать сигнал. И нам нужно представлять,
чем будут заниматься пользователи с этой гарнитурой и что их может порадовать.
Хотел бы я найти нам таких помощников, которые этим бы занялись. - А на каких существах это будет посмотреть?
- А если его надеть на собаку? А на подружку? Нет, нет, нет.
- Я бы попробовал с собакой. - А я бы с девушкой.
- Лучше на своего девятилетнего ребёнка. Да, это точно. - Отличное время для вопросов, пока на заднем плане настраивается аффективный набор. Я бы собаке этим пользоваться
не дал. Ты готов. - Настраиваюсь. - Есть ли какие-то решения для
- детей с маленькими головами? - По данным исследований, средний возраст игроков -
33 года. Трудно поверить в тот факт, что все они играют в игры.
Многие из них с возрастом перестают играть в игры. Некоторые потом перестают смотреть ТВ.
Когда мы становимся взрослее, растёт и средний возраст игроков. Вот так и получается, что игры все в основном нацелены
на двадцатилетних и тридцатилетних. Это печально.
Мы проводили много испытаний с детьми. Это друзья и семьи. Но им вроде нравилось.
- Какая ожидается цена? - 300$. - Тридцатилетние игроки точно смогут её себе позволить.
- Будут ли разные размеры? - Мы подумали, то, что будут разные размеры гарнитур,
будет ограничением для игроков. Нужно будет думать, какой размер тебе подходит. И будут ещё проблемы,
нехватка каких-то размеров. Какие-то станут более популярны без особой на то причины, поэтому...
- Как вы определяете состояния игрока, которые улыбается, подмигивает, и с какой точностью?
- Отвечай. - Да. Более-менее. Кстати, мы немного времени посвящаем
тестированиям с игрокам с разным опытом пользования гарнитурой. Кто-то ещё только начинает, и мы следим за его прогрессом,
как устройство определяет его ощущения. Наиболее удачный способ "впечатлительный". В обычной жизни мы можем определить, когда кто-то радуется.
Это более "жизненный" способ. В "аффективном" нужно смотреть, как система определяет ваши ощущения.
К примеру, я чему-то немного радуюсь. Проблем с системой нет, она показывает "радость". Но как я радуюсь: полностью, наполовину?
Если бы мне было 5 лет, я бы радовался ещё как. Это очень лично. И вот тут нужна точность.
В "Когнитивном" где-то посередине. Мы можем попросить людей изобразить какое-нибудь действие и смотрим за его выполнением.
- К примеру, как вы это определяете, когда нет таких знаков? Или когда человек притворяется? - У наших разработчиков
есть возможности определять оба этих случая. Произошло определение или нет, основывается на этой информации.
В то же время, мы получаем информацию о развитии игрового опыта человека: тормозит он,
или концентрируется, или радуется. Все эти события связаны между собой. - А ваше программное обеспечение,
- которое вы показали, оно только для разработчиков? - Покупатели получат
возможность отслеживать качество соединения на панели задач. И управлять приложением с помощью клавиатурного интерфейса.
Так что если вы хотите ограничить область использования гарнитуры, то вы можете отслеживать параметры типа "50% когнитивной мощи на это приложение".
Но разработчики могут по своими использовать такие данные. Про определение можно сказать так -
все его типы могут использоваться в приложении. Можно скачать это уже сейчас.
Есть SDK Ligth. Эмулятор разных способов определения. Вы можете его запустить, посмотреть, как будет передаваться информация.
Посмотреть взаимодействия и использовать их через API в приложениях. Когда появится сама гарнитура,
вы уже будете понимать, как в ней всё работает. Есть ещё вопросы? - По разработке ещё задавайте.
- Тогда перейдём дальше. Дальше мы вам покажем расстройство системы определения. Я буду играть, - Да, давай.
а система будет стараться определять нового игрока. Заодно покажем вам, как это всё работает в параллельном режиме.
- У вас тут секретное совещание? - Да, это точно. - Должен сказать, что тебя тут раньше не было.
- Ну надо же. Ты двинься пока. - Господи, как это! - Какие вами двигали побуждения
во время разработки проекта, во время исследований? - Ну, как сказать,
это трудно объяснить, потому что когда начались исследования, нас захватила идея.
Которую нам достичь на том этапе было ещё очень нелегко. Когда я пришёл в компанию,
меня тоже захватила эта идея. Тогда у нас только появился первый "Впечатлительный" набор.
"Когнитивный" был ещё только экспериментальной идеей, но ещё не был готов. И тогда мы пытались придумать
и найти ценные наработки и пытались собрать их так, чтобы получилось интересно и
чтобы их все можно было использовать в одном приложении. Вот ещё как исследования повлияли на наш проект.
- Вот вы проводили много исследований... Нет, не так. Как на вашу работу повлияли исследования?
"Царапала" ли вас какая-нибудь фантастическая идея или вы просто брали что-то из существующих проектов?
- Как вы соблюдали баланс? - Я думаю... исследования - забавная штука. Практически всегда
оказываешься не там, где должен. Так что нужно сразу понять, куда ты попал и что из этого извлечь.
Мне кажется, что не нужно придумывать никаких новых идей. Они сами приходят, когда нужно.
Но мне кажется, что процесс открытия чего-то нового стоит отдельно от исследований. Тебе нужно вдохновение, нужно представлять что-то,
что будет важно в этот момент. И воображение поможет заполнить этот пробел и направить работу в такое русло, какого ты
не ожидал. Мне кажется, аспект воображения так же важен, как и исследования, потому что ты не можешь
без их связи получить тот результат, какой вам нужен. - А вот интересно, какой сигнал вы там используете?
- Он как-то связан с губами. Если вы проводили исследования, то с ними что-то не так. - Да, наша сегодняшняя демонстрация
использует часть новых, а часть старых компонентов. Да, тут вы нас подловили.
Да, мы ещё подредактируем баланс, чтобы эффективнее использовать все три набора определений. Мы сегодня попробуем это показать.
- Ещё кто-нибудь? - Вот вы проводили разработку гарнитуры в Австралии.
- Нашли ли вы какое-нибудь различие между игроками разных стран? - Я думаю, что австралийцы
очень похожи на американцев. - Вы уважаете мнение других национальностей из вашей команды.
Это всё зависит от того, какие резервации есть в стране. Есть такие сообщества людей,
к примеру, половина исследовательской лаборатории в Сиднее - азиатская. Так что из того, что я видел,
думаю, особых различий между игроками не будет. И в Сиднее, и в Сан-Франциско очень хорошо
подходит для разных многокультурных обществ.
- Какие различия обнаружены между мужчинами и женщинами при передаче сигнала?
- Есть определённые различия в эмоциональных колебаниях, иногда очень существенные.
Но пока это ещё нам это не особо понятно. Мне кажется, гораздо важнее индивидуальные особенности. Кто-то более
чуток к восприятию, и вы увидите изменения быстрее, и они будут сильнее. И по моим наблюдениям,
что даже если различия и есть, то они не так влияют на работу системы. - А вы дадите игрокам доступ
к самому сигналу, или он всегда будет сразу переходить через приёмник к приложению? - Да, всегда к приложению.
- Уже прошло три года. Вы не в курсе, можно ли этой гарнитурой управлять авто? - Авто?
Я себе это представляю, но автомобиль будет так долго ехать и его придётся подталкивать. На мой взгляд, плохая идея.
Но это можно представить. Когда вы сможете с помощью гарнитуры
управлять автомобилем, придётся решать проблему, как на это концентрироваться? Не все
об этом задумываются. Да. Придётся дважды подумать, - Там ведь не один раз надо думать о движении?
чем что либо сделать. Так что идея не очень. - Когда мы увидим игру по Star Wars с этой гарнитурой?
Думаю, у разработчиков этой серии сейчас и без нас полно хлопот. Надеюсь, что они когда-нибудь этим займутся.
- SDK можно будет скачивать? - Да, его можно скачать бесплатно. Если вы зайдёте на веб-сайт,
там будет ссылка "Для разработчиков". Перейдёте по ссылке и увидите SDK Light, а в левом углу будут требования.
Нажмёте по ссылке, и вам придёт уведомление на е-мейл со ссылкой на скачку. Там сейчас есть
эмуляция клавиатуры. Эмулятор сигналов, которые поступают с гарнитуры.
Но это объясняет природу наборов определений. Это один из разновидностей, которые мы показывали. Самих программ там немного,
но на их примере можно посмотреть, как будет работать гарнитура в приложениях.
Как ваша гарнитура поможет игровой индустрии? Я сейчас имею ввиду не как контроллёр, а как процесс создания игр.
Она может помочь, и мы обнаружили кое-что интересное в разных видах активности
помимо игр с использованием разработок игр. Обе эти области для нас важны, и наша проблема в том,
что наша компания ещё очень маленькая, и мы не можем пока разрываться на разработки в нескольких областях.
- В общем, мы готовы. - Отлично. Наконец, беспроводной трансмиттер
передаёт энергию в саму гарнитуру, так что с этим нужно быть аккуратнее.
- Какие возможности будут для людей
с ограниченными способностями? - Повторите, пожалуйста. - Какие возможности будут для людей с ограниченными способностями?
- Должен сказать, что мы пока не занимаемся этим. Наша бета-гарнитура доступна буквально... показывали её на последней игровой конференции.
Я думаю, что мы как раз этим и займёмся. Только уже не на планах,
а на деле. Это было необходимо, когда мы только создавали гарнитуру. Сейчас это рабочий вариант,
и вносить изменения, если что, нужно аккуратно. - И мы готовы.
Можешь показать, что делал на тренировках?
О, молодец! Круто.
Молодец. Спасибо, что смотрели. - Спасибо Стэнфорду, что он позволил посмотреть.
Есть ещё некоторые слайды, которые вы можете посмотреть.
Я могу ответить ещё на ваши вопросы по системе определения. - Планируете ли вы
делать эту систему не только для игровых нужд, но и для каких-нибудь публичных?
Публичного в таком смысле мы ничего делать не планируем.
Спасибо, что пришли.

Субтитры
|
Исполнительный директор Emotiv, занимается разработкой и производством игр, менеджментом и развитием бизнеса, создал более 50 игр.
Мы хотим делиться знаниями, поэтому мы сопровождаем материалы лицензией Creative Commons. Она позволяет беспрепятственно распространять материалы с указанием источника, но без возможного коммерческого использования и без изменения.
Мозг человека как идеальный джойстик. Компьютерные игры больше никогда не будут прежними: взаимодействие с техникой выходит на новый этап.
Скачать видео (159 Мб)
Комментарии