Более трёх десятилетий нейрокогнитивные исследования, опирающиеся на методы структурной и функциональной визуализации мозга, электроэнцефалографии и конечно же неинвазивной стимуляции, позволяют учёным наблюдать за закономерностями нейронной активности, связанными с очень сложными когнитивными процессами. Несмотря на свою большую значимость, эти нейробиологические методы часто остаются в тени публичного внимания. Периодически в СМИ появляются сенсационные заголовки о “управляемых мозгом машинах” и “чтении мыслей”, создавая иллюзию лёгкости и доступности таких технологий. В данной статье мы рассмотрим, как на самом деле реализуются подобные проекты, какие методы используются для управления виртуальной реальностью посредством глазных движений или определения присутствия подозреваемого на месте преступления.

Отслеживание движений глаз и виртуальная реальность

По определению, отслеживание движений глаз (ОДГ) измеряет активность ваших глаз. Когда и как часто вы моргаете? Отчего сужаются зрачки? Остаётся ли ваш взгляд дольше на её шикарной груди или на прекрасных глазах? Отвечая на подобные вопросы, отслеживание движений глаз позволяет выяснить, сконцентрирован ли человек, или расслаблен и устал, удобен ли для пользователей ваш веб-сайт, есть ли у пациента аутизм – эта технология применима в различных областях, количество которых продолжает увеличиваться.

В отличие от 1890-х сегодняшние технологии не требуют обездвиживания глаз при помощи кокаина. Сегодня общепринятым методом измерения поведения глаз служит подсветка светом ближней инфракрасной части спектра в центр глаза и сравнение позиции его отражения с позицией зрачка (позиция отражённого света остаётся на месте, а зрачок сдвигается относительно неё). Комбинируя данные с положением головы, можно экстраполировать их для получения направления взгляда и вычисления, на какие точки человек смотрит. Типичные измерения включают в себя фиксации (то, где взгляд задержался на чём-то, что привлекло ваше внимание), их продолжительность и время, необходимое для перевода на них взгляда; саккады (последовательное перемещение глаз от одной детали рассматриваемого предмета до другой); итоговый путь взгляда (на что вы смотрели, в каком порядке и как долго). Всё это можно измерить двумя способами: удалёнными приборами, и устройствами, закрепляемыми на голове. Первые обычно присоединяются к экрану компьютера. Вторые устанавливаются на голове человека и выглядят, как футуристический наряд Леди Гага. Такие устройства позволяют человеку беспрепятственно перемещаться.

Отслеживание движений глаз – технология универсальная. Её области применения простираются от маркетинговых исследований (разработка продукта, продакт плейсмент, упаковка) до нейробиологии (ранняя диагностика болезни Альцгеймера, исследование внимания и памяти, и т.д.). Но есть одна реально футуристическая идея, которая должна пощекотать ваш гиковский разум: виртуальная реальность (ВР). ОДГ становится всё более популярным в сообществе ВР, поскольку она может помочь в создании ВР глубокого погружения на не самых мощных устройствах, а также дать возможность игроку влиять на виртуальный мир при помощи одних только глаз.

Обратимся к тому, как ВР и ОДГ приводят к улучшению пользовательского опыта. У глаза существует фовеа – небольшая впадина в самом центре зрачка, отвечающая за острое зрение. Когда мы смотрим на что-либо, мы видим лишь малую часть нашего окружения в деталях (ту, что находится в фовеальном поле зрения). Наше периферийное зрение видит только цвет и движения, но в довольно размытом и не детализированном виде. Для создания впечатления, будто мы видим гораздо больше деталей нашего окружения, мозг просто использует наш опыт и память, заполняя пробелы. Если в поле вашего периферийного зрения находится размытый арбуз, ваш мозг просто подставит на его место сфокусированное изображение, взяв его из памяти – и вот он уже более чёткий. И вот, разработчики ВР работают над созданием технологии «фовеального рендеринга» [foveated rendering], призванной значительно уменьшить вычислительную нагрузку компьютера. Она должен использовать имеющиеся у нас знания о функционировании мозга и интерпретации им окружающего мира. Сначала ОДГ сообщает программе, куда конкретно смотрит человек. Фовеальный рендеринг, используя эту информацию, генерит картинку, находящуюся по бокам поля зрения, с гораздо меньшим разрешением и детализацией, а всю вычислительную мощность направляет на повышение чёткости и реализма при рендере фовеальной области. Виртуальность обновляется согласно движениям ваших глаз так, что область вашего зрения всегда остаётся чёткой. Схожим со зрением в реальном мире образом, ваш мозг будет создавать иллюзию повсеместно чёткого зрения на основе своего опыта. И хотя всё это выглядит очень круто, такая технология находится в начале разработки, поскольку довольно сложно создать одновременно недорогой и небольшой аппарат для ОДГ.

Функциональная магнитно-резонансная томография (фМРТ) и чтение мыслей

фМРТ похожа на современное искусство. Все о нём слышали, но никто не понимает, каким оно должно быть. Не бойтесь, вскоре всё станет ясно. По сути, фМРТ основана на том факте, что кровь с повышенным содержанием кислорода ведёт себя в магнитном поле иначе, чем кровь с пониженным содержанием кислорода. При этом, чем активнее ведёт себя область мозга, тем больше кислорода она потребляет. А чем больше требуется кислорода, тем больше крови поступает в эту область. фМРТ может отслеживать увеличение тока крови и потребления кислорода, чтобы найти активную область мозга. Такой тип получения изображений называется формирование изображений на основе уровня снабжения крови кислородом (blood oxygenation level dependant, BOLD). Метод неинвазивный, вам нужно только полежать в очень громко работающей трубе сканера, и даёт хорошее пространственное разрешение изображений (временное разрешение получается похуже, поскольку существует задержка в 3-6 секунд между активацией области мозга и потребностью в кислороде). Этот инструмент используется в огромном разнообразии исследований.

фМРТ можно использовать двумя путями: оно либо помогает увидеть активизацию мозга при выполнении простой задачи (например, в опыте периоды безделья меняются с периодами выполнения заданий на память/визуальное распознавание/моральные суждения, в общем, задачи типа «эротика или мороженое»), либо его используют для разбора работы мозга в тот момент, когда мы не заняты какой-то конкретной задачей (допустим, когда мы мечтаем, рассеянно глядя из окна автобуса, или улыбаемся и киваем коллегам, притворяясь, что слушаем их болтовню про детей). Первый вариант под названием фМРТ в состоянии отдыха показал, что в мозгу происходит очень много всего даже в те моменты, когда мы ничем не заняты: он определил несколько сетей, управляющих мозгом, и позволил нам увидеть, как меняются связи между регионами мозга при психиатрических заболеваниях или в разных состояниях сознания.

Наше исследование МРТ показало, что у испытуемых во время выполнения простых задач на запоминание возникала активность в частях мозга, ассоциируемых с громкими звуками, клаустрофобией и потерей драгоценностей

Когда у нас появилось представление о том, как это работает [1], что можно с этим сделать? Борюсь с искушением заявить о «чтении мыслей» (и передать вам шапочку из фольги), поэтому я лучше использую более научный термин, «декодирование мыслей на основе активности мозга».

Технология декодирование не просто ищет область, реагирующую на, допустим, лицо. Они распознают схему активации всего мозга целиком, соответствующую распознаванию конкретного лица. Затем, установив схемы активации для дофигилиарда изображений, алгоритм «классификации схем» обрабатывает их вместе со связанными изображениями. В результате классификатор узнаёт о связи между изображениями и активностью мозга в момент их распознавания и понимает, какую схему активации скорее всего вызовет определённая картинка – допустим, фотография кошки или младенца. Программа, обработав достаточно примеров, может начать изучение сканов фМРТ и пытаться декодировать, на что именно в момент сканирования смотрел или о чём думал человек. Первые опыты были простыми – в ранних работах учёные могли распознать лишь категорию предметов, на которые в тот момент смотрели испытуемые (обувь, ботинки, ножницы, и т.п.) [2].

Вскоре после этого механизмы декодирования шагнули далеко вперёд. Сначала их использовали, чтобы определить, на какое из 120 изображений смотрят люди [3] – задача куда как более сложная, чем определение широкой категории объектов. Потом исследователи разработали классификатор, способный выдавать примитивные фильмы на основе фильма, просматриваемого испытуемым [4]. С тех пор технология уже использовалась для чего угодно – построение визуальных сцен [5], работа памяти (о чём я думаю?) [6] и распознавание намерений [7] (какую кнопку я хочу нажать?). Но классификация намерений – задача более сложная, чем распознавание изображений. Объекты группируются по цвету или форме, но как назначить категории намерениям? Другая проблема – возможность обобщения. Пока что все декодеры работают с избранными мозгами, и разработки стандартного прибора для чтения мыслей, который можно будет использовать для борьбы с преступностью, не стоит ждать в ближайшие пару лет. На текущем этапе, как говорит Джон-Дилан Хейнс [John-Dylan Haynes] (человек, усиленно работающий над исследованиями классификаторов, а также мой профессор (это я хвастаюсь)), «Лучший способ выяснить чьи-либо намерения – это спросить».

Как работает декодирование

А что же насчёт методов создания машин, управляемых мозговыми волнами? Что насчёт технологий для распознавания психических заболеваний на молекулярном уровне? Электроэнцефалография звучит как технология пыток, но худшее, что с вами может случиться – это сон, вызванный скучным экспериментом. ЭЭГ неинвазивна и безвредна. Это метод сначала заставляет людей выглядеть глупо, надев на голову странную конструкцию, а затем измеряет электрическую активность внутри головы.

Как вам может быть известно, нейроны общаются друг с другом, передавая электрические сигналы. Когда один нейрон выдаёт сигнал, его активность чрезвычайно мала. Но когда изменение напряжения случается с тысячами нейронов одновременно, они генерируют электрическое поле, достаточно сильное для того, чтобы оно прошло через череп и было обнаружено на поверхности головы. Эти дурацкие шапочки служат для записи этих сигналов: в них содержатся электроды, измеряющие электрическую активность. Её сначала увеличивают в 10 000 раз (не так-то легко пройти сквозь мягкие мозговые оболочки, череп и скальп! Сигнал становится очень слабым), а затем передают на ЭЭГ-монитор, где можно наблюдать за своими мозговыми волнами (или, если угодно, последовательностью значений напряжений).

ЭЭГ отлично подходит для наблюдения за активностью мозга в реальном времени и отслеживания изменений секунда в секунду (по сравнению с ним, фМРТ всегда отстаёт). А вот пространственные характеристики у этой технологии не такие хорошие – приходится использовать сложные алгоритмы для оценки точного места возникновения сигнала. Существует несколько отдельных рисунков мозговых волн, каждый со своей индивидуальностью – представьте, что ваш мозг переключает передачи в зависимости от текущей задачи. Существуют дельта-волны (обычно встречаются во время глубокого сна), тета-волны (сон), альфа-волны (расслабление и дремота), бета-волны (внимание) и гамма-волны (одна из нерешённых загадок нейробиологии; возможно, возникают от просмотра фоток котиков).

Наблюдать за своими мозговыми волнами – это впечатляющее достижение, но что насчёт тех машин, которые контролируются мозгом? В самом деле, мы можем придумать крутые НФ-сценарии использования ЭЭГ: его можно использовать для управления вещами при помощи сознания (или для создания интерфейсов мозг-компьютер). Потенциальное применение простирается от управления виртуальным вертолётом в 3D до управления конечностями роботов – и всё это при помощи мыслей. Конечно, для игроков преимущества технологии неоспоримы (представьте, что вам не нужно будет держаться за джойстик, и можно будет играть с куском пиццы в руках), но больше всего эта технология поможет людям с ограниченными возможности.

Так как же эти слабые электрические сигналы, возникающие внутри черепа, превращаются в движения роборуки? Технология основана на идее того, что определённая мысленная активность приводит к появлению определённых рисунков ЭЭГ-сигнала. Устройство запишет разные рисунки из корявых волн, соответствующие, к примеру, поднятию руки, и, допустим, мысленному произношению «да» при взгляде на букву. Чтобы контролировать активность мозга и сделать эти сигнальные рисунки чётко различимыми друг от друга (и, тем самым, различимыми для алгоритмов), пациенты (или геймеры) должны будут очень сильно натренировать свои способности к воображению. Помогает обратная связь: к примеру, каждый раз, когда вы представляете определённое движение, на компьютере возникает стрелка, показывающая то направление, в котором вы хотите двигаться. После обучения пользователя использованию силы воображения, в ПО, соединённое с роборукой (ногой, пенисом, компьютерным курсором), закачивают всевозможные рисунки энцефалограмм, чтобы оно распознавало, что вы хотите, и отправляло команды, активирующие то, что оно контролирует.

Клеточная нейробиология и распознавание психических расстройств

ЭЭГ, фМРТ и отслеживание движений глаз – всё это очень интересно, но что на самом деле находится на передовом крае науки? Спойлер: очень мелкие вещички. Нам чрезвычайно важно разобраться в микроскопических процессах, идущих внутри и между нейронами, и именно этим занимается клеточная нейробиология. С клетками можно много чего сделать: сейчас я вот работаю в лаборатории, где мы подсчитываем, сколько клеток зарождается в гиппокампе – нашем центре памяти – в различных условиях (высокоуглеродная диета, упражнения, и т.п.). Поведение клеток можно изучать in vivo – на живом организме, in vitro – в колбе вне упомянутого несчастного живого организма, и in situ – где-то посередине, тип как изучение мозга без удаления его из уже умершей мыши (или, как мы, тёмные учёные, любим говорить, принесённой в жертву).

Пример эксперимента in vivo – взять мышь, генетически модифицированную так, что интересующие нас нейроны флуоресцируют, проделать дыру в её черепе, и при помощи крутой технологии под названием “двухфотонная микроскопия” наблюдать за флуоресцентными клетками, расположенными относительно глубоко в мозгу. Звучит сложновато, и, можете мне поверить, это реально сложновато. По сути, ваша мышь бодрствует, но её голова закреплена, и микроскоп светит высокоэнергетическим светом (с синего края видимого спектра) ей на мозг. Флуоресцентные клетки поглощают свет, возбуждаются, и испускают низкоэнергетический свет (зелёный, красный, жёлтый, и т.п.). Микроскоп ловит этот свет через специальный фильтр и вуаля – у вас красивая картинка!

И тогда клеточки становятся яркими и блестящими, и мы можем поместить их под флуоресцентный микроскоп и наслаждаться новой партией красивых картинок!

Флуоресцирующий гиппокамп

Клеточная нейробиология внесла существенный вклад в понимание развития психических заболеваний и необходимых для их лечения действий. Благодаря ей мы нашли, что во время депрессии ваш гиппокамп производит меньше клеток, чем обычно, и антидепрессанты обращают этот процесс вспять, стимулируя выработку белков, помогающих нейронам расти; что в некоторых случаях достаточно увеличить скорость нейрогенеза (рождения новых клеток) для уменьшения беспокойства и депрессии; что хронический стресс уничтожает особый белок, играющий важную роль в обеспечении коммуникаций между нейронами, и что антидепрессанты восстанавливают его производство, и мышки чувствуют себя лучше. Мы узнали, что при шизофрении развивается допаминовый дисбаланс, и что у таких пациентов в нейронах неправильно вырабатываются нервные стволовые клетки; также мы смогли найти новые стратегии предотвращения болезни Альцгеймера. Довольно много фактов за короткое время, поэтому вот вам ещё красивая картинка!

И снова красивый гиппокамп

Автор: Вячеслав Голованов @SLY_G
Источник: https://habr.com/