Способность к чтению мыслей является давней мечтой человечества, широко отраженной в художественной литературе, кинематографе и фольклоре. В действительности реализация этой непростой задачи требует применения высокотехнологичных решений, включающих как аппаратное обеспечение, так и мощной программные платформы на базе нейронных сетей. Недавно инициативная группа ученых исследователей успешно обучила нейросеть интерпретировать визуальное восприятие человека на основе данных функциональной магнитно-резонансной томографии (фМРТ). Данная задача характеризуется высокой степенью сложности, так как необходимо выделить активные зоны головного мозга из зашумленных трехмерных изображений и расшифровать соответствующие им когнитивные процессы. И эту трехмерную картину активности определенных участков головного мозга нужно перевести в двухмерные изображения — те, что видел человек перед или во время сканирования.
Для получения фМРТ изображения обычно нужно учитывать тот факт, что активность одного вокселя (активного объема) мозга вызывается активностью других вокселей. Как результат — компьютеру для отображения относительно четкого изображения нужно игнорировать ряд активных вокселей. Все это усложняет задачу реконструкции того, что видит человек. В целом, эта проблема решена, медики научились «отделять зерна от плевел», да, но описанный выше процесс снижает качество распознавания изображения, видимого добровольцем, чей мозг сканируют.
На сегодняшний день функциональная магнитно-резонансная томография — один из самых активно развивающихся видов нейровизуализации. С начала 1990-х годов функциональная МРТ стала набирать популярность в такой области, как визуализации процессов головного мозга из-за своей сравнительно низкой инвазивности, отсутствия воздействия радиации и относительно широкой доступности. Сам метод основывается на том, что мозговой кровоток и активность нейронов связаны между собой. Когда какая-либо область мозга активна, приток крови к этой области также увеличивается
Ученые из Китая, которые работали в этом проекте, приняли решение найти новые способы анализа данных с фМРТ изображений. Специалисты из Пекинского исследовательского центра стали использовать еще и нейросети, которые стали последовательно обучать определять зависимость между тем, что видит человек и активностью его мозга, зафиксированной при помощи фМРТ.
Изначально добровольцев просили смотреть на простой объект, в ходе чего проводилось фМРТ сканирование мозга. Под простым объектом имеется в виду изображение цифры или буквы на рисунке. В результате ученые получали набор данных в виде скана мозга и изначального изображения. Постепенно задачу усложняли, нейросеть обучалась на самых разных изображениях. Всего в базу обучения вошло около 1800 оригинальных изображений и снимков активности головного мозга. Больше всего времени ученые потратили именно на обучение нейросети, а не на что-либо иное.
Результаты, показанные при использовании новой методики китайских специалистов и различных других методов, созданных другими командами ученых в разное время
Далее нейросеть постепенно училась восстанавливать исходное изображение, которое ей не показывали, по данным скана мозга человека. Для улучшения результатов нейросеть обучили различать шумы и полезные данные на снимках. В результате восстанавливаемые компьютером изображения, которые видел человек, стали более четкими и точными. Плюс ко всему, ученые давали нейросети сравнить исходное изображение, которое видел человек, и изображение, которое воспроизвел компьютер.
Результаты получились очень интересными. Нейросеть научилась воспроизводить изначальное изображение с высокой степенью точности. Во многих случаях эти изображения получались более четкими, чем в случае использования любых других техник, созданных ранее.
«Масштабные экспериментальные сравнения изображений показывают нам, что мы действительно можем восстанавливать образы, видимые человеком, с фМРТ снимков, и делать это более точно, чем раньше», — говорит руководитель проекта Чангде Дю (Changde Du).
По мнению специалистов, эта технология позволяет приблизиться к моменту создания нейроинтерфейсов для работы с машинами без промежуточных этапов. Возможно, в не столь уж отдаленном будущем человек сможет подключать к компьютерным сетям свою нервную систему, передавая данные и воспринимая зрительные образы. Это станет возможным не завтра, но, возможно, быстрее, чем считается.
Для любознательных
На сегодняшний день чтение мыслей в буквальном смысле — это пока неосуществимая задача, но учёные в России и за её пределами активно работают над технологиями, которые позволяют реконструировать смысл мыслей, речи или образов на основе данных функциональной магнитно-резонансной томографии (фМРТ).
За рубежом
Одним из лидеров в этой области являются учёные из США, в частности:
- Техасский университет в Остине — исследователи создали систему под названием «семантический декодер», которая использует ИИ для анализа активности мозга во время фМРТ. Эта нейросеть способна восстанавливать общий смысл мыслей, которые человек слышит или представляет, без имплантов. Например, если человек слышит фразу «Я ещё не получил водительские права», система может воспроизвести что-то вроде «Она ещё не начала учиться водить».
Эта работа была опубликована в престижном журнале Nature Neuroscience. - Йельский университет (США) — ранее проводил исследования, в которых с помощью фМРТ и алгоритмов машинного обучения реконструировались визуальные образы, которые видел человек. Участникам показывали лица, а компьютер по активности мозга воссоздавал приблизительное изображение этих лиц.
- Университет Калифорнии в Беркли — тоже известен своими экспериментами по декодированию зрительных образов и внутренней речи с помощью фМРТ и нейросетей.
В России
Прямых аналогов систем, как в США, публично не заявлено, но в России ведутся смежные исследования в области нейротехнологий и искусственного интеллекта:
- Московский физико-технический институт (МФТИ) и Высшая школа экономики (ВШЭ) — участвуют в разработке нейроинтерфейсов и анализе данных фМРТ. Например, в рамках проектов по BCI (brain-computer interface) — интерфейсам «мозг-компьютер», где задача — управлять устройствами силой мысли.
- НейроНет — национальный проект в рамках «Цифровой экономики» — поддерживает разработки в области ИИ и нейротехнологий, включая расшифровку сигналов мозга.
- Сколково и ИТМО — также участвуют в международных и внутренних проектах по анализу мозговой активности с помощью ИИ.
Как это работает?
Система не читает мысли дословно, а:
- Сканирует активность мозга с помощью фМРТ (фиксирует кровоток в разных зонах).
- Использует языковые модели, похожие на ChatGPT, чтобы сопоставить паттерны активности с семантикой (смыслом).
- Воссоздаёт приблизительный смысл фраз, образов или внутренней речи.
Важно:
- Такие технологии требуют длительного обучения на конкретном человеке — универсального «декодера» пока нет.
- Человек должен сосредоточиться на мыслях — если он отвлекается, точность падает.
- Цель таких разработок — помощь людям с параличом, чтобы они могли общаться без речи.
Сейчас такие технологии всё ещё находятся на стадии исследований, но уже демонстрируют впечатляющие результаты. В будущем это может стать основой для нейропротезирования речи и общения.
Автор: Максим Агаджанов @marks
Источник: https://habr.com/
