Исследователи из инновационной российской компании “Нейроботикс”, совместно со совими коллегами из Лаборатории нейроробототехники Московского физико-технического института (МФТИ) разработали инновационный метод реконструкции изображений, воспринимаемых человеком, на основе анализа электрической активности его мозга. Данный технологический прорыв открывает новые возможности для создания устройств постинсультной реабилитации, управляемых сигналами мозга. Результаты исследования опубликованы в формате препринта на платформе bioRxiv. Понимание того, как мозг кодирует информацию, является ключевым фактором в разработке методов лечения когнитивных нарушений и создании устройств, управляемых мозгом. Исследователи сосредоточились на изучении активности мозга во время зрительного восприятия, так как это один из основных механизмов получения информации.

Существующие методы распознавания изображений по сигналам мозга, такие как функциональная магнитно-резонансная томография (фМРТ) и прямой анализ нейрональной активности, обладают определенными ограничениями, которые затрудняют их применение в клинической практике и повседневной жизни.

Новый интерфейс «мозг – компьютер», созданный совместной командой МФТИ и «Нейроботикс», использует электроэнцефалограмму (ЭЭГ), получаемую с поверхности головы, и нейронные сети для реконструкции кадров из видео в режиме реального времени.

Это достижение представляет собой значительный шаг вперед в области нейротехнологий и открывает новые перспективы для развития методов лечения и реабилитации.

Владимир Конышев, руководитель лаборатории нейроробототехники МФТИ, поясняет: «Работа ведется в рамках проекта “Ассистивные технологии” НейроНет НТИ, в котором ключевую роль играет интерфейс “мозг — компьютер”, используемый для управления экзоскелетом руки при реабилитации после инсультов, а также для управления электроколяской парализованными людьми. Конечная цель работы — увеличить точность нейроуправления при его использовании не только пациентами, но и здоровыми людьми».

Эксперимент состоял из двух частей. В первой части исследователи произвольно выбрали пять разных категорий роликов с YouTube: «абстракции», «водопады», «лица людей», «скорость» — видеосъемку от первого лица гонок на снегоходах, водных мотоциклах, ралли — и «движущиеся механизмы», которые показывали испытуемым, записывая при этом ЭЭГ. Ролики длились по 10 секунд, в сумме вся сессия записей у каждого испытуемого составляла 20 минут.

В этой части эксперимента ученым удалось доказать, что частотные характеристики волновой активности (спектры) ЭЭГ для разных категорий видеороликов достоверно различаются. Это позволило анализировать реакцию мозга на видеоролики в режиме реального времени.

Для второй части эксперимента были произвольно выбраны три категории из вышеперечисленных видео. Специалисты разработали две нейросети, одна из которых генерировала произвольные изображения этих же категорий из «шума», а вторая — создавала похожий «шум» из ЭЭГ. Затем авторы работы обучили эти нейросети работать совместно так, чтобы по записанному сигналу ЭЭГ создавались кадры, похожие на те, которые видели люди в момент записи.

Инфографика. Алгоритм работы интерфейса «мозг — компьютер». Источник: А. Бобе, дизайн — @tsarcyanide, пресс-служба МФТИ

Для проверки испытуемым показали совершенно новые видео тех же категорий, снимая при этом ЭЭГ и в реальном времени отправляя ее на нейросети. Нейросети хорошо справились и с этой задачей: создавали реалистичные кадры, по которым в 90% случаев можно было определить категорию видео.

Фото. Реконструирование изображений. Слева стоит кадр видеоролика, который показывали испытуемому, справа — воссозданный нейросетью. Источник: Григорий Рашков

Видео с результатами эксперимента выложены в свободный доступ.

«Энцефалограмма — следовой сигнал от работы нервных клеток, снимаемый с поверхности головы. Раньше считалось, что исследовать процессы в мозге по ЭЭГ — это все равно, что пытаться узнать устройство двигателя паровоза по его дыму, — говорит Григорий Рашков, один из авторов работы, младший научный сотрудник МФТИ и программист-математик компании «Нейроботикс». — Мы не предполагали, что в ней содержится достаточно информации, чтобы хотя бы частично реконструировать изображение, которое видит человек. Однако оказалось, что такая реконструкция возможна и демонстрирует хорошие результаты. Более того, на ее основе даже можно создать работающий в реальном времени интерфейс “мозг — компьютер”. Это очень обнадеживает. Сейчас создание инвазивных нейроинтерфейсов, о которых говорит Илон Маск, упирается в сложность хирургической операции и то, что через несколько месяцев из-за окисления и естественных процессов они выходят из строя. Мы надеемся, что в будущем сможем сделать более доступные нейроинтерфейсы, не требующие имплантации».

Для справки: проект «Ассистивные нейротехнологии» при поддержке NeuroNet НТИ был начат в 2017 году, направлен на разработку комплекса устройств для реабилитации больных после инсульта и нейротравм головы. Проект включает разработку комплекса устройств — это нейрогарнитура NeuroPlay, нейротренажер, ФЭС, ТЭС, Когниграф, Робоком и другие.

Лаборатория нейророботехники МФТИ образована в 2017 г. в рамках Программы 5-100. Основное направление деятельности — разработка антропоморфной робототехники, а также оборудования для научных исследований в области нейронаук, физиологии и поведения.

Команда проекта: Владимир Конышев (заведующий лабораторией нейроробототехники МФТИ), Анатолий Бобе (инженер 1-й категории лаборатории нейроробототехники МФТИ, руководитель отдела машинного обучения), Григорий Рашков (младший научный сотрудник лаборатории прикладных кибернетических систем МФТИ, программист-математик «Нейроботикс»), Дмитрий Фастовец (инженер 2-й категории лаборатории волновых процессов и систем управления МФТИ), Мария Комарова (инженер 2-й категории лаборатории волновых процессов и систем управления).

Источник: https://mipt.ru/