Современные системы виртуальной, а также  дополненной реальности в первую очередь ассоциируются с нашим досугом и игровыми приложениями. Стоит только представить ту или иную компьютерную игру и перед нами материализуется геймер, глубоко погруженный в игровую вселенную при помощи очков виртуальной реальности. Однако цифровые инновации способны приносить большую пользу и в реальной жизни, облегчая труд человека в экстремальных условиях: во время хирургических операций, спасательных работ и даже в открытом космосе! Увидеть пациента насквозь и подготовить молодого врача. Пару лет назад впервые в России в Первом Санкт-Петербургском государственном медицинском университете им. акад. И.П. Павлова состоялась операция с применением технологий дополненной реальности.

Специальное приложение для «умных» очков, созданное экспертами университета совместно с коллегами из Института прикладной математики и механики Санкт-Петербургского политехнического университета Петра Великого, помогло врачам успешно удалить пациенту рецидив срединной кисты шеи. Примечательно, что событие состоялось спустя всего полгода после того, как первую операцию с использованием дополненной реальности провели в США.

Как работает новая технология? Сначала на основе данных магнитно-резонансной и компьютерной томографии создается 3D-модель внутреннего строения области тела, которую предстоит оперировать: шейного отдела, черепа и т.п. Получаемая голограмма отображает расположение не только костей, но и мягких тканей, кровеносных сосудов и опухолей. Далее изображение передается на очки дополненной реальности и при помощи специальной программы привязывается к месту операции. Для точности создания голографической модели и дальнейшего наложения виртуальной картинки на тело пациента во время томографии и операции голова и шея пациента фиксируются при помощи индивидуально изготовленной маски-каркаса.

В результате во время планирования и проведения операции врач получает возможность видеть «сквозь кожу» оперируемого, что облегчает процесс хирургического вмешательства и делает его менее инвазивным.

«Новая технология позволяет во время операции четко визуализировать всю зону хирургического вмешательства, видеть образования и сосуды, что в значительной степени уменьшает травматичность вмешательств и снижает риск развития осложнений во время операции и после ее выполнения, — поделился впечатлениями профессор ПСПбГМУ Николай Викторович Калакуцкий, руководивший операцией. — Введение новой технологии в клиническую практику непременно улучшит диагностику заболеваний и планирование операций».

Систему уже применили специалисты Национального исследовательского медицинского центра им. В.А. Алмазова, задействовав технологию в операции по повторному удалению злокачественной опухоли головного мозга. В этом случае для фиксации головы оперируемого создавался каркас со специальным маркером — меткой, на которую ориентировалась программа очков, чтобы правильно наложить на тело компьютерное изображение. Создатели надеются, что в ближайшем будущем разработка получит широкое распространение в клиниках страны.

Виртуальная и дополненная реальность активно применяется не только в лечении больных, но и в подготовке и переподготовке врачей. Об этом корреспонденту «Научной России» рассказал председатель совета директоров НПО «Национальное телемедицинское агентство», член совета Российского телемедицинского консорциума, старший научный сотрудник РАН Михаил Яковлевич Натензон.

«В медицинских учебных заведениях в последнее время стали очень активно внедряться так называемые симуляционные центры, имитирующие различные ситуации, с которыми столкнется будущий врач. Такой симуляционный центр позволяет студенту-медику получить практические навыки оказания медицинской помощи в очень широком спектре различных ситуаций», — отметил М.Я. Натензон. Обсуждая тему хирургических операций, специалист добавил, что большое значение для развития этой области также имеют технологии прямых трансляций.

«Для того чтобы стать хорошим хирургом, нужно минимум семь лет стоять “за спиной” оперирующего хирурга и ассистировать ему прежде, чем начать самостоятельно оперировать. Это довольно расточительно с точки зрения затрат времени на подготовку специалистов, но вполне объяснимо. Операционное поле видит склонившийся над ним хирург, а остальные члены операционной бригады почти ничего не видят, кроме спин в белых халатах. А если, условно говоря, укрепить на шапочке оперирующего хирурга камеру, дать ему микрофон и выводить ход операции на экраны мониторов, тогда обучающийся хирург фактически будет сам участвовать в операции, — пояснил М.Я. Натензон. — Более того, оперирующий хирург может дистанционно запросить какую-то консультацию, потому что в ходе долгих серьезных операций порой возникают неожиданности, которые просто невозможно учесть даже при самом тщательном планировании».

Эксперт отметил большие перспективы технологий виртуальной реальности в подготовке будущих медиков к взаимодействию с пациентами, которая очень важна для установления доверительных отношений между врачом и больным.

«Виртуальная реальность для обучения молодого врача общению с пациентами — это идеальное решение. Сейчас для обучения будущих врачей умению общения с пациентами вынуждены привлекать других студентов-артистов, которые играют роль пациентов и имитируют общение “врач — пациент” по заученному сценарию. Но человеческий фактор настолько велик, что качество такой постановки не всегда идеально: вряд ли девушка хорошо сыграет роль очень больной старушки со злобным характером, чтобы молодой студент-медик правильно понял, как обращаться с таким пациентом. Виртуальная реальность, напротив, легко контролируется через мониторы преподавателями, в ней можно придумать миллион сценариев и неоднократно их повторить, — подчеркнул М.Я. Натензон. — Это поможет создать новую систему оказания медицинской помощи — совершенно другого уровня и качества».

«ШПАРГАЛКА» ДЛЯ КОСМОНАВТА

В сентябре «Роскосмос» приступил к испытаниям системы дополненной реальности для космонавтов. Тестированием проекта, названного «Интеллектуальная технология контроля ручных операций по видеоизображению», занимается Центр подготовки космонавтов. Технология облегчит людям работу в открытом космосе.

Система представляет собой специальные очки со встроенным искусственным интеллектом. Когда космонавт смотрит на какую-либо деталь, «умная» программа выводит на очки информацию о ней и рекомендации по дальнейшему порядку действий. Достижение амбициозной цели стало возможным благодаря сочетанию в одной разработке технологий машинного зрения, дополненной реальности и цифрового проектирования.

В первых испытаниях системы принял участие российский космонавт Иван Викторович Вагнер. Руководствуясь показаниями устройства, он успешно собрал научный прибор «Баббл-дозиметр». В процессе работы очки показывали космонавту текстовые и графические подсказки, а также распознающие рамки вокруг определяемых искусственным интеллектом деталей. Для наблюдения за испытаниями информация из очков дополнительно выводилась на внешний монитор.

«УМНЫЕ РУКИ» ДЛЯ СПАСАТЕЛЯ

Не меньшее значение технологии дополненной реальности имеют для спасателей. Летом 2022 г. корпорация «Ростех» представила интерактивные шлемы «Умные руки», способные облегчить труд работников экстренных служб во время ликвидации последствий чрезвычайных ситуаций.

Новые шлемы получают информацию с квадрокоптеров и позволяют спасателям постоянно поддерживать связь с центром управления и друг с другом. Разработка позволяет одновременно организовывать работу спасательских бригад численностью до 20 человек. Радиус действия системы не ограничен.

В процессе работы шлем демонстрирует спасателю видеоподсказки из встроенной базы данных, а также предупреждает об опасностях, показывая горячие поверхности, объекты под напряжением и т.п. В этом устройству в числе прочего помогает встроенный тепловизор, который сотрудник может использовать и для поиска пострадавших под завалами. Сотрудники в шлемах непрерывно находятся под дистанционным контролем операторов, отдающих им команды, и могут передавать друг другу аудио- и видеоинформацию, тепловизионные показатели, изображения, схемы и техническую документацию.

«Мы представляем решение, способное повысить уровень защиты спасателей, увеличить эффективность их действий, а также скорость коммуникации с ситуационным центром. Шлем “Умные руки” будет очень полезен во время аварийно-спасательных или монтажных работ, при ликвидации последствий чрезвычайных ситуаций, выявлении или устранении любого рода техногенных повреждений», — сообщил исполнительный директор «Ростеха» Олег Николаевич Евтушенко.

Отечественные разработки в области дополненной и виртуальной реальности поистине впечатляют. Замечательно, что технологии цифрового мира обретают применение в сферах особенно напряженного человеческого труда, помогая достигать новых вершин и спасать людей не только в компьютерном мире, но и в реальной жизни.

Миры за пределами экрана: как VR и AR меняют нашу реальность сегодня и изменят завтра

Человечество всегда стремилось выйти за рамки привычного восприятия. Попытки обмануть человеческие органы чувств и создать иллюзию присутствия в вымышленном пространстве уходят корнями в глубокое прошлое. Еще в 1838 году сэр Чарльз Уитстон изобрёл стереоскоп — устройство, которое с помощью двух плоских рисунков, смещенных под определенным углом, создавало иллюзию трехмерного объема.

Термин «виртуальная реальность» (Virtual Reality) прочно вошел в обиход только в 1987 году благодаря футурологу и исследователю Джарону Ланье. Однако технологический фундамент закладывался десятилетиями ранее. Хронология ключевых этапов развития технологий выглядит следующим образом:

• «Очки Пигмалиона» (1935 г.): Писатель-фантаст Стенли Вейнбаум впервые детально описал концепцию очков, передающих не только стереоскопическое изображение, но и запахи, вкусы и осязание.
• «Сенсорама» Мортона Хейлига (1956 г.): Громоздкий стационарный автомат предлагал пользователю прокатиться на мотоцикле по Бруклину. Иллюзия создавалась за счет 3D-изображения, стереозвука, вибрации сиденья, симуляции ветра и даже запахов бензина и асфальта.
• «Дамоклов меч» Ивана Сазерленда (1968 г.): Первое носимое на голове устройство (HMD). Из-за огромного веса конструкция крепилась к потолку лаборатории, а простейшая компьютерная графика отображала на фоне реальной комнаты куб из сетки.
• Виртуальный бойкот 90-х: В 1995 году компания Nintendo выпустила консоль Virtual Boy. Продукт обернулся коммерческим провалом из-за монохромного красного дисплея, низкой частоты кадров и быстрой утомляемости глаз, что заморозило массовый рынок почти на 20 лет.
• Новейшая эра (с 2012 г.): Развитие мобильных процессоров, гироскопов и дисплеев для смартфонов позволило сделать трекинг точным, а устройства — доступными. Покупка компании Oculus корпорацией Facebook (ныне Meta) за $2 млрд в 2014 году спровоцировала глобальный бум инвестиций.

Сегодня технологии объединяются под общим термином XR (Extended Reality), описывающим спектр от классического VR до продвинутой дополненной и смешанной реальности (MR).

Текущий этап: где мы находимся?

Современная XR-индустрия переживает этап зрелости. Устройства избавились от проводов, стали автономными, легкими и получили дисплеи высокой четкости. Вектор развития сместился в сторону Mixed Reality (MR) — смешанной реальности, где виртуальные объекты взаимодействуют с физическим окружением.

Топ-5 примеров коммерческого применения сегодня:

1. 1. Пространственный компьютер Apple Vision Pro: Устройство использует сквозные цветные камеры высокого разрешения (Ultra-low latency Passthrough), позволяя пользователю плавно совмещать рабочие цифровые окна с интерьером своей комнаты.
   2. Экосистема Meta Quest 3: Автономный шлем смешанной реальности, сделавший доступными трекинг рук без контроллеров и игры в пространстве комнаты.
   3. Автомобильные HUD-дисплеи (Heads-Up Display): Проекционные экраны на лобовом стекле в автомобилях таких брендов, как Mercedes-Benz или BMW, выводят интерактивные стрелки навигации прямо на дорожное полотно в реальном времени.
   4. Мобильный ритейл (IKEA Place): Приложения дополненной реальности для смартфонов на базе Google ARCore и Apple ARKit, позволяющие перед покупкой примерить цифровую копию мебели в масштабе 1:1 к своей гостиной.
   5. Платформа SteamVR и игра Half-Life: Alyx: Стандарты иммерсивного гейминга с физически точным взаимодействием рук с предметами, сложной механикой перезарядки оружия и пространственным звуком.

Ближайшее будущее (2026–2035 гг.): интеграция и утилитарность

В ближайшие 5–10 лет технологии XR пройдут путь миниатюризации. Ожидается окончательный отказ от массивных пластиковых шлемов в пользу легких повседневных AR-очков.

Топ-5 примеров применения в ближайшем будущем:

• Повседневные AR-очки со встроенным ИИ: Устройства вроде прототипа Meta Orion станут тоньше. Пользователь вместо экрана смартфона видит интерфейс прямо перед глазами, а ИИ-ассистент мгновенно узнает прохожих, переводит иностранные вывески и выстраивает маршруты.
• Виртуальные операционные для хирургов: Внедрение тактильных перчаток с обратной связью (например, HaptX). Врач сможет тренироваться перед сложной операцией на детализированном 3D-близнеце сердца конкретного пациента, физически чувствуя сопротивление тканей.
• Обслуживание умных заводов (Индустрия 4.0): Инженер в AR-очках смотрит на сложную турбину, а система выводит поверх нее цифровую схему внутренних узлов, подсвечивая изношенную деталь и пошагово инструктируя, как провести ремонт.
• Глобальные интерактивные классы: Вместо зум-созвонов ученики со всего мира собираются в едином XR-пространстве. На уроке биологии они могут уменьшиться до размеров молекулы и изучать строение клетки изнутри.
• Цифровые AR-привилегии в урбанистике: Навигация в мегаполисах без карт в руках. Турист идет по городу, а на асфальте горит неоновый трек, витрины ресторанов сразу показывают меню и отзывы, а исторические памятники «достраивают» свои разрушенные элементы на экране очков.

Далекое будущее (после 2035 года): нейроинтеграция и стирание границ

В долгосрочной перспективе физические экраны исчезнут. Технологии расширенной реальности полностью объединятся с биологическим телом человека и возможностями нейрокомпьютерных интерфейсов (BCI).

Топ-5 примеров применения в далеком будущем:

1. Умные контактные линзы (Mojo Vision и аналоги): Сверхтонкие склеральные линзы со встроенными микро-LED дисплеями, получающие энергию от мигания глаза. Весь интерфейс проецируется сразу на сетчатку, делая устройство невидимым для окружающих.
2. Closed-Loop нейроинтерфейсы: Прямое подключение к коре головного мозга (развитие идей Neuralink). Виртуальный мир транслируется не через глаза и уши, а напрямую импульсами в сенсорные зоны мозга. Человек сможет осязать текстуру цифрового камня или чувствовать тепло солнца в симуляции.
3. Глобальный цифровой туризм без перелетов: Сенсорное погружение в любые уголки Вселенной. Возможность прогуляться по поверхности Марса, воссозданной на основе данных марсоходов, физически ощущая тяжесть скафандра и разницу в гравитации.
4. Сверхдетализированные Метавселенные как основное место работы: Полный переход креативного класса и белых воротничков в децентрализованные цифровые миры с собственной экономикой, где физические законы (гравитация, старение материалов) настраиваются администратором.
5. Цифровая реставрация памяти и терапия: Использование BCI и VR для воссоздания воспоминаний пожилых людей или реабилитации пациентов с тяжелыми когнитивными нарушениями, позволяя им заново проживать счастливые моменты из их прошлого в абсолютной точности.

Перспективы развития технологии: полноценное заключение

Анализируя траекторию развития XR, можно утверждать, что человечество движется к технологической сингулярности восприятия. В течение следующих десятилетий мы станем свидетелями фундаментального сдвига: от потребления контента «через окно» (экраны мониторов и смартфонов) мы перейдем к существованию внутри самого контента.

Основные перспективы развития лежат на стыке трех китов: аппаратной миниатюризации, развития искусственного интеллекта и нейробиологии. ИИ возьмет на себя роль главного архитектора виртуальных миров, генерируя сложные пространства «на лету» под индивидуальные запросы пользователя. Развитие сетей связи нового поколения (6G и далее) решит проблему задержки передачи данных (latency), устранив главную причину кинетоза (цифровой морской болезни) раз и навсегда.

Однако технологический триумф потребует от общества пересмотра правовых, этических и психологических норм. Потребуется выработка новых законов о защите биометрических данных, поскольку XR-устройства будут знать о нас всё: от траектории взгляда до неосознанных эмоциональных реакций. Тем не менее потенциал XR огромен. Эта технология способна не просто развлечь, но и нивелировать физические ограничения человека, уравнять возможности людей в обучении, стереть расстояния между близкими и предоставить человечеству безграничный цифровой холст для эволюции нашего вида.

Часто задаваемые вопросы (FAQ)

В чем разница между VR, AR и MR?

• VR (Виртуальная реальность): Полностью изолирует пользователя от реального мира, погружая в искусственно созданную 3D-среду с помощью закрытого шлема.
• AR (Дополненная реальность): Накладывает цифровые элементы (текст, картинки, 3D-модели) поверх реального мира через прозрачные стекла очков или камеру смартфона.
• MR (Смешанная реальность): Продвинутая версия AR, где цифровые и физические объекты не просто соседствуют, но и активно взаимодействуют друг с другом (например, виртуальный мяч может отскочить от вашего реального стола и укатиться под настоящий диван).

Почему у многих людей кружится голова в VR-шлемах?

Это явление называется кинетозом или «синдромом виртуальной реальности». Оно возникает из-за сенсорного конфликта: ваши глаза видят, что виртуальное тело активно бежит или летит, но вестибулярный аппарат во внутреннем ухе передает в мозг сигнал, что вы неподвижно сидите на стуле. Снижение веса шлемов, повышение частоты обновления экранов (до 90–120 Гц) и точный трекинг минимизируют этот эффект.

Заменят ли AR-очки обычные смартфоны?

Да, в перспективе 7–10 лет. Как только инженеры смогут упаковать вычислительную мощность, аккумуляторы и качественные волноводные дисплеи в корпус классических элегантных очков, необходимость носить в кармане стеклянный прямоугольник (смартфон) отпадет. Все функции экрана перейдут в область вашего зрения.

Могут ли VR-технологии нанести физический вред зрению?

Современные исследования показывают, что при соблюдении тайм-менеджмента (перерывы каждые 30–40 минут) VR не портит зрение сильнее, чем обычный монитор. Фокусное расстояние в шлемах за счет линз настроено примерно на 1.5–2 метра, что даже более комфортно для глазных мышц, чем разглядывание смартфона в 20 сантиметрах от лица. Главная опасность — синдром сухого глаза из-за редкого моргания и риск физически споткнуться о мебель в комнате.

Что такое тактильная обратная связь (Haptics)?

Это технологии, позволяющие пользователю физически ощущать виртуальные объекты. Сюда входят вибрационные моторы в контроллерах, перчатки со сжатым воздухом, имитирующие плотность предметов, и специальные тактильные костюмы (например, bhaptics), передающие импульсы ударов, дуновения ветра или капель дождя на тело пользователя.

Источники

• Беседа с М.Я. Натензоном
• Политех. Наука и инновации (сайт Санкт-Петербургского политехнического университета Петра Великого). Проведена первая в России операция с использованием технологии дополненной реальности
• Центр подготовки космонавтов им. Ю.А. Гагарина. Официальная страница в социальной сети «ВКонтакте». Публикация от 16.09.2022 в 17:40 («Началось тестирование системы дополненной реальности для помощи космонавтам»)
• Госкорпорация «Ростех». «Ростех» создал шлем для спасателей с технологией дополненной реальности
• Источники изображений в тексте: скриншоты видео «Первая в России операция с использованием технологии дополненной реальности» на канале «Политех Петра» на YouTube, freepik / фотобанк Freepik, Андрей Шелепин / пресс-служба Центра подготовки космонавтов им. Ю.А. Гагарина, скриншоты видео «Шлем для спасателей с технологией дополненной реальности» на канале «Ростех» на RuTube.

Автор: Анастасия Жукова
Источник: https://scientificrussia.ru/