Нейронные сети, изначально предназначенные для обработки речи, оказались отличными моделями того, как наш мозг понимает пространство. Понимание того, как мозг организует и получает доступ к пространственной информации – где мы находимся, что находится за углом, как туда добраться – остаётся сложной задачей. Процесс включает в себя вызов всей сети воспоминаний и хранимых пространственных данных из десятков миллиардов нейронов, каждый из которых связан с тысячами других. Нейробиологи определили ключевые элементы, такие как клетки решётки, нейроны, которые отображают местоположения. Но копнуть глубже будет сложно: исследователи не могут удалить и изучить срезы человеческого серого вещества, чтобы посмотреть, как воспоминания изображений, звуков и запахов, основанные на местоположении, текут и соединяются друг с другом.
Искусственный интеллект предлагает ещё один способ. В течение многих лет нейробиологи использовали множество типов нейронных сетей – механизмов, обеспечивающих работу большинства приложений глубокого обучения, – для моделирования возбуждения нейронов в мозге. В недавней работе исследователи показали, что гиппокамп, структура мозга, имеющая решающее значение для памяти, в основном представляет собой особый вид нейронной сети, известной как преобразователь. Их новая модель отслеживает пространственную информацию таким образом, который аналогичен внутренней работе мозга. Они добились выдающихся успехов.
«Эти модели мозга эквивалентны преобразователю, и поэтому наши модели работают намного лучше и их легче обучать», – сказал Джеймс Уиттингтон, когнитивный нейробиолог, который делит своё время между Стэнфордским университетом и лабораторией Тима Беренса в Оксфордском университете.
Исследования Уиттингтона и иных намекают на то, что преобразователи могут значительно улучшить способность моделей нейронных сетей имитировать виды вычислений, выполняемых клетками решётки и иными частями мозга. По словам Уиттингтона, такие модели могут подтолкнуть нас к пониманию того, как работают искусственные нейронные сети и, что ещё более вероятно, как выполняются вычисления в мозгу.
«Мы не пытаемся воссоздать мозг, – сказал Дэвид Ха, учёный из Google Brain, который также работает над моделями преобразователей. – Но сможем ли мы создать механизм, который может делать то, что делает мозг?»
Преобразователи впервые появились пять лет назад как новый способ искусственного интеллекта для обработки языка. Они являются секретным соусом в программах завершения предложений, таких как BERT и GPT-3, которые могут генерировать убедительные тексты песен, сочинять шекспировские сонеты и выдавать себя за представителей службы поддержки.
Преобразователи работают с использованием механизма, называемого самовниманием, в котором каждый вход – слово, пиксель, число в последовательности – всегда связан с любым иным входом. (Другие нейронные сети соединяют входные данные только с некоторыми другими входными данными.) Но хотя преобразователи были разработаны для языковых задач, с тех пор они преуспели в иных задачах, таких как классификация изображений, а теперь и в моделировании мозга.
В 2020 году группа под руководством Зеппа Хохрайтера, учёного из Университета имени Иоганна Кеплера в Линце в Австрии, использовала преобразователь для переоснащения мощной, давней модели извлечения памяти, называемой сетью Хопфилда. Впервые представленные 40 лет назад физиком из Принстона Джоном Хопфилдом, эти сети следуют общему правилу: нейроны, которые активны в одно и то же время, создают прочные связи друг с другом.
Хохрайтер и его сотрудники, отметив, что исследователи искали более совершенные модели извлечения памяти, увидели связь между тем, как новый класс сетей Хопфилда извлекает воспоминания, и тем, как преобразователи управляют вниманием. Эти новые сети Хопфилда, разработанные Хопфилдом и Дмитрием Кротовым в MIT-IBM Watson AI Lab, могут хранить и извлекать больше памяти по сравнению со стандартными сетями Хопфилда из-за более эффективных соединений. Команда Хохрайтера модернизировала эти сети, добавив правило, которое действует как механизм внимания в преобразователях.
Затем, ранее в этом году, Уиттингтон и Беренс помогли доработать подход, изменив преобразователь таким образом, чтобы вместо обработки воспоминаний как линейной последовательности – как строки слов в предложении – он кодировал их как координаты в многомерных пространствах. Этот «твист», как назвали его исследователи, ещё больше улучшил производительность модели при выполнении нейрофизиологических задач. Они также показали, что модель математически эквивалентна моделям паттернов возбуждения клеток решётки, которые нейробиологи видят на снимках фМРТ.
«Клетки решётки имеют захватывающую, красивую, регулярную структуру и поразительные узоры, которые вряд ли появляются случайно», – сказал Касвелл Барри, нейробиолог из Университетского колледжа Лондона. Новая работа показала, как преобразователи точно воспроизводят те паттерны, которые наблюдаются в гиппокампе. «Они поняли, что преобразователь может определить, где он находится, на основе предыдущих состояний и того, как он перемещается, тем же способом, который используется в традиционных моделях клеток решётки».
Тим Беренс и Джеймс Уиттингтон помогли показать, что структуры нашего мозга математически похожи на преобразователи.
Другая недавняя работа предполагает, что преобразователи могут улучшить наше понимание и иных функций мозга. В прошлом году Мартин Шримпф, вычислительный нейробиолог из Массачусетского технологического института, проанализировал 43 различных модели нейронных сетей, чтобы увидеть, насколько хорошо они предсказывают измерения нейронной активности человека по данным фМРТ и электрокортикографии. Он обнаружил, что преобразователи являются в настоящее время лучшими нейронными сетями, которые предсказывают почти все вариации, обнаруженные в изображении.
Дэвид Ха вместе с коллегой учёным Юджином Таном недавно разработали модель, которая может намеренно отправлять большие объёмы данных через преобразователь случайным, неупорядоченным образом, имитируя то, как человеческое тело передаёт сенсорные наблюдения в мозг. Их преобразователь, как и наш мозг, мог успешно справляться с беспорядочным потоком информации.
«Нейронные сети запрограммированы на приём определённых входных данных», – сказал Тан. Но в реальной жизни наборы данных часто быстро меняются, и у большинства ИИ нет возможности приспособиться. «Мы хотели поэкспериментировать с архитектурой, которая могла бы очень быстро адаптироваться».
Несмотря на эти признаки прогресса, Беренс видит в преобразователях всего лишь шаг к точной модели мозга, а не конец поиска. «Я должен быть скептиком-нейробиологом, – сказал он. – Я не думаю, что преобразователи в конечном итоге станут тем, как мы думаем о языке, например, в мозгу, даже несмотря на то, что у них есть лучшая текущая модель предложений».
«Является ли это наиболее эффективной основой для прогнозирования того, где я нахожусь и что увижу дальше? Если честно, пока рано об этом говорить», – сказал Барри.
Шримпф также отметил, что даже самые эффективные преобразователи ограничены, они хорошо работают, например, со словами и короткими фразами, но не с более масштабными языковыми конструкциями, такими как рассказывание историй.
«Я считаю, что эта архитектура, этот преобразователь, – верное направление для понимания структуры мозга и она может быть улучшена с помощью тренировок», – сказал Шримпф. «Это хорошее направление, но область очень сложная».
Автор:@FirstJohn
Автор перевода @arielf
Источник: https://habr.com/
