На фото: Нейроморфная платформа Pohoiki Springs со 100 млн нейронов Фото: Walden Kirsch / Intel Corporation. Микрочипы по способу «мышления» постепенно приближаются к человеческому мозгу. В 1950–1960 годах, когда первые компьютеры начали появляться в крупных компаниях, ученые пытались моделировать строение мозга с помощью алгоритмов искусственного интеллекта (ИИ). Но всерьез о возможностях ИИ заговорили только ближе к концу XX века, когда Гарри Каспаров в 1997 году проиграл в шахматы суперкомпьютеру IBM Big Blue. Существенные изменения произошли в 2010-х годах, когда ИИ на базе нейронных сетей обучили делать выводы на основе анализа данных после предварительной «тренировки». Сегодня такие системы применяются, например, для подсчета пассажиров в автобусе или фиксации номера автомобиля нарушителя ПДД. Даже смартфоны со временем обзавелись ИИ — например, для обработки изображений или видео. Согласно прогнозам компании IDC, выручка глобального рынка технологий ИИ, включая программы, оборудование и услуги, по итогам 2021 года достигнет $327,5 млрд, и уже в 2024 году превысит $500 млрд.

В России аналитики IDC оценили рынок ИИ по итогам 2020 года в $291 млн.  Современные технологии ИИ прогрессируют с большой скоростью, но все еще значительно уступают «естественному» интеллекту: человеческий мозг универсальнее, лучше обучаем, более гибок в анализе и принятии решений на основе разрозненной и неполной информации, к тому же потребляет значительно меньше энергии.

Следующее поколение технологий ИИ, над которым, в частности, работают в Intel Labs (научно-исследовательское подразделение компании, которое изучает перспективные идеи работы с данными), будет использовать алгоритмы, более точно имитирующие работу биологического мозга, в том числе в части интерпретации (трактовки в правильном контексте) и автономной адаптации (улучшенное представление данных без взаимодействия с внешней средой) для реагирования на непредвиденные ситуации и различные абстракции.

Нейроморфные вычисления на основе цифровых нейронов, применяемые для этих целей, довольно точно моделируют поведение своих биологических аналогов. Вместе с вероятностными алгоритмами обработки неопределенных и противоречивых данных они являются одним из наиболее перспективных вариантов развития ИИ. Сегодня нейроморфные вычисления все еще на стадии исследований, однако им предсказывают большое будущее. Например, по прогнозу i-Micronews, только в США этот рынок ожидает рост с $69 млн в 2024 году до $5 млрд в 2029 году и $21,3 млрд к 2034 году.

Механизм работы нейроморфных вычислений

Компактная нейроморфная USB-система Kapoho Bay с 262 тыс. нейронов. Фото: Walden Kirsch / Intel Corporation

Сегодня для ускорения работы ИИ используются отдельные микросхемы или модули процессоров, чипы для глубокого машинного обучения или отдельных функций — например, для машинного зрения, а также видеокарты, архитектура которых, в частности, справляется с параллельными вычислениями лучше центральных процессоров.

Все эти примеры далеки от нейроморфных вычислений, поскольку построены на традиционной последовательной вычислительной архитектуре фон Неймана с разделенным процессором и памятью. Нейроны мозга, в свою очередь, способны и хранить, и обрабатывать информацию.

Нейроморфные процессоры, создаваемые на стыке биологии, физики, математики, информатики и полупроводникового производства, строятся из привычных транзисторов, но с иной организацией архитектуры, подобно строению нейронов биологического мозга. По аналогии с биологическим образцом искусственный нейрон имеет один выход (аксон), сигнал с которого может поступать на большое количество входов других нейронов и тем самым изменять их состояние.

Искусственные нейроны объединяются по модели импульсных нейронных (спайковых) сетей (Spiking neural network, SNN), особенностью которых является передача данных с помощью разнесенных по времени коротких импульсов равной амплитуды, а не за счет меняющихся по времени значений, как в нейросетях предыдущих поколений. Благодаря кодированию данных импульсами и временными промежутками между ними импульсные нейросети моделируют естественные процессы передачи сигналов, которые также управляют процессами обучения с динамическим переназначением синапсов между нейронами в ответ на стимулы.

Нейросеть класса SNN обеспечивает крайне высокую скорость и производительность, а ее структура может обучаться непосредственно во время работы. Она может обрабатывать динамические задачи — например, распознавать запахи, речь или изображения в видеоряде. Многозадачность спайковых нейронных сетей позволяет обучать группы нейронов для решения различных проблем и осуществлять распознавание с предсказанием по неполным данным.

В настоящее время изучением вопросов применения импульсных нейросетей для моделирования функций мозга занимается множество научных групп и компаний во всем мире. Корпорация Intel вместе с экосистемой партнеров решает задачи в области нейроморфных вычислений комплексно — от фундаментальных теоретических разработок и создания алгоритмов до разработки и производства нейроморфных процессоров.

Искусственный нюх

Еще в сентябре 2017 года Intel Labs представила самообучающийся нейроморфный процессор Loihi первого поколения, предназначенный для изучения функциональных возможностей спайковых нейронных сетей и имитации адаптивного поведения мозга, с возможностью масштабирования решений от двух и более процессоров на одной плате. Кристалл Loihi первого поколения размером всего 60 кв. мм обладает 128 ядрами (по 1024 нейрона в каждом), обеспечивая в общей сложности примерно 130 тыс. нейронов и около 130 млн синапсов. В каждое из 128 ядер встроен механизм обучения, схожий с моделями пластичности мозга.

Архитектура Loihi обеспечивает быструю обработку сигналов в реальном времени с возможностью обучения и адаптации. Так, при обучении нейронной сети Loihi запахам требуется примерно в 3 тыс. раз меньше данных, нежели для процессоров общего назначения для сравнимой производительности обучения. Оптимизация такой сети требует примерно в 1 тыс. раз меньше энергии по сравнению с традиционной системой сравнимой мощности.

Самым доступным решением является USB-устройство Kapoho Bay с двумя процессорами Loihi. Исследователи также используют систему Pohoiki Beach на 64 чипах Loihi с эквивалентом 8 млн нейронов и платформу Pohoiki Springs на 768 чипах Loihi с эквивалентом порядка 100 млн нейронов, что уже сравнимо с мозгом мелкого млекопитающего.

Осенью 2021 года Intel объявила о дальнейшем развитии нейроморфных технологий и представила процессор нового поколения Loihi 2, а также среду программирования Lava с открытым исходным кодом для разработки нейроморфных приложений.

Число искусственных нейронов в Loihi 2 увеличилось по сравнению с первым поколением сразу в 8 раз — до 1 млн, при этом физический размер кристалла, напротив, уменьшился почти в два раза, до 31 кв. мм.

Ранние сравнения Loihi 2 с предыдущим поколением показали прирост скорости обработки данных до 10 раз, а также до 15 раз более плотную концентрацию ресурсов с большей экономией энергии. В Intel также подчеркивают, что нейроморфные сети Loihi 2 работают до 5 тыс. раз быстрее, чем биологические нейроны.

В последние годы исследователи отмечали, что нейроморфное оборудование опережает прогресс в программной области, особенно в части алгоритмов. Открытая модульная среда разработки Lava призвана устранить эти противоречия и унифицировать программный стек — особенно с учетом близкой перспективы появления коммерческих нейроморфных продуктов.

Lava поддерживает широкий спектр традиционных и нейроморфных процессоров, предоставляет разработчикам совместное использование общих инструментов и библиотек, возможность взаимного обмена накопленным опытом.

Возможности нейроморфных вычислений сегодня

Исследовательский процессор нового поколения Loihi 2. Фото: Walden Kirsch / Intel Corporation

Самая простая USB-система Intel Kapoho Bay с двумя процессорами Loihi содержит 262 тыс. нейронов, но этого вполне достаточно для системы распознавания жестов, чтения шрифта Брайля с использованием искусственной кожи, ориентирования на местности по запомненным визуальным ориентирам, изучения новых запахов и для решения других задач. Небольшая система Oheo Gulch на базе одного Loihi 2 предоставляет уже 1 млн нейронов.

Для отдельных функций вполне достаточно компактного решения на нескольких чипах Loihi, а Pohoiki Springs с 100 млн нейронов уже позволяет моделировать автономную многозадачную работу мозга для нахождения оптимальных решений масштабных задач.

Нейроморфные системы с производительностью уровня Pohoiki Beach имеют шансы стать оптимальным вариантом для решения специализированных задач, где современные процессоры не могут обеспечить требуемый уровень производительности с разумным уровнем расхода энергии. Среди таких задач, например, процессы, связанные с работой автономного транспорта или функционированием устройств «умного дома».

Одной из наиболее наглядных демонстраций возможностей нейроморфных вычислений стала совместная публикация исследователей из Intel Labs и Корнельского университета в журнале Nature Machine Intelligence, где они поделились опытом использования процессоров Intel Loihi для имитации системы обоняния человека. Исследователи научили предварительно натренированный Loihi точно и с первого раза распознавать до 10 видов запахов вредных веществ, включая ацетон, аммиак, метан и другие химикаты, используемые при создании наркотических и других подобных веществ. Альтернативам, в том числе с применением ИИ и глубокого обучения, для такого уровня точности требуется в 3 тыс. раз больше выборок для обучения по каждому классу веществ.

Исследователи полагают, что в будущем компактный нейроморфный «электронный нос» может пригодиться медикам для диагностики заболеваний, службам безопасности для обнаружения оружия и различных веществ, полиции и пограничникам для поиска и изъятия наркотиков, и даже в системах «умного дома» для практичных детекторов дыма и угарного газа. Роботы с системой определения запахов помогут сортировать продукты и следить за состоянием окружающей среды.

Схема работы нейроморфных вычислений. Как видно из рисунка, ключевым преимуществом нейроморфных процессоров является возможность искусственных нейронов обучаться «на лету», одновременно передавать, хранить и обрабатывать информацию в одной клетке. Особая архитектура, где каждый нейрон связан синапсами с тысячами других нейронов, позволяет таким процессорам учиться, развиваться и адаптироваться по аналогии с образом мышления человека

Искусственное прикосновение

Еще один удачный пример на стыке нейроморфных вычислений и биологии продемонстрировала команда ученых из Национального университета Сингапура (NUS). Исследователи создали роботизированную руку с искусственной кожей и датчиками зрения и оснастили ее нейроморфным процессором Loihi. В итоге искусственная рука была обучена обнаруживать прикосновения более чем в 1 тыс. раз оперативнее, чем сенсорная нервная система человека, и определять форму, текстуру и твердость объектов в 10 раз быстрее, чем человеческий глаз.

Решения с искусственной кожей могут внедряться в медицине для автоматизации хирургических задач, на производстве для тактильного распознавания, идентификации и захвата незнакомых предметов с допустимым давлением без скольжения. Способность к быстрой оценке окружающей среды также может помочь повысить безопасность в цехах с совместным присутствием людей и роботов и даже открыть новые горизонты в неизведанных ранее областях — например, в профессиях по уходу за пациентами преклонного возраста.

В этой области уже работает команда исследователей из Accenture Labs, Intel Labs и Открытого университета Израиля. Создаваемый ими роботизированный манипулятор предназначен для инвалидных колясок с адаптивным управлением. Решение задачи возложено на алгоритм компании Applied Brain Research (ABR) и нейроморфное оборудование Intel. Технология поможет людям со специальными потребностями использовать роботизированную руку в повседневной жизни — например, пить из стакана с уменьшением количества ошибок на 50% и повышением энергоэффективности на 48% по сравнению с традиционными методами управления.

Аэрокосмическая компания Airbus совместно с Университетом Кардиффа использует процессор Loihi в проекте совершенствования технологии обнаружения вредоносных программ. В компании полагают, что возможности обучения и масштабирования Loihi в режиме реального времени помогут ускорить обнаружение вредоносного кода при низком энергопотреблении и помогут в борьбе с вымогателями. Также в Airbus изучают возможности применения нейроморфных чипов Intel в сфере удаленного онлайн-обучения. Такой подход сулит ряд новых возможностей, включая адаптивное управление, автономную проверку и возможность совершенствования хранения данных на фоне снижения общих затрат.

Сложности на пути внедрения нейроморфных вычислений

Нейроморфные процессоры представляют собой одну из самых перспективных разработок в области вычислительной техники. Сегодня они лишь формируют новую модель программируемых вычислений, однако предполагается, что уже в ближайшем будущем они не только ускорят выполнение трудоемких вычислительных задач «на лету» с минимальным энергопотреблением, но также откроют человечеству новые гармоничные аспекты цифрового образа жизни, подсмотренные в живой природе.

Со временем нейроморфные процессоры имеют все шансы расширить и дополнить возможности современных процессоров с помощью новых технологий, которые позволят компьютерам будущего функционировать, адаптироваться и обучаться с помощью алгоритмов, напоминающих образ мышления человека.

Самые яркие проекты по созданию нейроморфных процессоров

Сегодня в мире существует совсем немного специализированных процессоров, чипов или крупномасштабных систем, которые можно отнести к нейроморфным. Про нейроморфные вычисления в целом мы уже говорили, про нейроморфные чипы тоже, а в этой статье  расскажем о самых заметных на сегодня реализациях. Попытаемся раскрыть их суть, разобрать отличительные черты и выделить некоторые особенности.

TrueNorth: процессор, имитирующий миллион нейронов

TrueNorth — это продукт компании IBM и первый специализированный процессор, созданный для эффективной эмуляции ИНС. Чип IBM TrueNorth стал результатом десятилетней работы в рамках программы DARPA SYNAPSE, направленной на создание высокоплотной и энергоэффективной платформы, способной поддерживать когнитивные приложения. Ключевым компонентом является большой 28-нм CMOS-чип, содержащий 5,4 млн. транзисторов и 4 096 нейросинаптических ядер, каждое из которых состоит из 256 нейронов с 256 синаптическими входами. Микросхема полностью цифровая и работает асинхронно, за исключением тактовой частоты 1 кГц, которая определяет основной временной шаг.

Важно отметить, что чипы TrueNorth можно напрямую соединять друг с другом для формирования более крупных систем, это означает возможность неограниченной масштабируемости.

С точки зрения применения, TrueNorth подходит для использования в различных отраслях и сферах деятельности. Система подходит для решения задач по видеоаналитике, распознаванию речи и пр.  TrueNorth предлагает очень энергоэффективную обработку в реальном времени многомерных данных [2] [3] [4] [5] [6].

Энергоэффективный симулятор мозга Neurogrid

Neurogrid был разработан группой Brains in Silicon в Стэнфордском университете в рамках проекта, который был запущен в конце 2009 года. В настоящий момент система используется для проведения экспериментов по моделированию и визуализации [12].

Neurogrid — это многочиповая система со смешанным режимом. В системе используется подпороговые аналоговые схемы для моделирования динамики нейронов и синапсов в биологическом реальном времени с помощью цифровой импульсной связи. Все сигналы в нейрон поступают в одну из четырех общих цепей синапсов. Из-за «древообразной» структуры «вход» в один нейрон воздействует на соседние нейроны через резистивную сеть.

Каждый чип Neurocore включает в себя маршрутизатор, который может передавать пакеты пиковых значений между своим локальным чипом, его родительским чипом и двумя дочерними чипами.

Neurogrid состоит из 16 нейроядер/чипов, каждый из которых содержит 65 тыс. нейронов (всего 1 млн. нейронов), реализованных в подпороговых аналоговых схемах. Отдельное нейроядро изготавливается на матрице размером 11,9 мм × 13,9 мм. Плата из 16 нейроядер имеет размер 6,5 × 7,5, при этом вся плата потребляет примерно 3 Вт.

Режим работы Neurogrid в режиме реального времени делает его подходящим для управления роботами, в частности в рамках исследования Neurogrid был подключен к роботизированной руке для управления протезной конечностью и демонстрировал довольно многообещающие показатели. Дальнейшее финансирование проекта направлено на использование очень низкого энергопотребления технологии для разработки чипа, который может быть имплантирован в мозг для управления протезом конечности, а также для разработки технологии управления дронами [2] [3] [7].

BrainScaleS: ускорение в 10 000 раз

Нейроморфная система BrainScaleS была разработана в Гейдельбергском университете в рамках серии проектов, финансируемых Европейским союзом. BrainScaleS — это ускоренные нейроморфные вычисления, основанные на аналоговых нейронных цепях, превышающих пороговые значения. Проект нацелен на исследования в области вычислительной нейробиологии.

Ключевые особенности BrainScaleS:

• Использование надпороговых аналоговых схем для реализации физических моделей нейронных процессов, что дает гораздо более быстрые схемы, работающие со скоростью, в 10 000 раз превышающей биологическую
• Использование интеграции в масштабе пластины для доставки большого количества аналоговых нейронов, которые могут быть очень эффективно соединены между собой, чтобы обеспечить ускорение в 10 000 раз.

Крайне высокая скорость работы системы BrainScaleS предопределяет ее использование в областях, где необходимо длительный промежуток времени «сжать» до нескольких дней или даже часов. Например, долгосрочные учебные задачи, такие как моделирование нескольких лет развития детей, где ускорение в 10 000 раз потенциально может превратить годы в часы [2] [3].

SpiNNaker: суперкомпьютер, моделирующий работу мозга

SpiNNaker — это цифровая многоядерная система, работающая в реальном времени. Система реализует нейронные модели и модели синапсов в программном обеспечении, работающем на небольших встроенных процессорах. SpiNNaker был разработан для обеспечения масштабируемости и энергоэффективности за счет использования интеллектуальных методов коммуникации. Принцип его работы состоит в том, чтобы минимизировать расстояния, на которые должны быть перемещены часто используемые данные: код и наиболее часто используемые данные находятся в пределах одного-двух миллиметров от ядра, а редко используемые данные находятся в SDRAM, которая является примерно в 1 см от сердцевины.

Каждый узел SpiNNaker содержит 18 процессорных ядер ARM 968, каждое с 32 Кбайтами локальной памяти команд и 64 Кбайтами локальной памяти данных, 128 Мбайт общей памяти, маршрутизатор пакетов и вспомогательные схемы. Один узел может моделировать до 16 000 цифровых нейронов с 16 миллионами синапсов, потребляя 1 Вт энергии. Существует два размера печатных плат SpiNNaker: меньший из них представляет собой плату с 4 узлами (64 000 нейронов), больший — плату с 48 узлами (768 000 нейронов). Плата с 48 узлами потребляет до 60 Вт. Нейроморфная вычислительная система SpiNNaker HBP включает в себя миллион процессоров на 48-узловых платах и ​​способна имитировать импульсные сети в масштабе мозга мыши в биологическом реальном времени.

Во многих отношениях система SpiNNaker напоминает обычный суперкомпьютер, но имеет ряд существенных отличий:

• Процессоры в SpiNNaker — это небольшие целочисленные ядра, изначально предназначенные для мобильных и встроенных приложений, а не высокопроизводительные «толстые» ядра, которые традиционно предпочитают разработчики суперкомпьютеров
• Структура связи в SpiNNaker оптимизирована для отправки большого количества очень маленьких пакетов данных (каждый обычно передает один нейронный всплеск) многим адресатам по статически настроенным групповым путям, тогда как суперкомпьютеры обычно используют большие пакеты с динамической двухточечной маршрутизацией.

Маломасштабные системы SpiNNaker используются для решения задач в реальном времени, например, для управления роботами и обработки изображений, а также для моделирования биологических цепей, не требующих работы в реальном времени [2] [3].

Авангард: нейроморфный чип Loihi

Loihi — это нейроморфный чип, представленный Intel Labs в 2018 году и изготовленный по 14нм техпроцессу Intel FinFET. Loihi моделирует 130 тыс. нейронов и 130 млн синапсов в реальном времени. Чип состоит из 128 нейроморфных ядер, способных к обучению и логическим выводам. Протокол иерархической сети реализован для поддержки связи между нейроморфными ядрами.

Loihi считается первым полностью интегрированным чипом нейронной сети, поддерживающим сжатие разреженных сетей, многоадресную передачу от ядра к ядру, переменный синаптический формат и иерархическую связность.

Loihi может решать задачи оптимизации, такие как LASSO (Least Absolute Shrinkage and Selection Operator) и при этом он более чем в 30 раз энергоэффективнее традиционных используемых сейчас систем [2].[1]

Совсем недавно (во второй половине 2021 г.) компания Intel представила новый процессор — Loihi 2. В процессоре Loihi 2 выросло число нейронов со 128 тыс. до 1 млн. а также реализовано более гибкое программирование нейронной модели

Человеческий мозг vs нейроморфные системы: сравнение ключевых особенностей

Источник: [2] [3], открытые источники, данные компаний и пр.

Каждая из описанных выше систем имеет свои сильные стороны. Так, TrueNorth предлагает платформу для высокоинтегрированной и энергоэффективной работы приложений, SpiNNaker – максимальную гибкость для исследования различных нейронных моделей и правил пластичности, BrainScaleS обеспечивает высокое ускорение для длительного обучения, а Neurogrid предлагает высокую энергоэффективность с моделями, которые наиболее близки к физике и биологии. Loihi является наиболее перспективным и функционально богатым нейропроцессором. Все принципы функционирования этих систем в том или ином виде будут развиваться, а новые усовершенствованные системы будут еще производительнее и эффективнее.

Ключевые игроки на рынке нейроморфных технологий

В заключении перечислим менее известные пока проекты, в рамках которых апробируются разнообразные подходы к реализации с неплохим потенциалом к развитию: MNIFAT, DYNAP, 2IFWTA chip, Tianjic chip, ODIN [2] [9] [11]. Ниже перечислены наиболее крупные компании, которые на коммерческой основе предлагают рынку нейроморфные вычислительные системы или решения:

• Applied Brain Research — https://appliedbrainresearch.com/
• BrainChip — https://brainchipinc.com/
• Green Mountain Semiconductor — https://www.greenmountainsemi.com/
• Hewlett Packard Enterprise — https://www.hpe.com/us/en/hewlett-packard-labs.html
• IBM — https://www.research.ibm.com/artificial-intelligence/hardware/
• Intel — https://newsroom.intel.com/tag/neuromorphic-computing/
• Knowm — https://knowm.org/
• Natural Intelligence Semiconductor — https://www.naturalintelligence.ai/
• Neuromem Technologies — http://neuromem.ai/
• Westwell lab – http://www.westwell-lab.com/index_en.html

Источники: https://habr.com/, https://www.kommersant.ru/

Понравилась статья? Тогда поддержите нас, поделитесь с друзьями и заглядывайте по рекламным ссылкам!