Холдинг “Росэлектроника” Госкорпорации Ростех сообщил о разработке следующего поколения коммуникационной сети «Ангара», позволяющей объединять любые компьютеры с поддержкой PCI Express в мощные вычислительные кластеры. По сравнению с предшественницей, обмен данными в новой «Ангаре» будет в три раза быстрее, что значительно повысит скорость суперкомпьютерных вычислений. “Ангара” способна объединять в единую суперкомпьютерную сеть от нескольких единиц до десятков тысяч вычислительных машин. Оборудование позволяет любому предприятию или научному учреждению создать собственный вычислительный кластер для сложных научных и промышленных расчетов, центров обработки и хранения данных.
Разработку ведет «Научно-исследовательский центр электронной вычислительной техники» (входит в холдинг «Росэлектроника» Госкорпорации Ростех). Сеть «Ангара» второго поколения позволит при помощи стандартных медных или оптических кабелей объединять в кластеры серверы и обычные рабочие станции. Этот процесс сможет выполнить любой подготовленный пользователь. Коммуникационная задержка при передаче данных между вычислительными узлами составит всего 0,85 мкс.
«Сегодня в России находится не более 3% суперкомпьютерных систем от общемирового количества. При этом их вычислительные ресурсы крайне востребованы: сложные расчеты требуются для научных исследований, обучения сложных нейронных сетей, обработки больших объемов данных, моделирования характеристик новых изделий промышленных предприятий и многого другого.
За счет значительной себестоимости вычислительных систем и высоких эксплуатационных затрат, машинное время суперкомпьютеров стоит дорого. Наша разработка решает эту проблему, позволяя, к примеру, небольшим лабораториям и конструкторским бюро объединять вычислительные мощности своих рабочих станций в единый кластер и проводить нужные вычисления самостоятельно. Таким образом, новая разработка даст толчок развитию суперкомпьютерных технологий в стране, а также отечественной науки и промышленности в целом», — комментирует директор по коммуникациям Госкорпорации Ростех Екатерина Баранова.
Сетевое оборудование «Ангара» применяется для создания суперкомпьютеров всех классов производительности, необходимых для выполнения сложных научных, инженерных и промышленных расчетов. Сеть «Ангара» также может являться основой ЦОДов, систем хранения данных, программно-аппаратных комплексов для работы с большими данными. Высокая отказоустойчивость «Ангары» позволяет применять ее во встраиваемых вычислительных системах на борту авиационных комплексов.
Справка:
Высокоскоростная коммуникационная сеть (ВКС) связывает между собой вычислительные узлы суперкомпьютера. Отличительной особенностью таких сетей является аппаратная поддержка моделей параллельного программирования, используемых при решении задач, требующих сверхбольших вычислительных мощностей и объёмов коммуникаций (моделирование сложных систем в области медицины, химии, прогнозирования/изучения климатических явлений, биологии, анализ и обработка больших массивов данных).
Важность разработки ВКС обусловлена следующими причинами:
- Ежегодно среднее количество узлов суперкомпьютеров в рейтинге Top500 увеличивается примерно на 20%; при этом в ряде задач все узлы должны взаимодействовать друг с другом, желательно, с минимально возможной задержкой и максимально возможной пропускной способностью.
- Ежегодно увеличивается количество реальных приложений, характеризуемых интенсивным обменом данных по сети.
- В отличие от процессоров и памяти (которые используются в широком спектре вычислительных систем), компоненты ВКС (как предназначенные исключительно для суперкомпьютеров) легко поставить под экспортный контроль.
Дополнительная информация про высокоскоростные сети, краткий обзор существующих сетей и более подробное описание сети «Ангара» могут быть найдены здесь: html-версия/pdf-версия
Какие есть ВКС в России и в мире?
Все ВКС можно разделить на два класса: коммерческие (доступные отдельно и используемые для построения кластерных систем) и заказные (разрабатываемые в составе вычислительных систем и доступные только совместно с ними).
Среди коммерческих наиболее распространены InfiniBand и 40/100 Gigabit Ethernet.
Заказные ВКС используются в суперкомпьютерах таких фирм, как Cray (Cray Gemini), IBM (IBM Blue Gene/Q), Fujitsu(K Computer), SGI и др.
Разработкой ВКС в России помимо АО «НИЦЭВТ» занимаются РФЯЦ ВНИИЭФ, Институт программных систем РАН и РСК «СКИФ», ИПМ РАН и НИИ «Квант» (сеть «МВС-Экспресс»).
Подробная информация о наиболее мощных суперкомпьютерах доступна на Top500.org.
Что представляет собой сеть «Ангара»?
Предполагается как минимум два способа использования сети «Ангара»:
- в виде сетевых адаптеров в формате плат расширения PCI Express для кластерных систем,
- в составе суперкомпьютера «Ангара» на базе вычислительной платформы собственной разработки.
Как отдельный продукт сетевые адаптеры «Ангара» могут быть использованы для построения персональных суперкомпьютеров и кластеров среднего диапазона производительности (от 10 до 500 Tflop/s) на базе коммерческих вычислительных узлов и инфраструктуры (например, Supermicro или Tyan). При этом сеть «Ангара» может быть использована совместно с другими сетями, например Ethernet или InfiniBand.
Сетевой адаптер «Ангара» представляет собой плату расширения PCI Express (аналогично сетевым картам Ethernet), к которой подключаются от 2 до 8 кабелей для соединения с соседними узлами (передача данных между узлами может осуществляться через промежуточные узлы). Поддерживаются топологии сети от 1D до 4D-тор. Основной режим программирования для сети «Ангара» — совместное использование MPI, OpenMP и Shmem; также поддерживаются GASNet и UPC. Для поддержки Shmem и PGAS-языков на каждом узле выделяется регион памяти, доступный для прямых удалённых обращений (чтения, записи, атомарных операций) от других сетевых узлов (RDMAоперации).
В составе суперкомпьютера «Ангара» ВКС является основной коммуникационной сетью, по которой передаются данные, генерируемые выполняющимися задачами (обмен данных внутри задачи), и трафик файловой системы(обмен данных вычислительных узлов с узлами ввода-вывода). Сеть «Ангара», интегрированная в состав вычислительной платформы, будет использована для построения систем среднего и высшего диапазона производительности.
Где и кем будет применяться сеть «Ангара»?
Суперкомпьютеры с серийными образцами адаптеров «Ангара» предполагается использовать при решении широкого диапазона задач для нужд науки и промышленности, региональных вычислительных центров.
Каковы основные цели при разработке сети «Ангара»?
Главная цель — разработать отечественную сеть, способную конкурировать при использовании в рамках указанного выше набора задач с лучшими коммерчески доступными сетями (InfiniBand), при этом близкую по идеям к лучшим заказным сетям (Cray Gemini, IBM Blue Gene Torus) и эффективно поддерживающую современные модели программирования (односторонние коммуникации, PGAS).
Цели при разработке сети «Ангара»:
- эффективная поддержка односторонних коммуникаций (put/get) и PGAS-языков (как основных средств параллельного программирования);
- эффективная поддержка MPI;
- выпуск собственного чипа (для достижения высоких скоростей передачи данных и низких задержек);
- адаптивная отказоустойчивая передача пакетов;
- эффективная работа с современными процессорами и чипсетами.
В чём новизна и актуальность?
Сеть задумана как отечественный аналог зарубежных заказных сетей.
Получение лучшей производительности, чем у InfiniBand, достигается за счёт меньшей универсальности (что позволяет снизить накладные расходы на передачу и обработку сетевых пакетов).
Ориентирование на односторонние коммуникации и эффективную реализацию PGAS-языков позволяет естественным образом поддержать наиболее современные модели параллельного программирования.
Сеть «Ангара» — единственная на данный момент отечественная сеть на базе СБИС (использование в коммуникационных сетях ПЛИС обычно негативно отражается на получаемых скоростях и задержках, масштабируемости, стоимости).
Основные этапы проекта
- Формирование концепции, имитационное моделирование (2006—2008 гг.)
- Прототипирование на базе ПЛИС (2008—2013 гг.)
- Прототипирование на базе СБИС (2013—2014 гг.)
- Выпуск серийной версии адаптеров на базе СБИС (2014—2015 гг.)
- Прототипирование второй версии на базе ПЛИС (2015—2017 гг.)
- Прототипирование второй версии на базе СБИС (2017—2018 гг.)
- Выпуск серийной версии адаптеров на базе второй версии СБИС (2018—2019 гг.)
Текущий статус проекта
На данный момент для отладки программного обеспечения и основных технологических решений используется прототипный кластер из 36 узлов (тор 3×3×4) с адаптерами на базе СБИС и двухсокетными узлами с процессорами Intel Xeon E5-2660 и E5-2630.
Адаптеры работают с интерфейсом PCI Express gen2 х16, имеют линки с пропускной способностью 75 Гбит/с (в каждую сторону).
В настоящее время в проекте занято несколько десятков человек — специалистов в области моделирования, разработки интегральных микросхем и программного обеспечения. Большинство является выпускниками МГУ, МИФИ, МИЭТ.
Источник: https://www.dislab.org/
Понравилась статья? Тогда поддержите нас, поделитесь с друзьями и заглядывайте по рекламным ссылкам!
