«Ангара» поддерживает на текущий момент топологии от одномерной решётки до четырёхмерного
тора. «Торы» весьма популярны среди современных производителей суперкомпьютеров, так как для них хорошо проработаны алгоритмы маршрутизации, а сама сеть легко адаптируется к нагрузкам и выдерживает их всплески. Кроме того, такая топология относительно недорога — с ростом числа узлов затраты на интерконнект растут не так стремительно.
Сама же «Ангара» не требует использования коммутаторов и поддерживает до 8 каналов связи с соседними узлами. Сеть может объединять порядка 32 тысяч узлов. Основой «Ангары» является разработанная в НИЦЭВТ СБИС серии ЕС8430, которая на данный момент изготавливается по 65-нм техпроцессу на фабриках TSMC. СБИС содержит 180 млн транзисторов, то есть, по словам разработчиков, по сложности она сравнима с современными CPU — несмотря на то, что в последних число транзисторов исчисляется уже миллиардами, большая часть из них приходится на кеш и другие невычислительные блоки. ЕС8430 может быть интегрирована с другими решениями (для этого есть наборы SDK/HDK), а НИЦЭВТ предлагает готовое решение в виде PCIe-карты с шестью интерфейсами
HDLSP, хотя по желанию заказчика могут быть использованы и другие электрические/оптические среды передачи данных, включая решения для установки в blade-серверы.
Для повышения производительности аппаратно реализованы поддержка часто используемых операций, многоядерных CPU (каждое ядро может независимо работать с адаптером), различных вариантов маршрутизации с защитой по отказам отдельных каналов связи и узлов, агрегация пакетов, RDMA. Основной упор при разработке был сделан на совместимость с x86-процессорами. Тем не менее в НИЦЭВТ успешно провели испытания «Ангары» в паре с отечественными CPU «Эльбрус» и с GPU (за счёт поддержки
GPUDirect), а также с ПЛИС. Таким образом, сеть поддерживает работу с гибридными вычислительными блоками, состоящими из устройств с различными архитектурами. По словам компании, «сеть может применяться в составе вычислительных систем для нужд самых разных заказчиков».
Основная область применения «Ангары» — это, конечно, высокопроизводительные вычисления (HPC). Впрочем, она умеет работать с TCP/IP и может применяться в «классических» ЦОДах или кластерах с модной нынче BigData. Согласно внутренним тестам НИЦЭВТ, «Ангара» заметно лучше ведёт себя при работе с короткими пакетами (да и длинными тоже), чем популярный интерконнект InfiniBand
FDR. В общем и целом «Ангара» является достойным конкурентом зарубежных решений, а по некоторым параметрам и в ряде приложений даже лучше их за счёт выбранной топологии и, как следствие, более низкой стоимости. По словам разработчиков, часто используемая для InfiniBand топология
fat tree на практике оказывается слишком дорогой при большом числе узлов. На текущий момент в НИЦЭВТ уже разработана собственная реализация
MPI. Сейчас ведутся работы по её оптимизации, что позволит увеличить производительность и эффективность при использовании сети в реальных задачах. Кроме того, идёт работа над адаптацией стороннего ПО.