SUPS

Для процессора или компьютера, предназначенного для моделирования нейронной сети, показатель SUPS рассчитывается как произведение числа моделируемых нейронов ${\displaystyle N}$ и средней связности ${\displaystyle c}$ (количество синапсов) на один нейрон в секунду:

${\displaystyle SUPS=c\times N}$

В зависимости от типа симуляции этот показатель обычно равен общему количеству синапсов, моделируемых в системе.

В асинхронной динамической симуляции, если нейрон генерирует импульсы с частотой ${\displaystyle \upsilon }$ Гц, средняя скорость синаптических обновлений, вызванных активностью этого нейрона, составляет ${\displaystyle \upsilon cN}$. В синхронной симуляции с шагом ${\displaystyle \Delta t}$ количество синаптических обновлений в секунду будет равно ${\displaystyle {\frac {cN}{\Delta t}}}$. Поскольку ${\displaystyle \Delta t}$ должно быть значительно меньше среднего интервала между двумя последовательными возбуждающими импульсами, это означает, что ${\displaystyle \Delta t<{\frac {1}{\upsilon N}}}$, обеспечивая в среднем ${\displaystyle \upsilon cN^{2}}$ синаптических обновлений. Таким образом, динамика синаптических связей, управляемая по спайкам, приводит к линейному масштабированию вычислительной сложности O(N) на нейрон, по сравнению с O(N²) в «синхронном» варианте^[1].

В 1980-х годах компания Adaptive Solutions разработала процессорную микросхему CNAPS-1064 Digital Parallel Processor, представляющую собой полноценную нейронную сеть на кристалле. Она была создана как сопроцессор к основному компьютеру и содержала 64 субпроцессора, объединённых в одномерный массив и работающих в режиме SIMD. Каждый субпроцессор мог эмулировать один или несколько нейронов; возможно каскадное объединение нескольких микросхем. На тактовой частоте 25 МГц она обеспечивала производительность 1,28 GMAC^[2].

После презентации в Сиэтле в 1991 году микросхемы RN-100 (12 МГц), реализующей одного нейрона, компания Ricoh разработала многонейронную микросхему RN-200. Она содержала 16 нейронов и 16 синапсов на каждый нейрон. Реализована возможность обучения на чипе с использованием фирменного алгоритма обратного распространения. Корпус — PGA на 257 выводов, максимальное энергопотребление — 3 Вт. Производительность достигала 3 GCPS (1 GCPS при 32 МГц)^[3].

В 1991—1997 годах компания Siemens разработала микросхему MA-16, а также нейрокомпьютеры SYNAPSE-1 и SYNAPSE-3. MA-16 — это быстрый матричный умножитель, позволявший объединять несколько микросхем в систолические массивы. Он обрабатывал 4 вектора по 16 элементов (16 бит), с 16 нейронами (16 бит) на частоте 800 MMAC или 400 MCPS при 50 МГц. Карта SYNAPSE3-PC для интерфейса PCI содержала 2 MA-16 с пиковой производительностью 2560 MOPS (1,28 GMAC); при использовании трёх плат — до 7160 MOPS (3,58 GMAC)^[4].

В 2013 году компьютер K был использован для моделирования нейронной сети из 1,73 миллиарда нейронов с общим числом синапсов 10,4 триллиона (1 % нейросети человеческого мозга). В течение 40 минут проводилось моделирование одной секунды активности мозга на нормальном уровне активности (в среднем 4,4). Для моделирования потребовался 1 Петабайт памяти^[5].