Нейронный процессор

Нейро́нный проце́ссор (англ. Neural Processing Unit, NPU или ИИ-ускоритель, англ. AI accelerator) — специализированный класс микропроцессоров и сопроцессоров (часто реализуемых как специализированные интегральные схемы), используемых для аппаратного ускорения алгоритмов нейронных сетей, компьютерного зрения, распознавания речи, машинного обучения и других методов искусственного интеллекта[1].

Описание

Нейронные процессоры относятся к вычислительной технике и применяются для аппаратного ускорения эмуляции работы нейронных сетей и цифровой обработки сигналов в режиме реального времени. Обычно нейропроцессор включает регистры, магазинные блоки памяти, коммутатор и вычислительное устройство, в составе которого — матрица умножения, дешифраторы, триггеры и мультиплексоры[2].

На современном этапе (по состоянию на 2017 год) к классу нейронных процессоров относят различные по устройству и назначению типы чипов, например:

Области применения

undefined

Примеры

Существующие продукты

undefined
  • Процессоры машинного зрения:
    • Intel Movidius Myriad 2 — многоядерный ИИ-ускоритель на архитектуре VLIW с дополнительными модулями для обработки видео[6].
    • Mobileye EyeQ — специализированный процессор для ускорения алгоритмов машинного зрения в беспилотных автомобилях.
  • Тензорные процессоры:
  • Нейроморфные процессоры:
    • IBM TrueNorth — построен по принципу взаимодействия нейронов. Частота импульсов кодирует интенсивность сигнала. На 2016 год не существует однозначного мнения в ИИ-сообществе о перспективности этого подхода, однако отмечается высокая энергоэффективность для задач машинного зрения[18].
    • AltAI — российский нейроморфный вычислитель компании «Мотив Нейроморфные Технологии». Первое поколение предназначено для задач искусственного интеллекта. Второе — позволяет исполнять импульсные нейронные сети и решать задачи общего назначения[19].
  • Adapteva Epiphany — сопроцессор с блокнотной памятью и сетевой архитектурой внутри кристалла, ориентирован на обработку потоков данных для задач машинного обучения.
  • ComBox x64 Movidius PCIe Blade board — плата расширения PCI Express с большим числом VPU Intel Movidius (MyriadX) для инференса высокоточных нейронных сетей в ЦОД.
  • Cambricon MLU100 — карта расширения PCI Express с ИИ-процессором: 64 TFLOPS в режиме FP16 или 128 TOPS для INT8[20].
  • Cerebras Wafer Scale Engine (WSE, CS-1) — экспериментальный суперпроцессор Cerebras: 1,2 трлн транзисторов, 400 000 ИИ-оптимизированных ядер и 18 Гбайт распределённой SRAM, соединённых ячеистой сетью с производительностью 100 петабит/с. Ядра SLAC (Sparse Linear Algebra Cores) — программируемые и оптимизируемые под любые нейросети[21].
  • KnuPath — процессор компании KnuEdge для систем распознавания речи и машинного обучения; использует соединение LambdaFabric и масштабируется до 512 тысяч процессоров[22].

Продукты на основе графических процессоров

undefined
  • Nvidia Tesla — серия GPGPU-ускорителей Nvidia[23]:
    • Nvidia Volta — GPU архитектуры Volta (2017), напр. GV100, содержат до 640 тензорных ядер[1].
    • Nvidia Turing — GPU архитектуры Turing (2018), напр. TU104, до 576 тензорных ядер[24].
    • Nvidia DGX-1 — специализированный сервер из двух ЦП и 8 GPU Nvidia Volta GV100 (5120 тензорных ядер), связанных через быструю NVLink[25]. Архитектура памяти системы оптимизирована для глубокого обучения[26][27].
  • AMD Radeon Instinct — специализированные GPGPU от AMD для глубокого обучения[28][29].

ИИ-ускорители как встроенные сопроцессоры (аппаратные ИИ-блоки)

undefined
  • Cambricon-1A — NPU в ARM-чипах Huawei Kirin 970, разработан компанией Cambricon Technologies[30].
  • CEVA NeuPro — семейство лицензируемых ИИ-процессоров для глубокообучающих задач компании CEVA[31].
  • Apple Neural Engine — ИИ-ускоритель внутри ARM-чипов от Apple A11 до Apple A18 SoC[32].
  • PowerVR 2NX NNA (Neural Network Accelerator) — семейство лицензируемых IP-модулей для машинного обучения компании Imagination Technologies[33].
  • LinQ HX — ускоритель для встраиваемых систем компании «ХайТэк». Обеспечивает производительность до 30 TOPS при энергопотреблении до 40 Вт, позволяя обрабатывать до пяти нейросетей одновременно в реальном времени[34][35].

Научные исследования и прототипы

  • Индийский технологический институт в Мадрасе разрабатывает ускоритель на импульсных нейронах для новых систем RISC-V, нацеленных на обработку больших данных в серверах[36].
  • Eyeriss — разработка для свёрточных нейронных сетей с применением блокнотной памяти и сетевой архитектуры в пределах кристалла.
  • Fujitsu DLU — многоблочный сопроцессор для глубокого машинного обучения, использует вычисления с низкой точностью[37].
  • Intel Loihi — нейроморфный процессор Intel, объединяющий обучение, тренинг и принятие решений в одном чипе, работает автономно, без подключения к облаку. На MNIST Loihi превосходит типовые спайковые нейросети более чем в миллион раз[38].
  • Kalray — компания разработала MPPA и сообщила о повышении эффективности СВНС по сравнению с GPU.
  • SpiNNaker — массово-параллельная архитектура с ARM-ядрами и оптимизированной сетевой структурой для моделирования крупных нейронных сетей.
  • Zeroth NPU — разработка компании Qualcomm для добавления функций распознавания речи и изображений в мобильные устройства[39].
  • TPU H — тензорный процессор, разрабатываемый компанией «ХайТэк». В октябре 2020 опубликованы результаты[40][41] тестирования архитектуры TPU H консорциумом MLPerf (создан в 2018 году Baidu, Google, Гарвардский университет, Стэнфордский университет и Калифорнийский университет в Беркли)[42].

Примечания

  1. 1 2 Популярность машинного обучения влияет на эволюцию архитектуры процессоров. Servernews. (31 августа 2017). Дата обращения: 17 ноября 2017. Архивировано 17 ноября 2017 года.
  2. Нейропроцессор, устройство для вычисления функций насыщения, вычислительное устройство и сумматор. FindPatent.RU. Дата обращения: 17 ноября 2017. Архивировано 1 декабря 2017 года.
  3. IBM поставила LLNL нейропроцессоры TrueNorth за $1 млн. Компьютерра. (31 марта 2016). Дата обращения: 17 ноября 2017. Архивировано 19 ноября 2017 года.
  4. Intel разрабатывает тензорные процессоры для ИИ. PC Week/RE. (22 ноября 2016). Дата обращения: 17 ноября 2017. Архивировано 1 декабря 2017 года.
  5. 1 2 Подробности о тензорном сопроцессоре Google TPU. Servernews. (25 августа 2017). Дата обращения: 17 ноября 2017. Архивировано 17 ноября 2017 года.
  6. 1 2 Intel анонсировала процессор машинного зрения Movidius Myriad X. 3DNews. (29 августа 2017). Дата обращения: 17 ноября 2017. Архивировано 17 ноября 2017 года.
  7. Nvidia Drive PX: Scalable AI Supercomputer For Autonomous Driving (англ.). Nvidia. Дата обращения: 8 июля 2026. Архивировано 16 июля 2016 года.
  8. NVIDIA представила Drive PX Pegasus — платформу для автопилота нового поколения. 3DNews (10 октября 2017). Дата обращения: 17 ноября 2017. Архивировано 17 ноября 2017 года.
  9. Movidius powers worlds most intelligent drone (англ.). Дата обращения: 8 июля 2026. Архивировано 9 августа 2016 года.
  10. Qualcomm Research brings server-class machine learning to everyday devices (англ.). Дата обращения: 15 ноября 2017. Архивировано 8 августа 2016 года.
  11. Design of a machine vision system for weed control (англ.). Дата обращения: 15 ноября 2017. Архивировано 23 июня 2010 года.
  12. Huawei создала первые в мире ИИ-процессоры, пойдя по пути разработчиков «Эльбрусов», CNews (23 октября 2018). Архивировано 23 октября 2018 года. Дата обращения: 24 октября 2018.
  13. До конца года Intel выпустит «первую в отрасли микросхему для обработки нейронных сетей» — Intel Nervana Neural Network Processor. iXBT.com (18 октября 2017). Дата обращения: 8 июля 2026. Архивировано 15 ноября 2017 года.
  14. Intel Nervana Neural Network Processors (NNP) Redefine AI Silicon (17 октября 2017). Архивировано 20 октября 2017 года. Дата обращения: 8 июля 2026.
  15. Qualcomm представила ускоритель искусственного интеллекта Cloud AI 100, Servernews.ru (10 апреля 2019). Архивировано 10 апреля 2019 года. Дата обращения: 16 апреля 2019.
  16. Российский ИИ-ускоритель LinQ HPS с собственной архитектурой. Официальный сайт Мэра Москвы. Дата обращения: 8 июля 2026.
  17. На международном уровне признан ИИ-ускоритель резидента ОЭЗ «Технополис Москва». РИАМО. Дата обращения: 8 июля 2026.
  18. IBM cracks open new era of neuromorphic computing (англ.). — «TrueNorth is incredibly efficient: The chip consumes just 72 milliwatts at max load, which equates to around 400 billion synaptic operations per second per watt — or about 176,000 times more efficient than a modern CPU running the same brain-like workload, or 769 times more efficient than other state-of-the-art neuromorphic approaches». Дата обращения: 8 июля 2026. Архивировано 9 июля 2016 года.
  19. Пресс-центр НИЦ "Курчатовский институт". В Курчатовском институте создали новый метод самообучения нейросетей. НИЦ "Курчатовский институт" (2 октября 2023). Дата обращения: 26 июня 2025. Архивировано 30 июня 2025 года.
  20. Китайская компания Cambricon разрабатывает чипы ИИ для дата-центров. Дата обращения: 15 июня 2018. Архивировано 16 июня 2018 года.
  21. Cerebras ― процессор для ИИ невероятных размеров и возможностей. 3DNews. (20 августа 2019). Дата обращения: 21 августа 2019. Архивировано 20 августа 2019 года.
  22. KnuPath — нейроморфный процессор военного назначения. 3DNews. (9 июня 2016). Дата обращения: 17 ноября 2017. Архивировано 17 ноября 2017 года.
  23. Computex: Глава Nvidia не видит угрозы в «тензорном» процессоре Google. Открытые системы. (1 июня 2016). Дата обращения: 17 ноября 2017. Архивировано 1 декабря 2017 года.
  24. Что принесёт на рынок новая архитектура NVIDIA Turing? 3DNews. (14 августа 2018). Дата обращения: 17 августа 2018. Архивировано 23 марта 2019 года.
  25. Эра NVIDIA Volta началась с ускорителя Tesla V100. Servernews. (11 мая 2017). Дата обращения: 17 ноября 2017. Архивировано 1 декабря 2017 года.
  26. GTC Europe 2017: библиотека NVIDIA TensoRT 3 ускоряет работу нейросетей в 18 раз по сравнению с универсальным решением. Servernews. (12 октября 2017). Дата обращения: 17 ноября 2017. Архивировано 17 ноября 2017 года.
  27. Новый российский суперкомпьютер предназначен для обучения нейросетей. Servernews. (1 сентября 2017). Дата обращения: 17 ноября 2017. Архивировано 17 ноября 2017 года.
  28. AMD Announces Radeon Instinct: GPU Accelerators for Deep Learning, Coming in 2017, Anandtech (12 декабря 2016). Архивировано 12 декабря 2016 года. Дата обращения: 8 июля 2026.
  29. Radeon Instinct Machine Learning GPUs include Vega, Preview Performance, PC Per (12 декабря 2016). Архивировано 11 августа 2017 года. Дата обращения: 12 декабря 2016.
  30. Huawei представляет будущее мобильного искусственного интеллекта на IFA 2017. Дата обращения: 15 июня 2018. Архивировано 16 июня 2018 года.
  31. CEVA NeuPro. A Family of AI Processors for Deep Learning at the Edge. Дата обращения: 8 июля 2026. Архивировано 16 июня 2018 года.
  32. The iPhone X’s new neural engine exemplifies Apple’s approach to AI, The Verge (13 сентября 2017). Архивировано 15 сентября 2017 года. Дата обращения: 8 июля 2026.
  33. Imagination представила новые ИИ-ускорители PowerVR 2NX, 3DNews (8 июня 2018). Архивировано 16 июня 2018 года. Дата обращения: 15 июня 2018.
  34. Ликсутов рассказал о новых разработках в ОЭЗ «Технополис Москва». РИА Новости (8 июля 2026). Дата обращения: 8 июля 2026.
  35. В России представили первый отечественный ускоритель для нейросетей, IXBT.com (8 июля 2026). Дата обращения: 8 июля 2026.
  36. India preps RISC-V Processors - Shakti targets servers, IoT, analytics (англ.). — «The Shakti project now includes plans for at least six microprocessor designs as well as associated fabrics and an accelerator chip». Дата обращения: 8 июля 2026. Архивировано 3 июля 2017 года.
  37. Fujitsu разрабатывает специализированный процессор для систем ИИ. Servernews. (24 июля 2017). Дата обращения: 17 ноября 2017. Архивировано 17 ноября 2017 года.
  38. Intel представила нейроморфный процессор Loihi. 3DNews. (26 сентября 2017). Дата обращения: 17 ноября 2017. Архивировано 17 ноября 2017 года.
  39. Qualcomm показала нейропроцессор Zeroth. Logmag.net (16 октября 2013). Дата обращения: 17 ноября 2017. Архивировано 17 ноября 2017 года.
  40. embedded world. IVA TPU – DNN inference accelerator // NeuroMatrix Architecture for Neural Network Applications (англ.). www.embedded-world.de. Дата обращения: 30 ноября 2020. Архивировано 21 января 2021 года.
  41. В России создана оригинальная процессорная архитектура, способная потеснить NVidia. CNews.ru. Дата обращения: 30 ноября 2020. Архивировано 25 ноября 2020 года.
  42. Inference Results (англ.). MLPerf. Дата обращения: 8 июля 2026. Архивировано 28 ноября 2020 года.

Ссылки

Дополнительно по теме