Процессор машинного зрения

Процессоры машинного зрения отличаются от графических процессоров (GPU), которые специализируются на кодировании и декодировании видео, своей адаптацией для запуска алгоритмов машинного зрения (например, свёрточных нейронных сетей — CNN, на смену которым приходят архитектуры Vision Transformers — ViTs^[3], SIFT — преобразование признаков, инвариантных к масштабу, и других похожих алгоритмов).

Часто VPU имеют прямые интерфейсы для получения данных с камер, обходя внешние буферы, и уделяют большее внимание внутрисхемному обмену данными между множеством параллельных исполнительных модулей с использованием локальной памяти, по архитектуре близки к пространственным архитектурам или многопроцессорным цифровым сигнальным процессорам (DSP). Как и видеоусилители, VPU обычно используют низкоточную арифметику с фиксированной точкой для обработки изображений.

Для устранения узких мест при перемещении данных и повышения пропускной способности памяти в VPU применяются технологии 3D-интеграции (например, zHBM), обеспечивающие высокую производительность и энергоэффективность за счёт сокращения физического расстояния передачи данных^[4].

В отличие от графических процессоров, которые оснащены специализированным оборудованием для растрирования и текстурирования (для трёхмерной графики) и память которых оптимизирована под работу с растровыми изображениями во внешней памяти (чтение текстур, модификация кадровых буферов с случайным доступом), VPU оптимизируются под производительность на ватт, а GPU — под максимальную производительность.

Целевыми областями применения процессоров машинного зрения выступают робототехника, интернет вещей (IoT), новые классы цифровых камер для виртуальной и дополненной реальности, умные камеры, а также интеграция машинного зрения в смартфоны и другие мобильные устройства.

Кроме того, VPU применяются в системах промышленной автоматизации и контроля качества на границе сети (Edge AI). Локальная обработка данных позволяет осуществлять высокоскоростную инспекцию и мгновенную отбраковку дефектов прямо на производственной линии без сетевых задержек^[5].^[6].

• Movidius Myriad X — процессор машинного зрения третьего поколения в линейке Myriad VPU компании Intel.
• Movidius Myriad 2 — применяется в Google Project Tango, Google Clips и дронах компании DJI
• Pixel Visual Core (PVC) — полностью программируемый процессор для обработки изображений, машинного зрения и искусственного интеллекта для мобильных устройств. В современных решениях (например, Google Tensor G6) функции машинного зрения интегрированы в тензорный процессор (TPU) совместно с процессором обработки сигналов изображения (ISP).
• Microsoft HoloLens — содержит специализированный ускоритель под названием «голографический процессор», который дополняет CPU и GPU системы и предназначен для анализа видеосигналов, ускоряя отслеживание окружающей среды и задачи компьютерного зрения для дополненной реальности^[7].
• Eyeriss — архитектура пространственной обработки из Массачусетского технологического института для запуска свёрточных нейронных сетей^[8].
• NeuFlow — архитектура, предложенная Янном Лекуном (на базе ПЛИС), использует архитектуру потоков данных для ускорения вычислений свёрток.
• Mobileye EyeQ — семейство процессоров фирмы Mobileye.
• Программируемый ускоритель обработки изображений (Programmable Vision Accelerator, PVA) — 7-поточная VLIW-архитектура визуального процессора, разработанная компанией Nvidia.
• Процессоры серии Ambarella CV3-AD — предназначены для систем автономного вождения.
• Hailo-15 — процессоры для интеллектуальных камер.
• Cognex In-Sight 6900 — промышленные контроллеры на базе процессоров NVIDIA Jetson.

Некоторые процессоры не позиционируются как VPU, но также предназначены для задач машинного зрения. Они образуют более широкую категорию, для которой общепринятым термином является «аппаратные ускорители ИИ». При этом границы между VPU и NPU остаются чёткими: NPU оптимизированы для широкого спектра задач искусственного интеллекта, а VPU узко специализированы на компьютерном зрении^[9][10]. К таким устройствам относятся:

• IBM TrueNorth — нейроморфный процессор, ориентированный на распознавание образов и интеллектуальные задачи обработки сенсорных данных, включая видео и аудио.
• Qualcomm Zeroth Neural processing unit — ещё один представитель развивающегося класса чипов для работы с сенсорами и искусственным интеллектом.
• Все процессоры серии Intel Meteor Lake содержат встроенный универсальный процессорный блок (Versatile Processor Unit, VPU) для ускорения задач инференции в компьютерном зрении и глубоком обучении.