RCUDA

rCUDA — программный фреймворк типа middleware для удалённой виртуализации графических процессоров. Полностью совместим с CUDA и её интерфейсом программирования приложений (API), позволяет выделять одну или несколько поддерживаемых CUDA видеокарт для работы одного приложения. Каждая GPU может находиться как в составе кластера, так и работать внутри виртуальной машины. Такой подход направлен на повышение эффективности использования ресурсов в кластерах, где видеокарты загружены не полностью. Виртуализация GPU снижает необходимое количество видеокарт в кластере, что, в свою очередь, уменьшает общую стоимость — затраты на электроэнергию, приобретение и обслуживание.

Рекомендуемая архитектура распределённого ускорения — это кластер высокопроизводительных вычислений с видеокартами, подключёнными только к некоторым узлам. Когда узел без локального GPU выполняет приложение, требующее ресурсов видеокарты, удалённый запуск ядра обеспечивается пересылкой данных и кода между оперативной памятью локального узла и памятью удалённой видеокарты. rCUDA разрабатывалась для поддержки такой клиент-серверной архитектуры. На стороне клиента используется набор обёрток для интерфейса CUDA Runtime API высокого уровня, а на стороне сервера — сетевой сервис, принимающий запросы через TCP-порт. Несколько узлов, выполняющих различные приложения с ускорением на GPU, могут одновременно использовать весь набор ускорителей, установленных в кластере. Клиент пересылает запрос на один из серверов, который обращается к установленной видеокарте и выполняет вычисление. Временная мультиплексировка GPU, то есть совместное использование ресурсов, реализуется запуском различных серверных процессов для каждого запроса удалённого выполнения на видеокарте^[1].^{[2][3][4][5][6]}