58-битная большая языковая модель

58-би́тная больша́я языкова́я моде́ль (англ. 1.58-bit large language model, также тернарная большая языковая модель) — разновидность больших языковых моделей, разработанная для повышения вычислительной эффективности. Эта модель использует веса, ограниченные всего тремя значениями: −1, 0 и +1. Такое ограничение значительно сокращает объём памяти, необходимый для модели, и ускоряет вычисления, поскольку дорогостоящие операции умножения заменяются менее затратными сложениями. В отличие от традиционных моделей, использующих 16-битные числа с плавающей запятой (например, FP16 или BF16) для хранения весов, тернарная модель снижает ресурсоёмкость.

Исследования показали, что для моделей с числом параметров до нескольких миллиардов производительность 1,58-битных моделей на различных задачах сопоставима с моделями полной точности^[1][2]. Такой подход позволяет запускать мощные ИИ на менее специализированном и энергоэффективном оборудовании^[3].

Название «1,58-битная» отражает тот факт, что система с тремя состояниями содержит ${\displaystyle \log _{2}3\approx 1.58}$ бита информации по теории информации. Такие модели иногда также называют 1-битными большими языковыми моделями (англ. 1-bit LLMs) в научных публикациях, хотя этот термин также может относиться и к истинно бинарным моделям (с весами только −1 и +1)^[1][4].