Код

Процесс преобразования сообщения в комбинацию символов в соответствии с кодом называется кодированием, процесс восстановления сообщения из комбинации символов называется декодированием.

Для наглядного описания кодов используются кодовые деревья. Если на каждом его уровне содержится ${\displaystyle m_{2}^{l}}$ узлов, где l — номер уровня (корень дерева находится на нулевом уровне), оно называется полным. Очевидно, величина ${\displaystyle m_{2}^{l_{max}}}$, называемая объёмом дерева, характеризует максимальное число кодовых комбинаций, которое можно построить при помощи данного дерева.

В теории построения трансляторов такое дерево описывает множество всех возможных цепочек-выводов из формальной грамматики.

Префиксным называется код, не имеющий ни одного кодового слова, которое было бы префиксом (началом) любого другого кодового слова данного кода. Любой префиксный код является разделимым (то есть любую последовательность кодовых слов всегда можно однозначно разделить на отдельные из них)^[1]. Примерами префиксных кодов являются коды Шеннона, Шеннона-Фано и Хаффмана.

Равномерное кодирование: для алфавита с m₁ символами используются кодовые слова с длиной ${\displaystyle n=up(log_{m_{2}}m_{1})}$, где up — округление до большего целого. В этом случае неиспользованными остаются ${\displaystyle log_{m_{2}}m_{1}-n}$ кодовых слов, а остальным проставляются в соответствие символы первичного алфавита. Код Бодо имеет фиксированную длину 5 символов.

Префиксные коды: Код Шеннона-Фано — первый алгоритм неравномерного кодирования. Код Хаффмана — известный метод построения оптимального неравномерного кода (ОНК) с использованием деревьев. Арифметическое кодирование — обобщение кода Хаффмана.