Восьмибитные кодировки

• Юникод — универсальный стандарт кодирования, охватывающий большинство письменных систем мира.
• Кодовая позиция — уникальный номер символа в стандарте Юникода.
• Октет — 8-битный байт, минимальная единица данных в кодировке UTF-8.
• ASCII — 7-битная кодировка, включающая основные латинские буквы, цифры и символы.

UTF-8 кодирует символы Юникода, используя от 1 до 4 байт:

• Символы в диапазоне ${\displaystyle U+0000}$–${\displaystyle U+007F}$ кодируются одним байтом, совпадая с кодами ASCII.
• Диапазон ${\displaystyle U+0080}$–${\displaystyle U+07FF}$ используется для символов, кодируемых двумя байтами.
• Символы в диапазоне ${\displaystyle U+0800}$–${\displaystyle U+FFFF}$ кодируются тремя байтами.
• Диапазон ${\displaystyle U+10000}$–${\displaystyle U+10FFFF}$ охватывает символы, кодируемые четырьмя байтами.

Байты формируются по определённым шаблонам:

• 1 байт: ${\displaystyle 0xxxxxxx}$
• 2 байта: ${\displaystyle 110xxxxx\ 10xxxxxx}$
• 3 байта: ${\displaystyle 1110xxxx\ 10xxxxxx\ 10xxxxxx}$
• 4 байта: ${\displaystyle 11110xxx\ 10xxxxxx\ 10xxxxxx\ 10xxxxxx}$

Где «${\displaystyle x}$» — биты, содержащие кодовую позицию символа.

• Символ «A» (${\displaystyle U+0041}$):

 * Кодовая позиция в двоичном виде: ${\displaystyle 01000001}$
 * UTF-8 кодировка: ${\displaystyle 01000001}$ (1 байт)

• Символ «€» (${\displaystyle U+20AC}$):

 * Кодовая позиция в двоичном виде: ${\displaystyle 0010\ 0000\ 1010\ 1100}$
 * UTF-8 кодировка: ${\displaystyle 11100010\ 10000010\ 10101100}$ (3 байта)

Маркер BOM в UTF-8 представляется последовательностью байт EF BB BF. Он может использоваться в начале файла для указания кодировки, но не обязателен и зачастую опускается.

UTF-8 широко применяется в веб-технологиях, являясь доминирующей кодировкой в интернете. Преимущества UTF-8:

• Совместимость с ASCII: символы ASCII сохраняют свои коды.
• Эффективность: тексты на латинице занимают меньше места.
• Универсальность: поддерживает все символы Юникода без необходимости смены кодировки.

UTF-8 — гибкий и эффективный стандарт кодирования, обеспечивающий поддержку множества языков и символов. Его совместимость с ASCII и способность кодировать любые символы Юникода сделали его стандартом де-факто для хранения и передачи текстовой информации в современном мире.