Понятие о кодировках UNICODE

• Универсальный набор символов (UCS) — совокупность всех символов, определённых стандартом Юникод. Каждому символу присваивается кодовое значение (кодовая позиция), записываемое в шестнадцатеричном формате с префиксом U+, например, буква «Я» имеет код ${\displaystyle U+042F}$.
• Кодовые плоскости — Юникод разделён на 17 плоскостей по 65 536 кодовых позиций каждая. Нулевая плоскость (BMP) содержит основные символы популярных письменностей.
• Кодировки UTF — способы представления кодовых позиций в виде байтовой последовательности. Основные кодировки: UTF-8, UTF-16 и UTF-32.

• Кодировка переменной длины, использующая от 1 до 4 байтов на символ.
• Совместима с ASCII, так как первые 128 символов (коды от ${\displaystyle U+0000}$ до ${\displaystyle U+007F}$) кодируются так же, как в ASCII.
• Широко используется в Интернете благодаря компактности и совместимости.

• Использует 2 или 4 байта на символ.
• Символы из основной плоскости (BMP) кодируются двумя байтами.
• Символы из дополнительных плоскостей кодируются с помощью суррогатных пар, занимающих 4 байта.

• Использует фиксированные 4 байта на каждый символ.
• Прост в обработке, так как каждый символ имеет одинаковую длину.
• Менее экономичен по сравнению с UTF-8 и UTF-16.

• Базовые символы — самостоятельные знаки с собственным отображением.
• Комбинируемые символы — специальные знаки, которые модифицируют предыдущий базовый символ, добавляя к нему диакритические знаки, ударения и другие над- или подстрочные элементы.
• Пример: буква «Й» может быть представлена как комбинация буквы «И» (код ${\displaystyle U+0418}$) и знака кратки (код ${\displaystyle U+0306}$).

• Из-за различных способов кодирования одного и того же символа (например, составные и комбинированные символы) возникают сложности при сравнении строк.
• Алгоритмы нормализации приводят текст к стандартной форме:

 * NFD (Canonical Decomposition) — разложение составных символов на простые.
 * NFC (Canonical Decomposition, followed by Canonical Composition) — разложение с последующим объединением.
 * NFKD и NFKC — расширенные формы, учитывающие совместимость символов.

• Стандарт Юникод используется в большинстве современных операционных систем, языков программирования и приложений.
• Обеспечивает поддержку многоязычных текстов, что особенно важно в условиях глобализации и развития Интернета.
• Упрощает обработку, хранение и передачу текстовых данных различных языков.

Юникод — важнейший стандарт в области информационных технологий, унифицировавший представление текстовых данных и позволивший преодолеть проблемы несовместимости различных кодировок. Его использование обеспечивает корректное отображение и обработку символов всех мировых языков, что является ключевым фактором для обмена информацией в современном мире.