Генерация аудио

С конца 2023 года генерация музыки вышла за пределы исследовательских лабораторий: публичные сервисы сделали синтез песен с вокалом доступным массовому пользователю, что вызвало серию судебных разбирательств с правообладателями^[6].

К 2026 году сложились новые отраслевые правила обучения моделей. Практика обучения на масштабных неразмеченных массивах аудио из открытых источников стала для коммерческих проектов практически невозможной: лейблы начали продавать доступ к каталогам на условиях запрета генерации «голосов-клонов», обязательных выплат и возможности удаления данных из наборов по требованию. Разработчики внедрили системы сравнения выходного сигнала с защищёнными произведениями, блокирующие или изменяющие генерацию при превышении порога сходства, а платформы потребовали от дистрибьюторов маркировать музыку, созданную полностью или частично нейросетями^[6].

Аудиосигнал может представляться в разных формах: как исходная звуковая волна, как спектральное представление — спектрограмма или мел-спектрограмма — либо как последовательность дискретных единиц, получаемых нейросетевыми кодеками и токенизаторами^[1]. Выбор представления определяет архитектуру модели, вычислительную сложность, качество звучания и возможности управления результатом. Работа с исходной волной позволяет моделировать сигнал напрямую, но требует обработки очень длинных последовательностей отсчётов. Спектральные представления сокращают размерность задачи и широко применяются в синтезе речи, музыки и звуковых эффектов. Дискретизация аудио в токены открывает возможность применять методы языкового моделирования, при которых звук предсказывается поэлементно^[7].

К основным генеративным подходам относятся авторегрессионные модели, генеративно-состязательные сети, вариационные автокодировщики, трансформеры и диффузионные модели^[1][8]. Архитектуры применяются как самостоятельно, так и в составе многоступенчатых систем, где одна модель формирует промежуточное представление, а другая преобразует его в звуковой сигнал; отдельную роль в таких системах играют автокодировщики, выполняющие функцию кодека между сигналом и скрытым представлением. Авторегрессионные модели формируют аудио последовательно, предсказывая следующий элемент по предыдущим — этот принцип использован в WaveNet^[9] на уровне отсчётов сигнала и в AudioGen на уровне дискретных токенов. Трансформеры позволяют моделировать протяжённые временные зависимости и применяются в продолжении аудио, генерации музыки и синтезе речи^[7]. Диффузионные модели используются для синтеза аудио по текстовому описанию, причём в AudioLDM диффузионный процесс развёрнут в латентном пространстве, а согласование с текстом обеспечивается общими эмбеддингами текста и звука^[5].

Оценка качества генерации аудио остается сложной задачей, поскольку для многих генеративных задач не существует единственного правильного результата. Качество оценивают по естественности, реалистичности, соответствию текстовому описанию, музыкальной связности, отсутствию артефактов и субъективному восприятию слушателя^[12]. На практике применяют комбинацию объективных метрик и слуховых тестов. В работах по генерации звука по тексту используются расстояние Фреше между распределениями аудиопризнаков (FAD), расстояние Кульбака — Лейблера между предсказаниями классификатора событий, а также субъективные оценки, в которых слушатели отдельно оценивают общее качество записи и её соответствие текстовому описанию. Сопоставление систем между собой затруднено тем, что разные исследования опираются на несовпадающие наборы данных, метрики и условия экспериментов^[12].

Генерация аудио применяется в голосовых интерфейсах, озвучивании текстов, производстве музыки, создании звуковых эффектов для игр и аудиовизуальных произведений, прототипировании саунд-дизайна и разработке интерактивных медиасистем^[1][10]. В музыкальной сфере генеративные модели используются как инструмент композиции, аранжировки, создания черновых идей и исследования новых форм взаимодействия человека и машины.

Речевые технологии — наиболее зрелое направление генерации аудио в России. Платформа SaluteSpeech, разработанная SberDevices, обеспечивает синтез и распознавание речи с поддержкой языка разметки SSML для настройки паузации и ударений; в 2022 году бесплатный публичный доступ к ней был открыт для физических лиц с лимитом 100 минут распознавания и 200 тысяч символов синтеза в месяц^[13].

В 2023 году было выпущено настольное приложение SaluteSpeech App для Windows и macOS с семью голосами на русском и английском языках^[14]. Технология применяется в медиа: синтезированный голос используется для озвучивания текстовых материалов проектов РБК Тренды и РБК Life, где рядом со статьями размещена кнопка воспроизведения аудиоверсии^[15].

Технические ограничения генерации аудио связаны с высокой размерностью звукового сигнала, необходимостью моделировать длинные временные зависимости, сложностью получения качественно размеченных наборов данных и высокой вычислительной стоимостью генерации длинных аудиофрагментов^[1][5].

Помимо технических проблем, в исследованиях обсуждаются этические и правовые риски. В систематическом обзоре по этическим последствиям генеративных аудиомоделей отмечается, что такие системы могут быть связаны с рисками мошенничества, создания аудиодипфейков и нарушения авторских прав^[19]. Для систем генерации речи отдельно выделяются риски имитации голоса реальных людей, подрыва доверия к публичной информации и использования синтетической речи в социально вредных сценариях^[20].