Искусственный интеллект в музыке

Искусственный интеллект в музыке изначально появился в задачах транскрипции: точная запись исполнения в нотацию по мере игры. Схема «рояльного ролла», предложенная отцом Энграмелем, впервые была реализована немецкими инженерами Й.Ф. Унгером и Й. Хольфельдом в 1952 году^[6].

В 1957 году компьютер ILLIAC I (Illinois Automatic Computer) создал полностью сгенерированное произведение — «Illiac Suite for String Quartet», запрограммированное композитором Леонардом Айзексоном и математиком Лежареном Хиллером. В 1960 году советский исследователь Рудольф Зарипов впервые в мире опубликовал работу об алгоритмическом сочинении музыки с использованием компьютера Урал-1^[7].

В 1965 году изобретатель Рэй Курцвейл создал программное обеспечение, способное распознавать музыкальные паттерны и синтезировать новые композиции на их основе. Демонстрация этой программы прошла в том же году^[8].

В 1983 году Канзейская музыкальная система компании Yamaha получила заметное развитие, а статья о системе была опубликована в 1989 году. ПО использовало методы обработки музыкальной информации и ИИ для решения задачи транскрипции простых мелодий; более сложные последовательности и сейчас считаются сложной задачей глубокого обучения, а проблема совершенной транскрипции до сих пор не решена^[6][9].

В 1997 году система Experiments in Musical Intelligence (EMI) продемонстрировала превосходство над человеком-композитором в имитации стиля Баха^[10]. Позднее именно на основе EMI была развита более сложная система Emily Howell.

В 2002 году исследовательская группа Sony CSL в Париже под руководством Франсуа Паше создала Continuator — алгоритм, способный на лету продолжать мелодию после остановки живого исполнителя.

Emily Howell продолжила развитие музыкального ИИ, выпустив дебютный альбом From Darkness, Light в 2009 году^[11]. С тех пор появилось множество сочинений, созданных ИИ и отдельными коллективами.

В 2010 году Iamus стал первым ИИ, сгенерировавшим оригинальное современное классическое произведение, «Iamus' Opus 1». Компьютер, расположенный в университете Малаги (Испания), умеет создавать музыку в разных стилях^[12]. В августе 2019 года был опубликован датасет из 12 197 MIDI-композиций с лирикой и мелодией^[13], примененный для исследований по генерации мелодий на основе текста в архитектуре deep conditional LSTM-GAN.

С развитием генеративного ИИ появились модели, способные создавать полноценные музыкальные композиции с текстом по текстовому описанию. Крупнейшими веб-сервисами в этой области считаются Suno AI (запущен в декабре 2023) и Udio (с апреля 2024)^[14].

Разработанный в Принстонском университете Гэ Вангом и Перри Куком, ChucK — текстовый кроссплатформенный язык^[15]. Анализируя техники в музыкальных произведениях, ПО создает новые композиции из усвоенных приёмов^[16]. Технология применяется на Stanford Laptop Orchestra^[17] и Princeton Laptop Orchestra.

Jukedeck — сервис для генерации оригинальной, свободной от авторских прав музыки при помощи ИИ для видеопродукции^[18][19]. Разработка генератора велась с 2010 года^[20], компания создана в 2012^[21], а сайт открыт в 2015^[19]. Сначала использовала правиловую алгоритмическую генерацию^[22], затем перешла на искусственные нейронные сети^[18]. Сервисом создано свыше миллиона треков; его использовали Coca-Cola, Google, UKTV, Лондонский музей естественной истории^[23]. В 2019 году компания Jukedeck была куплена ByteDance^[24][25][26].

MorpheuS — исследовательский проект Дориен Херреманс и Элейн Чу (Лондонский университет Куин Мэри), финансируемый грантом Марии Склодовской-Кюри, в котором система находит музыкальные паттерны и морфирует исходную партию в новую с учётом заданной динамики тонального напряжения, используя метод оптимизации variable neighborhood search. Произведения MorpheuS исполнялись на концертах в Стэнфорде и Лондоне^[27].

Разработанная в феврале 2016 года в Люксембурге, AIVA создает музыкальные саундтреки для медиаконтента. Алгоритмы AIVA построены на архитектурах глубокого обучения^[28]. В сотрудничестве с певицей Тарин Саутерн, AIVA записала поп-композицию «Love Sick» и участвовала в создании альбома «I am AI»(2018)^[29][30].

Проект Magenta от Google с 2016 года выпускает музыкальные приложения на базе ИИ и технические статьи^[31]. В 2017 вышел алгоритм NSynth и соответствующий датасет^[32], а также open-source аппаратный музыкальный инструмент для музыкантов^[33]. Его использовали такие артисты, как Граймс и YACHT^[34]. В 2018 опубликовано приложение Piano Genie для генерации импровизаций на фортепиано, а затем — пакет Magenta Studio с 5 MIDI-плагинами^[35]. В 2023 году представили программу MusicLM — приватный генератор музыки по тексту^[36].

Spike AI — плагин для цифровых аудиостанций (DAW), использующий искусственный интеллект для анализа треков и гипотез по улучшению звучания при сведении (изменение ясности и других параметров). Управление реализовано через чат-бот, обученный на данных инженера Spike Stent. Разработка интегрирована в профессиональные DAW^[37].^[38]

Heart on My Sleeve — дипфейковый трек, созданный в 2023 году ghostwriter977 на основе вокальных образцов Дрейка и The Weeknd; был подан на премию «Грэмми», но дисквалифицирован из-за нарушения правил подачи AI-композиций^[49].

Where That Came From — в 2024 году кантри-певец Рэнди Трэвис впервые после инсульта выпустил новую песню, записанную с помощью ИИ, моделировавшего его голос по 40 исходным сессиям^[50].

Символьная генерация музыки — создание произведений в формате MIDI и иных дискретных нотаций. Если первые системы были правиловыми или использовали модели Маркова, то современные в основном основаны на глубинных рекуррентных нейронных сетях (в частности, LSTM). Они способны генерировать мелодии, гармонии, контрапункты в разных жанрах^[52].

Модели на основе архитектуры Transformer (Music Transformer, MuseNet) набирают популярность благодаря способности работать с длинными зависимостями и многоголосными структурами^[54].

В генерации аудиоволн напрямую, без символических представлений, применяются модели типа WaveNet (DeepMind), генеративно-состязательные сети (GAN) и вариационные автокодировщики (VAE), что позволяет создавать новые тембры и текстуры^[52].

Проект NSynth от Google Magenta использует автоэнкодер, обученный на аудиопотоках для генерации новых инструментальных звуков^[55].

MIR включает класификацию жанров, распознавание инструментов, эмоциональную окраску, извлечение ритма, поиск сходных композиций; обычно реализуется через сверточные нейронные сети, SVM и k-NN по спектральным признакам^[56].

Гибридные системы совмещают символьную и аудиогенерацию, в интерактивных используется отклик системы на действия человека в реальном времени, что позволяет, например, ИИ сопровождать исполнителя^[53].

ИИ также применяется для классификации и генерации музыки с определённым эмоциональным фоном (по темпу, ладовости, тембру). Глубинные нейросети могут создавать музыку с заданным эффектом восприятия^[57].

ИИ-рекомендаторы подбирают треки по вкусу пользователя: применяют коллаборативную/контентную фильтрацию, а также гибридные методы с элементами глубокого обучения. Крупные платформы (Spotify, YouTube Music) используют графовые и матричные методы для персонализации^[58].

ИИ автоматизирует задачи сведения и мастеринга аудио — уровни, панораму, компрессию и т.д. Некоторые коммерческие системы (LANDR, iZotope Ozone) обучались по примерам профессионалов^[59].

Генерация лирики осуществляется теми же трансформерными архитектурами, что и генерация естественного языка (GPT-3 и др.), — ИИ способен создавать тексты, подбирать рифмы и структуру стихотворной формы^[60].

Современные ИИ-системы связывают музыку с видеорядом/танцем/текстом, могут, например, генерировать саундтрек синхронно с видео или танцевальные движения под музыку.