Artisto
Artisto — приложение для художественной обработки видео и фотографий на основе алгоритмов нейронных сетей, разработанное в 2016 году специалистами по машинному обучению Mail.Ru Group.
Приложение позволяет работать с видеороликами длиной не более 10 секунд[3] и предоставляет пользователям 21 фильтр[4][5], среди которых есть фильтры, основанные на творчестве известных художников (например, Blue-Dream, вдохновлённый работами Пабло Пикассо), тематические (Rio-2016, посвящённый Олимпийским играм 2016 года в Рио-де-Жанейро), и другие. Приложение работает как с уже готовыми видеороликами, так и с видео, записанными через саму программу.
Однако проект Artisto представляет собой исторический пример раннего этапа коммерциализации нейросетевых алгоритмов переноса стиля. К настоящему моменту разработаны многочисленные варианты ПО для решения аналогичных задач.
Общие сведения
| Artisto | |
|---|---|
| Тип | приложение для обработки видеороликов |
| Автор | Mail.Ru Group |
| Разработчик | Mail.Ru Group |
| Операционные системы |
iOS 8.0 или новее[1]; Android 4.1 или новее[2] |
| Языки интерфейса | английский, русский |
| Первый выпуск | 29 июля 2016 |
| Последняя версия | 1.7 (8 сентября 2016) |
| Состояние | активное |
| Лицензия | Freeware |
| Сайт | artisto.my.com |
История
Впервые информация об Artisto появилась 29 июля 2016 года на личной странице Анны Артамоновой — вице-президента Mail.Ru Group[6]. На тот момент была доступна версия только для устройств на базе Android. По словам Артамоновой, разработка первой версии заняла всего 8 дней. Уже 31 июля приложение стало доступно для бесплатного скачивания в AppStore[7].
На момент выхода Artisto оставалось единственным в мире мобильным приложением, предоставляющим возможность художественной обработки видео при помощи нейронных сетей[8][9]. Аналогичные возможности реализовали разработчики приложения Prisma[10][11].
Artisto быстро завоевал популярность и стал использоваться не только частными пользователями, но и брендами (например, компанией Kia Motors), а также известными певцами и музыкантами[12].
Согласно данным аналитической платформы App Annie, за первые две недели после релиза Artisto вошёл в топ самых скачиваемых приложений в девяти странах[13].
В конце августа 2016 года вышло обновление, которое позволило создавать короткие зацикленные видео (по аналогии с программой Boomerang) и применять к ним фильтры[14].
С последним обновлением появилась возможность обрабатывать не только видео, но и отдельные фотографии.
Технология
Впервые тема переноса художественного стиля с картин известных художников на обычные фотографии была поднята в сентябре 2015 года после публикации статьи Леона Гатиса «A Neural Algorithm of Artistic Style»[15], в которой был подробно изложен соответствующий алгоритм. Существенным недостатком метода являлась невысокая производительность — обработка одного изображения занимала десятки секунд в зависимости от настроек.
В марте 2016 года вышла статья российского исследователя Дмитрия Ульянова, который предложил ускорить обработку за счёт обучения дополнительной нейронной сети-генератора[16]. С помощью этого подхода стало возможным создавать стилизованные изображения за десятки миллисекунд. Спустя 17 дней после публикации Ульянова появляется статья Джастина Джонсона с аналогичной концепцией[17], причём различие заключается лишь в устройстве сети-генератора.
Artisto построено на базе этих open source-технологий, которые были доработаны специалистами Mail.Ru Group с целью ускорения обработки видео и повышения итогового качества[18].