Нейронный машинный перевод Google

Проект Google Brain был создан в 2011 году в «секретной лаборатории Google X»^[12] по инициативе Google Fellow Джеффа Дина, исследователя Google Грега Коррадо и профессора кафедры информатики Стэнфордского университета Эндрю Ына^[13][14]. Работа Эндрю Ына привела к одним из крупнейших прорывов Google и Стэнфорда.

В ноябре 2016 года была представлена система нейронного машинного перевода Google (GNMT). С этого времени Google Translate стал использовать именно нейронный машинный перевод (NMT) вместо прежних статистических методов (SMT)^{[1][15][16][17]}, используемых с октября 2007 года, когда Google перешла на собственную технологию SMT^[18][19].

Обучение GNMT было масштабной задачей: по оценке OpenAI 2018 года, оно потребовало около 79 петаFLOP-дней (7×10^21 FLOP), что в полтора порядка превышало объём вычислений для модели Seq2seq 2014 года^[20], но примерно вдвое меньше, чем для GPT-J-6B в 2021 году^[21].

Нейросетевая система Google Translate использует глубокое обучение^[1][2][3]. Применяя миллионы примеров, GNMT улучшает качество переводов^[2], используя более широкий контекст для выбора наиболее релевантных вариантов. Итоговый результат затем перестраивается, чтобы лучше соответствовать грамматике языка^[1]. Архитектура GNMT впервые была протестирована на более чем 100 языках Google Translate^[2]. GNMT не создавал универсальную интерлингву, а стремился выявить сходства между языками, опираясь на психологию и лингвистику^[22]. Новый переводческий движок первым был доступен для восьми языков: с и на английский, французский, немецкий, испанский, португальский, китайский, японский, корейский и турецкий в ноябре 2016 года^[23]. В марте 2017 были добавлены русский, хинди, вьетнамский и позже тайский^[24][25]. В том же месяце при поддержке сообщества Google Translate были добавлены иврит и арабский^[26]. В апреле 2017 года Google Нидерланды анонсировал поддержку нидерландского и других европейских языков^[27]. В конце апреля 2017 ещё девять индийских языков получили поддержку: хинди, бенгали, маратхи, гуджарати, пенджаби, тамильский, телугу, малаялам и каннада^[28].

К 2020 году Google окончательно перешла на другую нейросетевую архитектуру на основе трансформеров, отказавшись от NMT^[10].

Система GNMT, как сообщается, продемонстрировала улучшение по сравнению с прежним Google Translate благодаря поддержке так называемого «zero-shot» перевода — прямого перевода с одного языка на другой без предварительного перевода на английский. Например, система, обученная для японско-английского и корейско-английского перевода, может выполнять и японско-корейский. GNMT, по-видимому, вырабатывает универсальное промежуточное языковое представление (интерлингва), что позволяет реализовать zero-shot перевод^[2]. Ранее Google Translate сначала переводил исходный язык на английский, затем с английского — на целевой язык, а не напрямую^[11].

В июле 2019 года исследование, опубликованное в Annals of Internal Medicine, показало, что «Google Translate представляет собой жизнеспособный и точный инструмент для перевода неанглоязычных научных публикаций»; лишь одно непонимание между рецензентами было вызвано ошибкой машинного перевода. Поскольку многие медицинские исследования исключаются из обзоров по причине языкового барьера, GNMT потенциально позволяет снизить смещение и повысить точность научных обзоров^[29].

По состоянию на декабрь 2021 года, все языки, входящие в Google Переводчик, поддерживают GNMT; последним добавленным стал латинский.