LaMDA

Google представила разговорную языковую модель LaMDA на открытии конференции Google I/O 18 мая 2021 года^[3]. LaMDA построена на архитектуре Transformer, разработанной исследовательским подразделением Google в 2017 году^[1][4]. Модель обучалась на диалогах и человеческих историях, что позволило поддерживать открытые беседы. По заявлениям Google, ответы LaMDA отличаются «осмысленностью, интересностью и контекстной уместностью»^[5].

11 мая 2022 года Google представила LaMDA 2 — преемника первой генерации — на Google I/O 2022. Новая версия извлекает текстовые примеры из различных источников, формируя уникальные «естественные диалоги» даже по вопросам, на которые она не была непосредственно обучена^[6]. Одновременно Google запустила приложение AI Test Kitchen, работающее на LaMDA 2, которое предлагало списки рекомендаций на основе сложных целей^[7]. Приложение стало доступно для «избранных учёных, исследователей и политиков»; с августа 2022 года пользователи из США могли подать заявку на ранний доступ^[8].

11 июня 2022 года газета The Washington Post сообщила, что инженер Google Блейк Лемуан был отправлен в оплачиваемый административный отпуск после обращения к руководству о якобы сознательности LaMDA. К такому выводу он пришёл на основании неоднозначных ответов чатбота по вопросам самоидентификации, морали, религии и «трёх законов робототехники» Азимова^[10]. Google опровергла эти заявления, настаивая на отсутствии доказательств сознательности LaMDA^[11]. В интервью Wired Лемуан ещё раз подтвердил свои взгляды. Впоследствии он был уволен из Google^[12], после того как он нанял адвоката для защиты интересов LaMDA по просьбе чатбота. 22 июля Google официально уволила Лемуана, назвав его обвинения необоснованными^[13].

Заявления Лемуана были подвергнуты критике большинством научного сообщества^[14]. Так, эксперты по искусственному интеллекту, в том числе Гэри Маркус, Эрик Бриньолфсон, Адриан Хилтон и другие, отвергли возможность самосознания языковых моделей^[9]. Руководитель отдела ИИ Meta Platforms Ян Лекун пояснил, что такие нейронные сети, как LaMDA, недостаточно мощны для формирования «настоящего интеллекта»^[15]. Профессор Калифорнийского университета в Санта-Круз Макс Кремински также отметил, что архитектура LaMDA не поддерживает ключевые признаки человеческого сознания^[16].

Дэвид Ферруччи, ведущий разработчик IBM Watson, сравнил ситуацию с эффектом, производимым Watson при его появлении^[17]. Бывший исследователь Google Тимнит Гебру назвала Лемуана жертвой «цикла хайпа» вокруг ИИ^[18]. Эти дискуссии возобновили интерес к тесту Тьюринга как критерию искусственного интеллекта^[9], а также к феномену эффекта ЭЛИЗЫ.

В ноябре 2022 года OpenAI анонсировала ChatGPT, чатбот на основе GPT-3^[19]. ChatGPT приобрёл бешеную популярность и стал интернет-сенсацией. В ответ на конкуренцию генеральный директор Google Сундар Пичаи инициировал срочные меры по развитию ответных ИИ-продуктов компании, а сооснователи Google Ларри Пейдж и Сергей Брин были вновь привлечены к обсуждению дальнейшей стратегии^[20].

На вопрос сотрудников, не была ли LaMDA для Google упущенной возможностью в борьбе с ChatGPT, Пичаи и глава ИИ Джефф Дин ответили, что из-за масштабов компании избыточная поспешность представляла репутационные риски^[21]. В январе 2023 года глава DeepMind Демис Хассабис раскрыл планы создания собственного чатбота-аналога ChatGPT^[22], а Google ускорила тестирование систем «Apprentice Bard» и других^[23]. Пичаи пообещал инвесторам расширять использование и развитие LaMDA^[24].

6 февраля Google анонсировала Bard — диалогового чатбота на базе LaMDA. Bard сначала тестировался на ограниченном круге пользователей, после чего был запущен для более широкой аудитории^[25]. Bard носил кодовое имя «Atlas» во время разработки^[26]. Презентация Bard сопровождалась ошибкой, когда бот дал неверный ответ на вопрос о телескопе Джеймса Уэбба^[27], что привело к падению акций Google. Аналитики отмечали, что компания «вынужденно нагоняет» Microsoft^[28], а презентация Bard была приурочена к анонсу интеграции ChatGPT в Bing^[29].

LaMDA использует языковую модель transformer для генерации ответов и предварительно обучается на корпусе из 1,56 триллиона слов, включающем тексты документов и диалоги^[30]. Дальнейшее дообучение происходит на вручную размеченных данных для оценки осмысленности, интересности и безопасности. Тесты Google показали, что ответы LaMDA превосходят человеческие по критерию интереса. Для повышения достоверности фактов модель transformer взаимодействует с внешней системой поиска информации. Было протестировано три варианта модели, крупнейший из которых содержит 137 миллиардов параметров: