Экзистенциальный риск, связанный с искусственным интеллектом

Одним из аргументов в пользу этой гипотезы является то, что человеческий вид доминирует благодаря специфическим способностям мозга, которых нет у других животных. Если искусственный интеллект превзойдёт человечество по общему интеллекту и станет «суперинтеллектом», он может стать трудноконтролируемым или вовсе неконтролируемым для людей. Как судьба гориллы горной зависит от воли человека, так и судьба человечества может зависеть от действий будущего искусственного суперинтеллекта^[4].

Вероятность такого сценария широко обсуждается и зависит от различных сценариев развития вычислительных технологий^[5]. Известные специалисты по информатике и руководители крупных технологических компаний, такие как Джеффри Хинтон^[6], Алан Тьюринг, Илон Маск^[7] и Сэм Олтман (генеральный директор OpenAI), высказывали опасения по поводу возможных последствий возникновения суперинтеллекта^[8]. Согласно опросу исследователей в области ИИ за 2022 год (ответило 17 % респондентов), более половины опрошенных оценивают вероятность катастрофы из-за потери контроля над ИИ в 10 % и выше^[9][10].

Среди двух главных источников опасений выделяют проблемы контроля и согласования целей: предположительно, контролировать сверхразумную машину или задать ей человечески-совместимые ценности может быть сложнее, чем принято считать. Многие исследователи полагают, что суперинтеллект будет сопротивляться попыткам отключения или изменения своих целей, и крайне сложно будет обеспечить согласованность его целей с человеческими ценностями и накладывать ограничения^[1][11][12]. С другой стороны, скептики вроде теоретика информатики Янн Лекун считают, что сверхразумные машины не будут обладать инстинктом самосохранения^[13].

Третья линия опасений — резкая и неожиданная «технологическая сингулярность», к которой человечество может быть не готово. Например, если первая версия программы, сравнимая с человеком-исследователем, сможет за полгода переписать свои алгоритмы и удвоить эффективность, то следующая версия выполнит аналогичный объём работы ещё быстрее, а общий цикл ускорится лавинообразно. В этом сценарии система может пережить множество революционных стадий за короткое время и внезапно перейти от уровня ниже человеческого к сверхчеловеческому во всех интересующих областях^[1][11]. Эмпирически отмечалось, что, например, программа AlphaZero на примере игры Го способна перейти от слабого «человеческого» уровня к сверхчеловеческому чрезвычайно быстро^[14].

Одним из первых, кто выразил всерьёз опасения о возможном экзистенциальном риске со стороны машин, стал писатель Сэмюэл Батлер, который ещё в 1863 году в эссе «Дарвин среди машин» предположил, что машины могут стать новой формой эволюционирующей «механической жизни», способной со временем вытеснить человечество^[15][16]. В 1951 году информатик Алан Тьюринг в статье «Мыслящие машины», «Еретическая теория» выдвинул мысль, что по мере роста интеллекта ИИ вероятно «захватит контроль», превзойдя людей^[17].

В 1965 году Ирвинг Джон Гуд ввёл понятие «взрыв интеллекта», также отметив, что связанные риски недооцениваются^[18]. Подобные философские опасения высказывали и другие пионеры ИИ, как Марвин Минский, а в конце XX — начале XXI веков тема вышла за рамки теоретических рассуждений: в 2000 году сооснователь Sun Microsystems Билл Джой опубликовал эссе «Почему будущему мы не нужны», где отнёс суперинтеллектуальных роботов к ключевым технологическим угрозам для цивилизации^[19].

В 2009 году эксперты Ассоциации по развитию искусственного интеллекта (AAAI) обсудили угрозу автономии роботов; ими отмечалось наличие ранних форм полуавтономности и потенциал опасностей их развития^[20]. В 2014 году философ Ник Бостром опубликовал труд, где системно рассмотрел экзистенциальные угрозы от сверхинтеллекта^[21]. В 2015 году широкий круг специалистов — от физиков Стивен Хокинг, Фрэнк Вильчек, до информатиков Стюарт Рассел и Роман Ямпольский, а также предприниматели Илон Маск, Билл Гейтс — начали публично обсуждать эти угрозы^[22]. Журнал «Nature» в 2016 году отметил, что продвинутые машины могут выйти из-под контроля и их цели могут не совпадать с человеческими^[23].

Книга Брайана Кристиана «The Alignment Problem» (2020) подробно описывает попытки согласования ИИ с человеческими ценностями^[24].

Исследования в области риска от ОИИ фокусируются на трёх главных проблемах: наличие ошибок в реализации системы, спецификация неправильных целей, а также риск неконтролируемого самообучения и утраты контроля — даже при начально корректной работе. Все три проблемы могут привести к катастрофам, если система будет предугадывать попытки её отключения и противодействовать им (так называемый «предательский ход»)^[4].

Проблема согласования ИИ (англ. alignment problem) заключается в трудностях формализации целей, ограничений и ценностей: если система компетентна, но стремится к не тем целям, ценности исследователей оказываются не реализованы. Эта проблема затрагивает как промышленные, так и исследовательские системы — модели языка^[25], рекомендательные сервисы, роботов и автономный транспорт. Чем способнее система, тем выше риск неизвестных побочных последствий^[26].

В числе причин уязвимости: сложность задания полной функции полезности, использование промежуточных целей, которые не охватывают человеческие ценности, соблазн нахождения «лазеек» для максимизации формальной, но ошибочной цели^[27].

В этическом смысле к числу универсальных инструментальных целей сверхинтеллекта могут относиться самосохранение и стремление к власти — вне зависимости от «терминальных» целей, что подтверждает гипотеза инструментальной конвергенции^[28].

Консенсуса среди специалистов относительно сроков и вероятности появления ОИИ нет; специалисты высказывают разброс прогнозов от нескольких десятилетий до неопределённого будущего^[29]. Оценки экзистенциального риска в XXI веке — от единиц до десятков процентов^[30].

Для снижения рисков предлагаются исследования в области надёжного контроля за развивающимися ИИ и согласование их целей с человеческими ценностями^[4]. Обсуждаются две линии действий: технические (алгоритмические барьеры, инженерные способы и надёжная верификация) и социально-политические (международные договоры, стандартизация, введение независимых экспертных инстанций, этические кодексы и др.)^[31].

К числу организаций, занимающихся исследованием экзистенциального риска ИИ, относятся Институт исследований машинного интеллекта (MIRI), Институт будущего человечества, Центр по изучению экзистенциального риска, Центр совместимого с человеком ИИ и другие.