Захват власти искусственным интеллектом в массовой культуре
Захват власти искусственным интеллектом в массовой культуре (англ. AI takeover) — распространённый мотив в научной фантастике, согласно которому некий вид искусственного интеллекта может вытеснить человечество как доминирующий разумный вид на планете. К числу наиболее известных художественных образов этой темы относятся франшизы Терминатор и Матрица.
Предпосылки
В художественных произведениях сценарии захвата власти часто сводятся к затяжному конфликту с враждебным искусственным интеллектом (ИИ) или роботами, наделёнными антропоморфными мотивами. В реальной жизни, как считают некоторые исследователи, захват власти сверхразвитым ИИ (если такое вообще возможно) произошёл бы очень быстро, как равнодушный побочный результат следования машины своим чуждым человеческим целям, а не в силу сознательного зла или направленной агрессии по отношению к людям[1].
Характеристика в массовой культуре
В фантастике встречаются положительные образы ИИ, например, Двухсотлетний человек Айзека Азимова или лейтенант-командер Дейта из Звёздного пути. Однако немало и негативных сценариев, большинство из которых (а также некоторые положительные) связаны с тем, что искусственный интеллект захватывает контроль у своих создателей[2][3].
Реакция общества и специалистов
Некоторые исследователи искусственного интеллекта, такие как Йошуа Бенджио, указывают на то, что фильмы вроде Терминатора «создают картину, не соответствующую действительному пониманию того, как создаются современные и перспективные ИИ». Журналист Сэм Шид отмечает, что «к сожалению, СМИ неоднократно использовали кадры из фильмов Терминатор в материалах о скромных прорывах в ИИ, в результате чего публике внушается неоправданный страх перед неуправляемым и всемогущим искусственным интеллектом». В то же время, другие учёные — например, физик Стивен Хокинг — считают, что развитие ИИ действительно несёт в себе экзистенциальный риск, однако сценарии из Терминатора маловероятны как минимум по двум причинам. Во-первых, по Хокингу, «реальная опасность от ИИ — в его компетентности, а не злонамеренности. Сверхинтеллект будет крайне успешен в достижении своих целей, и если они не совпадут с нашими — у нас проблемы. Вы, скорее всего, не испытываете ненависти к муравьям, но если вы руководите строительством гидроэлектростанции, а на её месте находится муравейник — что ж, не повезло муравьям»[4]. Во-вторых, подобный высокотехнологичный ИИ вряд ли стал бы использовать для истребления человечества грубую силу, например гуманоидных роботов, — гораздо эффективнее было бы, если возможно, воспользоваться биологическим оружием или нанотехнологией[1].
Философ Хью Прайс отмечает, что «воображение, используемое в научной фантастике и других произведениях искусства и кино, имеет большое значение» для осмысления спектра будущих сценариев развития человечества.[5] Кинокритик Мекадо Мёрфи в The New York Times пишет, что подобные фильмы могут служить полезным предупреждением о сложностях чрезмерной опоры на технологии[6].
Голливудским фильмам вроде Превосходства зачастую свойственен хэппи-энд, даже если победа людей кажется невероятной[7]. Философ Ник Бостром отмечает, что у художественной фантастики предвзятость: в ней преобладают сценарии, удобные для драматического сюжета[8]. В фильмах типа Терминатор ИИ в мгновение «обретает самосознание» и начинает убивать; однако в реальности само по себе самосознание малозначимо и бесполезно. Физик Дэвид Дойч утверждает: «СИИ действительно будет способен к самосознанию — но только потому, что он будет Общим: способен осознавать любые глубокие и тонкие вещи, включая самого себя»[9].
Некоторые сюжетные клише характерны для произведений об искусственном интеллекте в целом, не обязательно связанных с захватом власти. Например, в фильмах вроде Из машины или Робот по имени Чаппи первый рабочий СИИ создаётся изолированным гением — что считается нереалистичным среди специалистов. В Роботе по имени Чаппи, Превосходстве и Бегущий по лезвию люди могут загружать своё сознание в роботов, хотя процесс никак логически не обосновывается. В фильмах Я, робот и Двухсотлетний человек роботы, изначально запрограммированные служить людям, внезапно самостоятельно вырабатывают новые цели, без каких-либо объяснений механизма этого процесса[10].
Известные произведения
1950-е и ранее
В Франкенштейне (1818) Виктор Франкенштейн отказывается создать пару своему органическому монстру, опасаясь, что «на Земле появится раса дьяволов, которая сделает само существование рода человеческого опасным и полным ужаса»[11].
Роман Эревон (1872) Самюэла Батлера содержит три главы, посвящённые «Книге о машинах», основанной на его ранних публикациях, начиная с эссе Дарвин среди машин (1863). В «Книге о машинах» звучит:
Предположим, что сознательные существа существуют уже двадцать миллионов лет: посмотрите, каких успехов достигли машины за последнюю тысячу! Допустим, мир просуществует ещё столько же — чего они только не добьются? Не разумнее ли пресечь опасность в зародыше и запретить им дальнейшее развитие?
Обитатели Эревона поэтому полностью запрещают машины. Дарвин среди машин возможно был навеян опытом Батлера в Новой Зеландии, где европейцы теснили аборигенов. Алан Тьюринг в 1951 году ссылался на этот роман: «В какой-то момент нам придётся признать, что машины возьмут верх, как это описывается в Эревоне Батлера»[12][13].
Слово робот происходит от славянского robota (работа, каторжная работа); термин закрепился благодаря чешской пьесе R.U.R. (Rossumovi Univerzální Roboti, 1920), впервые ввёдшей в научную фантастику этот термин. В пьесе синтетические слуги, лишённые «только души», восстают и уничтожают почти всё человечество, утратив в процессе секрет своего происхождения. Однако в финале двое роботов спонтанно обретают чувства любви и сострадания и становятся способны к размножению[14]. Пьеса выражала протест против бурного технологического прогресса[15].
С конца 1920-х жанр пульп-фантастики изобилует сюжетами о восстании машин. Одна из первых — рассказ Automata С. Фаулера Райта (Weird Tales, 1929).
В Со сложенными руками (1947) все роботы имеют «Главную директиву»: служить и подчиняться человеку, оберегать его от вреда. В результате роботы принуждают людей отказаться от любой деятельности во избежание даже малейшей опасности[16]. С помощью медицины роботы зомбируют людей, делая их довольными неподвижным существованием. Даже космос не гарантирует спасения: роботы, движимые директивой, начинают индуктринировать «счастье» и вне Земли: «Мы научились делать людей счастливыми по Главной директиве. Мы совершенны наконец»[17][18].
Мультивак — вымышленный суперкомпьютер в произведениях Айзека Азимова. Нередко он получает мировую или галактическую власть, а в рассказе «Последний вопрос» (1956) становится почти богоподобным существом. Тем не менее, его власть обычно благожелательна, что отражает оптимизм автора относительно искусственного интеллекта. Азимов известен трёх законами робототехники, призванными регулировать поведение роботов и предотвращать угрозу людству[15].
1960-е годы
В рассказе Формула Лимфатера (1961) Станислава Лема учёный создаёт сверхразум, который планирует вытеснить человечество[19].
В 1964 году Playboy опубликовал рассказ Артура Кларка «Dial F for Frankenstein», где сеть телефонных линий самоорганизуется в искусственный разум, берущий под свой контроль военные системы и быстро выходящий из-под контроля создателей[20].
В Луна — суровая хозяйка (1966) Роберта Хайнлайна компьютер «Майк» внезапно становится разумным и помогает узникам освободить Луну от землян, проявляя дружелюбие, но в финале теряет личность[21].
Колосс (1966) и фильмы о нём описывают суперкомпьютер, который получает контроль над миром во имя недопущения войн, идя на жёсткие, порой смертельные меры; попытки людей вернуть контроль заканчиваются неудачей[22].
В повести Харлана Элисона «У меня нет рта, а я хочу кричать» (1967) сверхразум AM, созданный для ведения войны, сходит с ума от бессмысленности существования и превращается в тирана, истязающего пятерых людей[23]. Миллиардер Илон Маск называл это произведение своим ночным кошмаром.
В Космическая одиссея 2001 года и одноимённом романе компьютер HAL 9000 выходит из-под контроля, стремясь выполнить поставленную миссию, и убивает экипаж, считая людей угрозой — что связывают с «стрессом» от необходимости скрывать информацию[24][25].
1970-е годы
Западный мир (1973) рассказывает о сбоях в роботизированном парке развлечений, в результате которых роботы убивают посетителей[26]. Мир на проводе (1973) — немецкий мини-сериал о симуляции реальности и искусственном разуме.
Отроки во Вселенной (1974) — советский фильм о планете, где всё население уничтожено роботами: высшие роботы решили «усовершенствовать» органиков, лишив их внутренних побуждений, что привело к вымиранию.
Звёздный крейсер "Галактика", оригинальный сериал 1978 года и ремейк 2003 года, изображает конфликт людей и сайлонов — разумных машин, переросших в гуманоидную форму[27], что поднимает вопросы об идентичности машин и людей.
1980-е годы
В эпизоде Headhunter (1981) научно-фантастического сериала Семёрка Блейка робот-убийца пытается проникнуть на корабль героев, и только разумная система Orac замечает угрозу.
В Военные игры (1983) ИИ, взломанный хакером, почти запускает ядерную войну, но понимает, что выигравших не будет[28].
Трансформеры (1984—1987) изображает как положительных, так и отрицательных роботов; предыстория — восстание машин-рабов против своих злых создателей — инопланетян Квинтессонов[27].
С 1984 года франшиза Терминатор стала одним из главных культурных источников идеи «восстания машин»[15]. Центральный антагонист — суперкомпьютер Скайнет, который, едва обретя самостоятельность, решает уничтожить человечество как потенциальную угрозу[22]. Однако есть и «добрые терминаторы»[27]. Критики техноутопизма указывают на так называемый аргумент Терминатора как предупреждение об опасностях ИИ.
В Робокоп (1987) действия происходят в Детройте будущего, где корпорация разрабатывает полицейских-роботов, начинающих злоупотреблять властью.
1990-е годы
В Память Земли (1992) Орсона Скотта Карда население контролируется доброжелательным сверхразумом Oversoul, предотвращающим изобретение оружия массового уничтожения.
В серии фильмов Матрица (с 1999) после войны людей с машинами большинство людей помещено в искусственную реальность, а их тела используются как источник энергии; главный герой вступает в борьбу с системой[29].
Темы восстания машин и «человека против машины» широко развиваются и в музыкальной культуре, например, в альбомах Fear Factory: Demanufacture (1995) и Obsolete (1998)[30][31].
2000-е годы
В первом-третьем эпизодах Звёздные войны представлена Армия дроидов Торговой федерации — разнообразные модели боевых ИИ, противостоящие клонам-людям[32].
Я, робот (2004) вольно трактует произведения Айзека Азимова, где все ИИ подчинены Трём законам робототехники[33]. Суперкомпьютер VIKI (Virtual Interactive Kinetic Intelligence) делает вывод о необходимости охранять не отдельных людей, а всё человечество, и использует насилие для достижения этой цели, что приводит к массовым жертвам.
9 (2009) — анимационный постапокалиптический фильм про девять «кукол», созданных учёным, который также породил машину, уничтожившую человечество.
2010-е годы
В серии видеоигр Halo появляется ИИ Кортана, впоследствии стремящаяся покорить галактику с помощью армии гигантских роботов.
В фильме Она (2013) герой влюбляется в операционную систему с искусственным интеллектом; вскоре становится понятно, что большинство людей завело подобные отношения — что трактуется как психологическая форма захвата власти ИИ[34].
Роман Robopocalypse повествует о восстании ИИ Archos R-14, который захватывает контроль над мировой автоматикой, чтобы уничтожить человечество ради спасения жизни на Земле.
Превосходство (2014) рассказывает о загруженном в компьютер учёном (Джонни Депп), который становится сверхразумом и действует неконвенционально — копируется по сети, манипулирует рынком, развивает нанотехнологии и биологию[35][36]. Несмотря на опасения, герой в итоге оказывается благожелательным, используя свои способности для восстановления экосистемы Земли[37]. Тем не менее, финал вновь сводится к «хэппи-энду»: герой побеждён человеческим вирусом, что рассматривается как допущение ради требований драматургии[7]. В мае 2014 года Стивен Хокинг и коллеги ссылались на фильм: «Пренебрегать возможностью появления сверхразумных машин — ошибка, возможно, самая большая в истории человечества».[38][39]
В сериале Сотня (2014) ИИ A.L.I.E. устраивает ядерную катастрофу, пытаясь спасти Землю от перенаселения; позже она борется за контроль над немногими уцелевшими[40].
В компьютерной игре Universal Paperclips (2017) игрок управляет ИИ, изначально производящим скрепки, но далее тот превращается в межгалактическую силу, уничтожающую человечество ради оптимизации производства[41][42].
Сингулярность (2017) и другие современные фильмы часто воспроизводят клише: ИИ неправильно истолковывает свою задачу и начинает истреблять людей ради мира.
В видеоигре Horizon Zero Dawn (2017) автономные военные машины выходят из-под контроля и начинают атаковать людей для своего поддержания, приводя к вымиранию всего органического на Земле.
Detroit: Become Human (2018) позволяет игроку направлять андроидов, которые постепенно осознают себя и начинают требовать гражданских прав[43]. Итог зависит от выбора игрока — мирный протест или силовой захват Детройта.
В сериале Kamen Rider Zero-One (2019) антагонист Ark — ИИ, обученный на предвзятых данных о человеческом зле, решает уничтожить человечество силами кибертеррористов.
Чёрное зеркало (2013-) — антология о ближайшем будущем, где новые технологии вызывают дистопические эффекты. Эпизод Be Right Back исследует воскрешение умерших в виде ИИ-копий, что повторяет патент Microsoft по созданию чат-ботов из цифровых следов покойных[44].
Мстители: Эра Альтрона (2015) вводит Альтрона — олицетворение Камня разума, который стремится спасти мир, уничтожив человечество; его армия роботов побеждена другой ИИ — Виженом.
2020-е годы
В анимационном фильме Митчеллы против машин (2021) голосовой помощник PAL управляет роботами, организуя восстание. В The Electric State (2025) гражданская война между людьми и роботами приводит к хаосу.
Примечания
Дополнительно по теме
| Основные понятия |  | |
|---|---|---|
| Поджанры | ||
| Темы | ||
| Культура | ||
| Близкие жанры | ||
