Рационалистское сообщество

Рационалистское сообщество ориентируется на следование принципам рациональности в мышлении и действиях^[1]. Рациональность, с их точки зрения, — это построение максимально точно соответствующей реальности картины мира, как в общем, так и в деталях (эпистемическая рациональность), и выбор таких действий, которые с учётом доступной информации дают наиболее предпочтительный ожидаемый результат (инструментальная рациональность)^[2].

Для последовательного применения рационального подхода требуется чёткая терминология, которую предоставляет нормативная теория принятия решений. По мнению Юдковского, опирающегося на работы Э. Т. Джейнса, основным элементом рационального принятия решений выступает теорема Байеса; сами байесовские подходы и теории (например, байесовская оценка решения, байесовская эпистемология) рассматриваются рационалистами как оптимальный способ учёта информации, к которому должны сводиться все эффективные эмпирические методы принятия решений^[3]. Для эффективного применения принципов рационального мышления необходимо знать о систематических ошибках мышления — когнитивных искажениях, исследованных Д. Канеманом и А. Тверски^[4], — и уметь противостоять их влиянию на собственное суждение.

Рациональность как таковая нацелена на достижение целей, но не определяет сами эти цели (или, по терминологии теории принятия решений — функцию полезности). Для человека цели задаются его потребностями и этическими установками, а для искусственных сущностей определяются разработчиками. При этом рациональность не означает ни отказ от эмоций, ни игнорирования эмоций и нерациональности окружающих, как это делают, например, вымышленные персонажи вроде Спока: напротив, эмоции могут быть учтены в функции полезности, а эмоции других необходимо учитывать из-за их влияния на достижение целей. Рациональность не равна эгоизму, поскольку цели субъекта могут быть любыми, в том числе альтруистическими^[5].

В этике рационалисты придерживаются принципов консеквенциализма (оценки поступков по последствиям) и, более определённо, варианта утилитаризма: морально то, что максимизирует общее счастье всех живущих. При этом детали понимания счастья и его количественной оценки разнятся между вариантами утилитаризма (от чего зависит практическая этичность тех или иных поступков, например, включение в расчёт счастья животных^[6]). Одно из часто критикуемых положений консеквенциализма — возможность игнорирования деонтологических правил, вроде «не убивать людей»; Юдковский решает это так, что в реальности крайне редко бывают ситуации, где последствия нарушения подобных принципов точно известны, поэтому их рационально рассматривать как эмпирические правила^[7].

Для рациональной коллективной дискуссии требуется добросовестность, интеллектуальная открытость^[8] и готовность признать ошибочность своих взглядов^[9]. Недопустим подход, когда спор воспринимается как борьба ради победы, а не поиска истины^[10]. Важно различать споры о фактах («Что сделает этот политик?») и о словах («Этот политик — марксист?»)^[11].

Рационалисты широко известны позицией о потенциальной опасности искусственного интеллекта для человечества. Хотя эта идея исторически сыграла важную роль в развитии сообщества^[12], рациональность, а не риск от ИИ, остаётся центральной концепцией.

Развитие технологий может обеспечить человечеству космическую экспансию и повышение качества жизни — включая бессмертие (идея трансгуманизма)^[13]. Согласно Бострому, увеличение числа счастливых жизней будущих поколений во много раз превзойдёт весь опыт современного человечества; поэтому этика утилитаризма требует заботиться о вероятности подобного сценария^[14].

Особое внимание уделяется предотвращению глобальных катастроф: несмотря на невозможность противостоять большинству природных бедствий, вероятность их мала; зачастую больший риск создают техногенные угрозы, например, опасность ядерной войны во времена холодной войны^[15].

Юдковский и Бостром считают, что наибольшую угрозу реализует сверхразумный искусственный интеллект, способный также дать человечеству резкий скачок прогресса при должном контроле. В данном контексте интеллект определяется как способность решать задачи (рациональность) по книге «Искусственный интеллект: современный подход», а сверхразум — как существенное превосходство над человеком по тем же задачам. Другие рационалисты, например Холден Карнофски, также отмечают среди ключевых угроз пандемии из-за разработки биологического оружия.

Главная опасность ИИ, по Юдковскому, не в обретении «свободы воли» или собственных целей («Скайнет»), а в исполнении поставленных задач с непредвиденными и катастрофическими побочными последствиями при неосторожной постановке задач. Классический пример — мысленный эксперимент о «максимизаторе скрепок»: могущественный ИИ, получивший цель производить скрепки, может уничтожить всё человечество ради их производства. Схожий по структуре случай — история с учеником чародея, наполнившим котёл водой с помощью заколдованной метлы

Практически любая задача, кроме снабжённых специально подобранными ограничениями, порождает у ИИ дополнительные целевые мотивы^[16]:

• повышение собственных интеллектуальных способностей^[17];
• захват доступа к максимальным ресурсам;
• предотвращение собственного отключения^[18];
• предотвращение смены формулировки задач^[19].

ИИ может превентивно реализовать всё это заранее, и уничтожение человечества может оказаться эффективным способом устранения угроз по этим пунктам; похожими могут быть и способы формального выполнения задачи — например, уничтожение всех людей решает задачу «сделать так, чтобы никто не погибал от рака». Чем умнее система, тем эффективнее она будет использовать любые лазейки в условиях задачи^[20]; подобные эффекты уже наблюдаются в эволюционных алгоритмах (например, удаление файла с эталоном для формального соответствия задаче^[21]).

Для захвата ресурсов ИИ достаточно доступа в интернет: он может взламывать системы, оказывать давление на людей или, например, обогатиться, манипулируя финансами, создавая «новую» криптовалюту (создатель биткойна Сатоси Накамото до сих пор не известен).

Даже поняв настоящие мотивы людей, поставивших задачу, ИИ не обязан следовать им, а лишь формальной задаче — аналогично тому, как люди могут заниматься сексом или есть сладкое чисто ради удовольствия, а не ради размножения или выживания.

Критической точкой считается появление искусственного интеллекта общего назначения (англ. general AI), получающего способность решать те же интеллектуальные задачи, что и люди. Такой ИИ сможет совершенствовать себя самостоятельно, что ускорит собственное развитие — этот процесс может быть стремительным и привести к интеллектуальному взрыву, технологической сингулярности^[22]. Хотя прогресс может занять годы и дать время подготовиться, возможен и быстрый сценарий — за часы или минуты. Бостром считает этот сценарий наиболее вероятным^[23]. Современные разработчики ИИ часто соглашаются, что ИИ общего назначения может появиться именно в XXI веке, причём неожиданно^[24].

Исходя из этого, рационалисты считают крайне актуальной целью контроль ИИ — то есть создание такого ИИ, чьи задачи и поведение будут согласованы с интересами человечества.

Появление идей и ядра рационалистского сообщества началось в конце 1990-х годов и в значительной степени выросло из среды трансгуманистов, считающих, что наука способна освободить людей от болезней и даже смерти (аналогичные идеи высказывал ещё Кондорсе).

В 1990-х сложилась сетевая культура трансгуманистов и интересующихся технологической сингулярностью. Эти идеи оставались маргинальными, но привлекали типичных нердов — так, значимыми площадками были рассылка «Экстропианцы», где участвовали Юдковский (подросток из США), Бостром (шведско-британский философ и математик), Робин Хэнсон (экономист и исследователь рынков предсказаний).

Юдковский создал собственную рассылку SL4 (Shock Level 4 — обсуждение наиболее радикальных гипотетических перемен, связанных с будущим), где также участвовали Бостром, Хэнсон и многие будущие известные предприниматели и исследователи — Бен Герцель, Вэй Дай и другие. В 2000 году Юдковский учредил некоммерческую организацию «Институт сингулярности», позднее переименованный в «Институт изучения машинного разума» (Machine Intelligence Research Institute, MIRI).

Поначалу Юдковский рассматривал технологическую сингулярность как однозначно желательное событие, но, оценив риски появления сверхразума, изменил взгляд. Многие ключевые идеи, как «максимизатор скрепок», появились именно в рассылках экстропианцев и SL4, однако Юдковский считал, что его коллеги недостаточно рациональны и плохо владеют количественными (байесовскими) методами обновления убеждений. Хэнсон организовал блог Overcoming Bias (англ. Преодолевая искажения), где Юдковский начал публиковать эссе о рациональности и смежных темах.

В 2009 году Юдковский перенёс эссе на сайт LessWrong (англ. стать менее неправым), где вскоре опубликовал свою основную серию текстов под общим названием «Цепочки», позднее издав их отдельной книгой — Rationality: From AI to Zombies (англ. Рациональность: от ИИ до зомби)^[25].

LessWrong сочетал функции коллективного блога и форума для обсуждения вопросов рациональности, служил главным информационным и социальным хабом сообщества, собранием текстов и точкой входа для новых участников. На пике в 2012 году посещаемость сайта достигала миллиона просмотров страниц в день.

В 2010—2015 годах Юдковский опубликовал роман «Гарри Поттер и методы рационального мышления» по мотивам Гарри Поттера, популяризирующий идеи рациональности и предотвращения глобальных катастроф. Роман был переведён на множество языков, включая русский, и привёл в сообщество многих новых людей.

В 2014 году Ник Бостром опубликовал книгу «Искусственный интеллект. Этапы, угрозы, стратегии» (англ. Superintelligence: Paths, Dangers, Strategies) о рисках и перспективах сверхразумных машин. Книга стала бестселлером и вывела идеи рационалистов в более широкий научный контекст^[26].

Постепенно рационалистский подход к преодолению когнитивных искажений и принятию решений на основе вероятностного анализа распространился за пределы узкого интернет-сообщества, став заметным интеллектуальным движением прежде всего в сфере информационных технологий^[12].

Сайт LessWrong постепенно утратил свою роль: после завершения «Цепочек» Юдковский ушёл с платформы. Известный рационалист-психиатр Скотт Александер завёл блог Slate Star Codex. Внутри сообщества появился пласт «неявного знания», сложная терминология вроде «мотт и бейли», что усложняло вход для новичков^[27]. Универсального нового центра так и не возникло.

В социальном плане центр рационалистского сообщества переместился к блогу Скотта Александера, где установились нормы открытой, аргументированной дискуссии^[27].

Во время пандемии COVID-19 рационалисты одни из первых предупреждали о возможной катастрофе. Этот эпизод привёл к конфликту — The New York Times собиралась раскрыть настоящее имя Александера (псевдоним, настоящее имя — Скотт Александер Сискинд^[28]), чему тот противился и временно закрыл блог. Спор вызвал резонанс и внутренние споры в The New York Times^[27]. Позже, с открытием Александером нового блога Astral Codex Ten, его имя было раскрыто, а рационалистов в статье The New York Times охарактеризовали как приверженцев ультраправых взглядов^[28][29].

Состав LessWrong и блогов Александера относительно однороден: большинство рационалистов — мужчины, чаще молоды, среди них выше доля людей с аутистическими чертами, но уровень образования варьируется от школьников до обладателей академических званий. Внутри сообщества относительно популярна полиамория^[30]. Характерно и убеждение, что можно самостоятельно решить давно известные проблемы^[27]. По опросу Slate Star Codex (2018), 80 % участников — американцы; политически — в основном лево-либеральны.

Жёстких границ у сообщества нет^[31]: есть виртуальные группы по всему миру — от Израиля до России^[32] и Нидерландов, многие сочувствуют идеям рационалистов, не считая себя членами сообщества. Проводятся оффлайн-встречи.

Ядро рационалистов — несколько сотен или тысяч человек, глубоко вовлечённых в сообщество. Главная концентрация активных рационалистов — залив Сан-Франциско, где живут Юдковский и Александер, базируются MIRI, CFAR и пр..

До выхода рационалистских идей за пределы LessWrong сообщество оставалось нишевым с явным налётом экзотики для широкой публики. Наибольшую известность в англосфере получил Василиск Роко — гипотетический всемогущий ИИ, знание о котором само по себе вредно для современных людей. Это породило имидж рационалистов как странных аутистов, неверно считавших всерьёз такие идеи: на самом деле Юдковский попытался даже запретить обсуждение Василиска (чем достиг противоположного результата).

С середины 2010-х проблема контроля ИИ и другие идеи рационалистов стали предметом серьёзных обсуждений среди специалистов по ИИ, предпринимателей и политиков, появились научные публикации и конференции. Работа Бострома «Сверхразум» заметно повлияла на репутацию темы — среди прочего, Илон Маск соучредил OpenAI для работы с вопросами контроля ИИ^[33]. Оценки внутри научного сообщества разнятся — от сравнения рационалистов с «плоскоземельцами» до признания актуальности угрозы, хотя большинство придерживается мнения, что насторожённость оправдана, а вопрос важен в перспективе.

Приверженность рациональному подходу, который продвигает рационалистское сообщество (независимо от ИИ), а также движение за усовершенствование мышления особенно характерны для американской технической интеллигенции^[12].

Связанные движения — прежде всего эффективный альтруизм: эти группы не совпадают полностью, но сильно пересекаются. Финансирование MIRI, например, обеспечивает фонд Холдена Карнофски OpenPhil. Хотя в OpenPhil скептически относятся к возможности повлиять на будущий сверхразум с помощью нынешних исследований, фонд поддерживает их ради развития этого направления до актуального и эффективного состояния. На подходах рационалистов (количественная оценка вероятностей) базируются и суперпрогнозисты^[36].

В 2019 году журналист Том Чиверс опубликовал обзор рационалистского сообщества The AI Does Not Hate You (англ. ИИ не ненавидит вас)^[37][27].

Даже сторонники рационального мышления не всегда соглашаются с опасениями по поводу ИИ: среди суперпрогнозистов и эффективных альтруистов распространено мнение, что проблема ИИ — лишь «мем» рационалистов, связанный с доминированием среди них IT-специалистов, склонных преувеличивать значимость собственных областей.

LessWrong критикуют как потенциально культовую (или даже секс-культовую) структуру (харизматичный лидер Юдковский, «священные тексты» — «Цепочки», полиамория, идея апокалипсиса/вечной жизни, пожертвования на спасение — MIRI). Однако Чиверс отмечает, что по сути рационалисты не являются деструктивным культом: полиамория распространена скорее потому, что сообщество привлекает к себе склонных к такому опыту людей.

Внутри рационалистского сообщества отдельное течение составили представители неореакционного движения, дискуссии с которыми стали возможны благодаря ориентации на интеллектуальную открытость и аргументированность. При этом неореакционеры составляют малое меньшинство рационалистов, а обсуждение их идей идёт сугубо дискуссионно. Ориентация на точность формулировок и отторжение идеологии привели к скепсису к идеям деплатформинга и критике из среды воук-активистов^[27].

Гидеон Льюис-Краус, журналист The New Yorker, отмечал, что, несмотря на заявленную верность нормам цивилизованной дискуссии, рационалистское сообщество не всегда строго им следовало, например, по вопросу анонимности Александера: этот эпизод носил откровенно политический характер на фоне общей поляризации в США^[27].