Риск астрономических страданий

Искусственный интеллект занимает центральное место в обсуждении s-рисков, поскольку он может дать могущественным акторам возможность контролировать огромные технологические системы. В худшем случае ИИ может быть использован для создания систем непрекращающихся страданий, например, тоталитарного режима, распространяющегося по космосу^[11]. Возможны и случайные s-риски — к примеру, если ИИ будет использоваться для моделирования сознательных существ, переживающих страдания в виртуальных средах, или в экономической деятельности, не учитывающей благополучие нечеловеческих или цифровых разумов^[2] Исследователь этики ИИ Стивен Умбрелло указывает, что развитие биологических вычислений может сделать проектирование систем более подверженным s-рискам.^[6]

Колонизация космоса может увеличивать страдания, если дикие животные попадут в новые среды и будут сталкиваться с голодом, болезнями и хищниками.^[12]. Фил Торрес отмечает, что колонизация космоса влечёт значительные «риски страданий», поскольку освоение новых миров приведёт к формированию разнообразных постчеловеческих цивилизаций с конфликтующими интересами. Эти различия, вместе с развитием вооружений и большими расстояниями между колониями, замедляющими коммуникацию, могут вызвать катастрофические и неразрешимые конфликты. Предлагаемые меры — например, создание «космического Левиафана» или сдерживающих политик — ограничены физическими особенностями пространства и разрушительной силой возможных технологий будущего. Торрес считает, что колонизацию космоса следует отложить или вовсе избегать^[13].

Проблема «астрономической жестокости» Магнуса Виндинга связывает этическую дилемму: могут ли огромные объёмы счастья оправдать экстренно большие страдания от колонизации космоса? Он поднимает моральные вопросы о снижении отдачи от положительных благ, об издевательском весе крайне интенсивных страданий и приоритете их предотвращения. Виндинг считает, что если колонизация неизбежна, её должны возглавлять субъекты, глубоко ориентированные на минимизацию вреда^[14].

S-риски могут появляться и вследствие намеренных действий, например, в условиях войн или терроризма с применением развивающихся технологий, когда конфликты усиливают проявления садизма, трибализма и стремления к возмездию. Войны могут обострять эти тенденции из-за шантажа катастрофическими угрозами. Такие s-риски дополнительно усугубляются злонамеренностью влиятельных персон (например, нарциссизмом или психопатией), что было характерно для тоталитарных лидеров вроде Гитлера и Сталина, чьи действия в XX веке привели к масштабным страданиям^[9].

Дэвид Пирс утверждает, что генетическая инженерия может быть источником s-риска. По его мнению, технология полного контроля над осью «удовольствие—страдание» может быть использована не только для устранения страданий, но и для создания «гиперболи страдания» (англ. hyperpain) или состояния «долориума», чья интенсивность превышает возможные человеческие уровни страдания^[15].

Для минимизации s-рисков основное внимание уделяют изучению и пониманию факторов, усиливающих их, в особенности в новых технологиях и социальных структурах. Среди целевых стратегий — проектирование безопасных систем ИИ, координация между разработчиками, моделирование будущих цивилизаций для раннего выявления угроз. Более широкие меры могут включать продвижение моральных норм, направленных против массовых страданий, и развитие устойчивых политических институтов^[16].