P(doom)
P(doom) — вероятность экзистенциально катастрофических последствий (так называемых «сценариев конца света») в результате развития искусственного интеллекта[1][2]. Конкретные варианты катастрофических исходов в разных оценках различаются, но в целом имеют в виду экзистенциальный риск от искусственного общего интеллекта[3].
Этот термин возник как краткое обозначение для обсуждения в рационалистском сообществе и среди исследователей ИИ, но стал широко известен в 2023 году после публикации GPT-4, когда такие известные фигуры, как Джеффри Хинтон[4] и Йошуа Бенгио[5] стали публично предупреждать о рисках ИИ[6]. В опросе 2023 года исследователей ИИ просили оценить вероятность того, что будущие успехи в развитии искусственного интеллекта приведут к исчезновению человечества или аналогичному по тяжести и необратимости подавлению человечества в течение ближайших 100 лет. Среднее значение среди ответов составило 14,4 %, медиана — 5 %[7].
Наиболее известные значения P (уровня гибели)
| Имя | P (уровень гибели) | Примечание |
|---|---|---|
| Илон Маск | ок. 10–30%[8] | Бизнесмен, гендиректор X, Tesla и SpaceX |
| Лекс Фридман | 10 %[9] | Американский учёный-информатик и ведущий подкаста Lex Fridman Podcast |
| Марк Андриссен | 0 %[10] | Американский предприниматель |
| Джеффри Хинтон | 10–20 % (по всем доводам); >50 % (личное впечатление)[11] | «Крёстный отец ИИ», лауреат Нобелевской премии по физике (2024) |
| Демис Хассабис | Больше 0% | Сооснователь и гендиректор Google DeepMind, Isomorphic Labs, лауреат Нобелевской премии по химии (2024) |
| Лина Хан | ок. 15%[6] | Бывшая председатель Федеральной торговой комиссии США |
| Дарио Амадей | 25 %[12] | Генеральный директор Anthropic |
| Виталик Бутерин | ок. 10%[1][13] | Сооснователь Ethereum |
| Ян Лекун | <0,01 %[14] | Главный исследователь ИИ в Meta |
| Элиезер Юдковский | >95 %[1] | Основатель Института исследований машинного интеллекта |
| Нейт Сильвер | 5–10 %[15] | Статистик, основатель FiveThirtyEight |
| Йошуа Бенгио | 50 %[3] | Учёный-информатик, научный директор Монреальского института алгоритмов обучения |
| Данил Кокотайло | 70–80 % | Исследователь ИИ, основатель AI Futures Project, ранее — OpenAI |
| Макс Тегмарк | >90 %[16] | Шведско-американский физик, исследователь машинного обучения, автор теории математической Вселенной, сооснователь Future of Life Institute |
| Холден Карнофски | 50 %[17] | Исполнительный директор Open Philanthropy |
| Эммет Шир | 5–50 %[6] | Сооснователь Twitch, бывший временный гендиректор OpenAI |
| Шейн Легг | ок. 5–50%[18] | Сооснователь, главный учёный по общему ИИ Google DeepMind |
| Эма Мостам | 50 %[19] | Сооснователь Stability AI |
| Цфи Мовшовиц | 60 % | Писатель по ИИ, директор Центра прикладной рациональности, бывший соревновательный игрок Magic: The Gathering |
| Ян Лейке | 10–90 %[1] | Исследователь в области безопасности ИИ в Anthropic, ранее — DeepMind и OpenAI |
| Кейси Ньютон | 5 %[1] | Американский технологический журналист |
| Роман Ямпольский | 99,9 %[20] | Латвийский информатик, бывший научный консультант Института исследований машинного интеллекта, AI safety fellow Foresight Institute |
| Грейди Буч | ок. 0%[1] | Американский инженер-программист |
| Дэн Хендрикс | >80 %[1] | Директор Center for AI Safety |
| Тоби Орд | 10 %[21] | Австралийский философ, автор книги «На краю» |
| Коннор Лихи | 90 %+[22] | Немецко-американский исследователь ИИ, сооснователь EleutherAI |
| Пол Кристиано | 50 %[23] | Руководитель отдела исследований US AI Safety Institute |
| Ричард Саттон | 0 %[24][25] | Канадский учёный-информатик, лауреат Премии Тьюринга (2025) |
| Эндрю Крис | 85 %[26] | Основатель Центра прикладной рациональности |
| Дэвид Дювэно | 85 %[27] | Бывший руководитель команды безопасности Anthropic |
| Эли Лифланд | ок. 35–40%[28] | Один из лучших суперпрогнозистов, соавтор AI 2027 |
| Пол Кроули | >80 %[29] | Учёный-информатик в Anthropic |
| Бенджамин Манн | 0–10 %[30] | Сооснователь Anthropic |
Критика
Ведутся дискуссии о полезности термина P (уровень гибели), в частности, из-за отсутствия ясности в вопросах, условна ли оценка наличием искусственного общего интеллекта, на каких временных промежутках она даётся и что именно подразумевается под «катастрофой»[6][31].
В популярной культуре
- В 2024 году австралийская рок-группа King Gizzard & the Lizard Wizard запустила собственный лейбл с названием p(doom) Records[32].