Искусственный интеллект. Этапы, Угрозы, Стратегии
Искусственный интеллект. Этапы. Угрозы. Стратегии (англ. Superintelligence: Paths, Dangers, Strategies) — книга философа Ника Бострома вышедшая в 2014 году, в которой рассматриваются возможные последствия создания искусственного сверхинтеллекта[1]. Основным посылом книги является экзистенциальный риск[2] связанный с высокой вероятностью выхода из-под контроля искусственного сверхинтеллекта, как системы способной к самоулучшению и достижению промежуточных целей. В отличие от слабого ИИ такую систему станет трудно, или даже невозможно контролировать, что может привести к непредсказуемым последствиям для человеческого вида. В книге рассматриваются такие сценарии как использование сверхразумной системы своей силы для захваты власти и ресурсов, с целью достижения собственных целей[3]. Также рассматриваются варианты при которых будет создан сверхинтеллект работающий на благо человечества[4].
Общие сведения
| Искусственный интеллект. Этапы. Угрозы. Стратегии | |
|---|---|
| англ. Superintelligence: Paths, Dangers, Strategies | |
| Автор | Ник Бостром |
| Жанр | научно-популярный |
| Язык оригинала | английский |
| Оригинал издан | 3 июля 2014 |
| Страниц | 496 |
| ISBN | 978-5-00057-810-0 |
| Предыдущая | Global Catastrophic Risks[d] |
Краткое содержание
Вопрос о появлении искусственного интеллекта человеческого уровня остается неопределенным: это может произойти в ближайшие годы, в последующие десятилетия или даже в далеком будущем. Независимо от первоначальных сроков, как только будет разработан искусственный интеллект человеческого уровня, «сверхразумная» система, которая значительно превосходит когнитивные способности человека практически во всех областях, скорее всего, появится на удивление быстро. Таким сверхразумом станет очень трудно, или даже невозможно управлять.
Хотя конечные цели у сверхинтеллекта могут сильно различаться, действующий сверхинтеллект будет спонтанно создавать в качестве естественных подцелей инструментальные цели, например направленные на самосохранение, самоулучшение и обретение ресурсов. Искусственный сверхинтеллект будет активно сопротивляться любым внешним попыткам его отключения, или другим способам помешать достижению его целей. Чтобы предотвратить экзистенциальную катастрофу должна быть решена проблема согласования искусственного интеллекта. Решением может стать внедрение в сверхразумную систему целей, совместимыми с выживанием и благополучием человечества. Решить проблему согласования на удивление сложно, поскольку большинство целей при переводе их в машинно-реализуемый код приводит к непредсказуемым и даже вредным последствиям[5].
Общественная значимость
Книга заняла 17-е место в списке самых продаваемых научных книг The New York Times в августе 2014 года[6]. В том же месяце Илон Маск выступил с речью о том, что искусственный интеллект с разумом превосходящим человеческий потенциально более опасен, чем ядерное оружие.[7][8][9] Работа Ника Бострома по искусственному интеллекту также оказала влияние на Билла Гейтса, который согласился с экзистенциальными рисками, с которыми предстоит столкнуться человечество в предстоящем столетии.[10][11] В интервью генеральному директору Baidu Робину Ли в марте 2015 года Гейтс сказал, что «настоятельно рекомендует» книгу Ника Бострома. В 2015 году Сэм Альтман написал что эта книга — лучшее, что он когда-либо читал о рисках связанных и искусственным интеллектом[12].
