АссистентНовый вопросИсторияОбласти знаний
Партнёрские проектыСпецпроектыСтать автором
Сменить язык
О РУВИКИ

Приостановить крупномасштабные эксперименты с ИИ: открытое письмо

Приостановить крупномасштабные эксперименты с ИИ: открытое письмо — письмо, опубликованное в марте 2023 года Институтом будущего жизни. В письме содержится призыв «ко всем лабораториям ИИ немедленно приостановить не менее чем на 6 месяцев обучение ИИ-систем, превосходящих по мощности GPT-4», ссылаясь на такие риски, как создание пропаганды на базе ИИ, радикальная автоматизация рабочих мест, утрата человеком актуальности и потеря контроля на уровне всего общества[1]. Письмо собрало более 30 000 подписей, включая крупных исследователей ИИ и руководителей индустрии, таких как Йошуа Бенджио, Стюарт Рассел, Илон Маск, Стив Возняк и Юваль Ной Харари[1][2][3].

Мотивы

Публикация письма состоялась через неделю после выхода OpenAI большой языковой модели GPT-4. В нём утверждается, что современные большие языковые модели «приближаются к человеку по конкурентности в общих задачах», ссылаясь на исследование ранних экспериментов с GPT-4, в котором она описывалась как обладающая «признаками ИОИ»[4]. ИОИ рассматривается как источник существенных рисков, особенно в условиях гонки на понижение, когда некоторые лаборатории могут пренебречь вопросами безопасности ради более быстрой коммерциализации продуктов[5].

Авторы письма призывают сосредоточить внимание исследований на том, чтобы сделать мощные ИИ-системы «более точными, безопасными, интерпретируемыми, прозрачными, надёжными, согласованными, достойными доверия и лояльными». Также рекомендуется усилить государственное регулирование, внедрить независимые проверки перед обучением ИИ-систем, отслеживать высокопроизводительные ИИ-системы и крупные вычислительные ресурсы, а также обеспечить устойчивое государственное финансирование технических исследований безопасности ИИ[1]. Институт будущего жизни предлагает использовать «объём вычислений, затраченных на обучение» в качестве индикатора мощности ИИ и соответствующего порогового значения[6].

Реакция

Письмо получило широкий общественный резонанс и было поддержано целым рядом известных личностей. По состоянию на июль 2024 года приостановка так и не была реализована — напротив, как отметил Институт будущего жизни к годовщине публикации письма, компании ИИ вкладывают «огромные средства в инфраструктуру для обучения всё более масштабных ИИ-систем»[7]. Вместе с тем, письмо способствовало усилению срочности в правительственных кругах по поводу необходимости реагирования на быстрое развитие ИИ и отразило растущие опасения в обществе по поводу связанных с этим рисков[8].

Элиезер Юдковский писал, что письмо «идёт недостаточно далеко» и утверждал, что нужен бессрочный мораторий. Он считает, что решение проблемы согласования ИИ может занять десятилетия, а любой несогласованный, достаточно умный ИИ способен привести к вымиранию человечества[9].

Некоторые члены IEEE приводили разные причины подписания письма, заявляя: «Существует слишком много способов злоупотребления этими системами. Они распространяются свободно, и нет органов надзора или регулирования, чтобы предупредить вред»[10]. Один из специалистов по этике ИИ отметил, что письмо повысило осведомлённость об угрозах (например, клонирование голоса), однако посчитал, что сам призыв не поддаётся реализации и контролю[10].

Письмо также критиковалось как отвлекающее внимание от более насущных общественных рисков, таких как алгоритмическая предвзятость[11]. Тимнит Гебру и другие утверждали, что письмо носит сенсационный характер и лишь усиливает футуристические, антиутопические сценарии, отвлекая от текущих реальных проблем ИИ[10].

Бывший генеральный директор Microsoft Билл Гейтс не подписал письмо, заявив, что не считает «призыв одной определённой группы к приостановке решением проблем»[12]. Сэм Альтман, глава OpenAI, прокомментировал, что письмо «не учитывает большую часть технических нюансов относительно того, где требуется приостановка». Он отметил: «В более ранней версии письма утверждалось, что OpenAI уже обучает GPT-5. Это не так, и пока не будет»[13]. Рид Хоффман посчитал действие письма «сигнал добродетели», не имеющим реального влияния[14].

Эксперименты продолжались вне зависимости от призыва; о запуске GPT-5 было объявлено в 2025 году[15].

Список известных подписантов

Ниже приведены некоторые из наиболее заметных лиц, подписавших письмо[1]:

  • Йошуа Бенджио (канадский исследователь ИИ, научный руководитель Монреальский институт алгоритмов обучения, лауреат премии Тьюринга)
  • Стюарт Рассел (британский специалист по компьютерным наукам, автор Artificial Intelligence: A Modern Approach)
  • Илон Маск (бизнесмен и инвестор, генеральный директор SpaceX и Tesla, владелец X Corp)
  • Стив Возняк (американский технологический предприниматель, сооснователь Apple)
  • Юваль Ной Харари (израильский историк и философ, автор научно-популярного бестселлера Sapiens: Краткая история человечества)
  • Эмад Мостаки (генеральный директор Stability AI)
  • Эндрю Янг (американский бизнесмен и политик)
  • Лоуренс Краусс (канадско-американский физик-теоретик и автор)
  • Джон Хопфилд (американский учёный, изобретатель ассоциативных нейронных сетей)
  • Яан Таллинн (эстонский миллиардер и программист, соавтор Skype и сооснователь Института будущего жизни)
  • Иэн Хогарт (британский инвестор и предприниматель, председатель рабочей группы по фундаментальным ИИ-моделям правительства Великобритании)
  • Эван Шарп (американский интернет-предприниматель, сооснователь Pinterest)
  • Гэри Маркус (профессор психологии и нейронауки в Нью-Йоркский университет)
  • Крис Ларсен (американский предприниматель и инвестор)
  • Грейди Буч (американский инженер-программист)
  • Макс Тегмарк (шведско-американский космолог, основатель Института будущего жизни, автор книги Жизнь 3.0)
  • Энтони Агирре (американский космолог, сооснователь Института будущего жизни и платформы прогнозирования Metaculus)
  • Тристан Харрис (американский этолог, сооснователь Center for Humane Technology)
  • Даниэль Аллен (американский политолог)
  • Марк Ротенберг (президент и основатель Center for AI and Digital Policy)
  • Стив Омахандро (американский компьютерный учёный, руководитель Beneficial AI Research)
  • Аза Раскин (сооснователь Center for Humane Technology)
  • Хью Прайс (австралийский философ, сооснователь Центр исследований экзистенциального риска)
  • Джефф Орловски (американский режиссёр, автор фильмов Chasing Ice и Социальная дилемма)
  • Улле Хеггстрём (шведский математик и автор книги Here be Dragons о рисках новых технологий)
  • Раджа Чатила (профессор робототехники, ИИ и этики, бывший директор лаборатории Национального центра научных исследований Франции)
  • Моше Варди (израильский математик и специалист по компьютерным наукам)
  • Адам Смит (учёный в области компьютерных наук, Бостонский университет)
  • Дарон Аджемоглу (турецкий экономист, профессор MIT)
  • Кристоф Кох (немецкий нейрофизиолог и специалист по вычислительной нейронауке)
  • Джордж Дайсон (американский автор, историк технологий)
  • Джиллиан Хэдфилд (правовед, бывший старший советник по политике OpenAI)
  • Эрик Хол (американский нейроучёный, нейрофилософ и писатель)
  • Барт Селман (нидерландский профессор компьютерных наук, сооснователь Центр исследований совместимого с человеком ИИ)
  • Том Грубер (компьютерный специалист, сооснователь Siri Inc.)
  • Роберт Брандебергер (швейцарско-канадский теоретический космолог)
  • Майкл Уэллман (американский компьютерный специалист, член Ассоциации содействия развитию искусственного интеллекта)
  • Берндт Мюллер (немецкий физик-ядерщик)
  • Алан Макуэрт (канадский исследователь ИИ, бывший президент Ассоциации содействия развитию искусственного интеллекта)
  • Коннор Лихи (исследователь безопасности ИИ, генеральный директор Conjecture)

Примечания

  1. ↑ 1 2 3 4 Pause Giant AI Experiments: An Open Letter (англ.). Future of Life Institute. Дата обращения: 19 июля 2024. Архивировано 23 октября 2025 года.
  2. ↑ Metz, Cade. Elon Musk and Others Call for Pause on A.I., Citing 'Profound Risks to Society' (англ.), The New York Times (29 марта 2023). Архивировано 19 октября 2025 года. Дата обращения: 20 августа 2024.
  3. ↑ Hern, Alex. Elon Musk joins call for pause in creation of giant AI 'digital minds' (англ.), The Guardian (29 марта 2023). Дата обращения: 20 августа 2024.
  4. ↑ Sebastien Bubeck, Varun Chandrasekaran, Ronen Eldan, Johannes Gehrke, Eric Horvitz, Ece Kamar, Peter Lee, Yin Tat Lee, Yuanzhi Li, Scott Lundberg, Harsha Nori, Hamid Palangi, Marco Tulio Ribeiro, Yi Zhang. Sparks of Artificial General Intelligence: Early experiments with GPT-4 (англ.). arXiv (12 апреля 2023). Дата обращения: 13 апреля 2023. Архивировано 23 октября 2025 года.
  5. ↑ MPs warned of AI arms race to the bottom (англ.). ComputerWeekly.com. Дата обращения: 13 апреля 2023. Архивировано 24 сентября 2025 года.
  6. ↑ Support FAQs about FLI's Open Letter Calling for a Pause on Giant AI Experiments (англ.). Future of Life Institute (31 марта 2023). Дата обращения: 13 апреля 2023. Архивировано 12 октября 2025 года.
  7. ↑ Aguirre, Anthony The Pause Letter: One year later (англ.). Future of Life Institute (22 марта 2024). Дата обращения: 19 июля 2024. Архивировано 1 октября 2025 года.
  8. ↑ Six months after call for AI pause, are we closer to disaster? (англ.). euronews (21 сентября 2023). Дата обращения: 19 июля 2024. Архивировано 20 апреля 2025 года.
  9. ↑ The Open Letter on AI Doesn't Go Far Enough (англ.). Time (29 марта 2023). Дата обращения: 13 апреля 2023. Архивировано 2 апреля 2023 года.
  10. ↑ 1 2 3 Anderson, Margo 'AI Pause' Open Letter Stokes Fear and Controversy (англ.). IEEE Spectrum (7 апреля 2023). Архивировано 21 октября 2025 года.
  11. ↑ Paul, Kari. Letter signed by Elon Musk demanding AI research pause sparks controversy (англ.), The Guardian (1 апреля 2023). Дата обращения: 14 апреля 2023.
  12. ↑ Rigby, Jennifer. Bill Gates says calls to pause AI won't 'solve challenges' (англ.), Reuters (4 апреля 2023). Архивировано 4 апреля 2023 года. Дата обращения: 13 апреля 2023.
  13. ↑ Vincent, James OpenAI's CEO confirms the company isn't training GPT-5 and 'won't for some time' (англ.). The Verge (14 апреля 2023). Архивировано 23 октября 2025 года.
  14. ↑ Heath, Ryan. The great AI "pause" that wasn't (англ.), Axios (22 сентября 2023). Архивировано 2 декабря 2023 года.
  15. ↑ Introducing GPT-5. OpenAI (7 августа 2025). Дата обращения: 20 августа 2024. Архивировано 7 августа 2025 года.

Ссылки

Категории