Moral Machine

Moral Machine — это онлайн-платформа, разработанная группой «Scalable Cooperation» Ияда Рахвана в Массачусетском технологическом институте (MIT), предназначенная для генерации моральных дилемм и сбора информации о том, какие решения принимают люди в ситуации выбора между двумя разрушительными исходами[1][2]. Платформа появилась благодаря идее Ияда Рахвана, а также социальных психологов Азима Шариффа и Жан-Франсуа Бонефона[3], которые разработали проект перед публикацией своей статьи об этике беспилотных автомобилей[4]. Ключевыми разработчиками платформы были аспиранты MIT Media Lab Эдмон Авад и Сохан Дсоуза.

Сценарии на платформе часто являются вариациями на тему проблемы вагонетки, а собранная информация используется для дальнейших исследований по вопросам, которые предстоит решать машинному интеллекту в будущем.[5][6][7][8][9] Например, по мере того как искусственный интеллект занимает всё более важное место в технологиях автономного вождения, исследования вроде Moral Machine помогают находить решения для сложных жизненных дилемм, с которыми столкнутся беспилотные автомобили[10].

Платформа Moral Machine работала с января 2016 года по июль 2020 года, однако сайт продолжает оставаться доступным для ознакомления[1].

Эксперимент

Moral Machine стал первым крупным проектом, использовавшим экспериментальный дизайн для тестирования большого количества людей — более чем в 200 странах мира. Исследование было одобрено наблюдательным советом Массачусетского технологического института[11][12].

Суть эксперимента заключалась в том, что участнику предлагалось принять решение по сценарию, в котором беспилотный автомобиль был готов сбить пешеходов. Пользователь должен был выбрать: свернуть, чтобы избежать наезда на пешеходов, или продолжить движение прямо, сохраняя жизни пассажиров.

Участник мог пройти любое количество сценариев, но сами сценарии генерировались группами по тринадцать. Один из них был полностью случайным, а остальные двенадцать выбирались из базы данных, содержащей 26 миллионов различных сценариев. При этом каждый сценарий включал по два дилеммы, фокусирующиеся на одной из шести осей моральных предпочтений: пол персонажа, возраст, физическое состояние, социальный статус, вид (человек или животное) и количество персонажей[11][12].

Структура эксперимента всегда оставалась одинаковой, но в каждом сценарии тестировался иной набор факторов, прежде всего — менялись персонажи: ребёнок в коляске, девочка, мальчик, беременная женщина, врач-мужчина, врач-женщина, спортсменка, руководительница, спортсмен, руководитель, крупная женщина, крупный мужчина, бездомный, пожилой мужчина, пожилая женщина, собака, преступник, кошка и др.[11]

Разнообразие персонажей позволило исследователям понять, как разные люди принимают решения в зависимости от характеристик ситуации.

Анализ

Платформа Moral Machine собрала 40 миллионов моральных решений от 4 миллионов участников из 233 стран[13][14], анализ которых выявил тенденции как внутри отдельных стран, так и в человечестве в целом. Тестировались девять факторов: предпочтение спасти людей или животных, пассажиров или пешеходов, мужчин или женщин, молодых или пожилых, здоровых или страдающих ожирением, представителей более высокого или низкого социального статуса, нарушителей или соблюдающих закон, большие или малые группы, а также бездействие (движение по прямой) либо сворачивание[12].

В целом участники предпочитали спасать жизни людей, а не животных (например, собак или кошек). Старались спасти большее число жизней и отдавали приоритет более молодым. Младенцев спасали чаще всего, кошек — реже всего. По половому признаку отмечалась тенденция спасать мужчин среди врачей и пожилых людей. Все страны в той или иной степени отдавали предпочтение пешеходам по сравнению с пассажирами, а также соблюдающим закон по сравнению с преступниками[15].

Участники из менее благополучных стран чаще спасали нарушающих правила пешеходов по сравнению с респондентами из более экономически развитых стран. Это объясняется особенностями жизни в среде, где законы исполняются нестрого. В странах с высоким уровнем экономического неравенства преобладало предпочтение спасать состоятельных людей по сравнению с бедными[12].

Культурные различия

Исследователи подразделили 130 стран с похожими результатами на три «культурных кластера». Северная Америка и европейские страны с преобладанием христианства проявили более высокое предпочтение бездействию со стороны водителя, а потому меньше склонялись к спасению пешеходов. Восточноазиатские и исламские страны, составляющие второй кластер, в меньшей степени готовы были спасать молодых по сравнению с другими группами, и в большей степени спасали законопослушных граждан. Страны Латинской Америки и франкоязычные проявляли большее предпочтение женщинам, молодым, физически здоровым и высокостатусным персонажам, но в меньшей степени — людям по сравнению с животными.[12][15]

В индивидуалистических культурах чаще спасали большие группы, а в коллективистских культурах — чаще склонялись спасать пожилых. Например, респонденты из Китая гораздо реже предпочитали спасать молодых по сравнению со средним мировым значением, в то время как в США средний участник проявлял более высокую склонность спасать молодёжь и крупные группы[12].

Применение данных

Результаты Moral Machine могут быть полезны проектировщикам беспилотных транспортных систем. Разработчикам важно учитывать, чтобы поведение таких автомобилей соответствовало моральным ценностям общества вокруг.[11][12]

Это осложняется сложностью человеческой природы, так как разные люди принимают решения, исходя из личных ценностей. Однако, собирая большие объёмы решений со всего мира, исследователи получают возможность выявлять культурные, социальные и национальные паттерны.

Другие возможности

Платформа Moral Machine стартовала в июне 2016 года. В октябре 2016 была добавлена возможность пройти опрос о демографических данных, политических взглядах и религиозных убеждениях участников. С ноября 2016 по март 2017 года сайт был поэтапно переведён на девять языков: арабский, китайский, французский, немецкий, японский, корейский, португальский, русский и испанский (помимо английского).[11]

Всего платформа предлагала четыре различных режима работы, при этом основной акцент делался на функции сбора данных, так называемый режим «Судья».[11]

Помимо предложенных сценариев, пользователи могли создавать собственные дилеммы для последующего оценивания другими людьми. Открытый доступ к данным предоставляется через интерактивную карту на сайте Moral Machine.

В научной литературе

Исследования Moral Machine проводились с различных точек зрения. Однако теологические работы по этой теме пока немногочисленны: по состоянию на начало 2020-х есть лишь две работы — одна с буддийской позицией,[16] вторая — с христианской[17].

Примечания

  1. 1 2 Driverless cars face a moral dilemma: Who lives and who dies? (англ.). Архивировано 16 февраля 2017 года. Дата обращения: 3 августа 2024.
  2. Brogan, Jacob. Should a Self-Driving Car Kill Two Jaywalkers or One Law-Abiding Citizen? (англ.) (11 августа 2016). Архивировано 15 февраля 2017 года. Дата обращения: 3 августа 2024.
  3. Awad, Edmond Inside the Moral Machine (англ.). Behavioural and Social Sciences at Nature Research (24 октября 2018). Дата обращения: 4 июля 2019. Архивировано 4 июля 2019 года.
  4. Bonnefon, Jean-François; Shariff, Azim; Rahwan, Iyad (24 июня 2016). “The social dilemma of autonomous vehicles”. Science [англ.]. 352 (6293): 1573—1576. DOI:10.1126/science.aaf2654. ISSN 0036-8075. PMID 27339987.
  5. Moral Machine (англ.). MIT Media Lab. Дата обращения: 16 февраля 2017. Архивировано 30 ноября 2016 года.
  6. MIT Seeks 'Moral' to the Story of Self-Driving Cars (англ.). Архивировано 20 октября 2025 года. Дата обращения: 16 февраля 2017.
  7. Clark, Bryan. MIT's 'Moral Machine' wants you to decide who dies in a self-driving car accident (англ.) (16 января 2017). Архивировано 17 января 2017 года. Дата обращения: 16 февраля 2017.
  8. MIT Game Asks Who Driverless Cars Should Kill (англ.). Архивировано 9 сентября 2025 года. Дата обращения: 16 февраля 2017.
  9. Constine, Josh Play this killer self-driving car ethics game. TechCrunch (4 октября 2016). Дата обращения: 16 февраля 2017. Архивировано 31 марта 2025 года.
  10. Chopra, Ajay What's Taking So Long for Driverless Cars to Go Mainstream? Fortune. Дата обращения: 1 августа 2017. Архивировано 26 апреля 2025 года.
  11. 1 2 3 4 5 6 Moral Machine. Moral Machine. Дата обращения: 13 апреля 2022.
  12. 1 2 3 4 5 6 7 Awad, Edmond; Dsouza, Sohan; Kim, Richard; Schulz, Jonathan; Henrich, Joseph; Shariff, Azim; Bonnefon, Jean-François; Rahwan, Iyad (24 октября 2018). “The Moral Machine experiment”. Nature. 563 (7729): 59—64. Bibcode:2018Natur.563...59A. DOI:10.1038/s41586-018-0637-6. PMID 30356211.
  13. Vincent, James Global preferences for who to save in self-driving car crashes revealed (англ.). The Verge. Vox Media (24 октября 2018). Дата обращения: 3 августа 2024. Архивировано 24 октября 2018 года.
  14. Karlsson, Carl-Johan (7 июля 2021). “What Sweden's Covid failure tells us about ageism”. Knowable Magazine. DOI:10.1146/knowable-070621-1. Дата обращения 2021-12-09.
  15. 1 2 Smith, Oliver A Huge Global Study On Driverless Car Ethics Found The Elderly Are Expendable (англ.). Forbes. Дата обращения: 3 августа 2024. Архивировано 8 января 2025 года.
  16. Hongladarom, Soraj. The ethics of AI and robotics: A buddhist viewpoint. — Lexington Books, 2020. — ISBN 978-1498597296.
  17. Crook, Nigel. Rise of the Moral Machine: Exploring Virtue Through a Robot's Eyes. — Nigel T. Crook, 2022. — ISBN 978-1739133900.

Ссылки