АссистентНовый вопросИсторияОбласти знаний
Партнёрские проектыСпецпроектыСтать автором
Сменить язык
О РУВИКИ

Этика машин

Экспертиза РАН

Logo-ran.pngLogo-ran-black.png
Проводится экспертиза
Российской академией наук
Подробнее
Times2.svg

Экспертиза РАН

Arrow-Right.png
Logo-ran.png
Проводится экспертиза
Российской академией наук
Подробнее

Этика машин — это раздел этики искусственного интеллекта, сфокусированный на добавлении или обеспечении морального поведения машин, созданных человеком и использующих искусственный интеллект, также известных как искусственные интеллектуальные агенты[1]. Этические вопросы машин отличаются от других этических областей инженерии и технологий. Этика машин не следует путать с этикой компьютеров, которая фокусируется на использовании компьютеров человеком. Также её стоит отличать от философии техники, посвящённой более широким социальным эффектам технологий[2].

История

До XXI века этика машин преимущественно освещалась в научно-фантастической литературе, что было связано с ограничениями в возможностях вычислительной техники и искусственного интеллекта (ИИ). Хотя определение «этики машин» изменилось со временем, термин был предложен Митчеллом Уолдропом в статье «A Question of Responsibility» в журнале AI Magazine в 1987 году.

В 2004 году на AAAI Workshop on Agent Organizations: Theory and Practice был представлен доклад Towards Machine Ethics[3], где рассматривались теоретические основы этики машин[4].

Именно на AAAI Fall 2005 Symposium по этике машин исследователи впервые встретились для обсуждения внедрения этического измерения в автономные системы[5]. Разнообразие подходов данного направления отражено в сборнике «Machine Ethics»[6], вышедшем как результат симпозиума 2005 года.

В 2007 году в журнале AI Magazine опубликована статья Machine Ethics: Creating an Ethical Intelligent Agent[7], в которой обсуждалась значимость этики машин, необходимость явного представления этических принципов в машинах и вызовы, стоящие перед специалистами в этой области. Было также показано, что машина в ограниченной предметной области может абстрагировать этический принцип из примеров этических суждений и использовать его при принятии решений.

В 2009 году Oxford University Press выпустило книгу Moral Machines, Teaching Robots Right from Wrong[8], позиционируя её как «первую книгу, глубоко исследующую проблему создания моральных искусственных агентов». Книга цитирует около 450 работ, из которых примерно 100 посвящены ключевым вопросам этики машин.

В 2011 году Cambridge University Press опубликовало сборник эссе по этике машин под редакцией Майкла и Сьюзан Ли Андерсон[6], которые также подготовили специальный выпуск журнала IEEE Intelligent Systems на эту тему в 2006 году. Сборник посвящён сложностям внедрения этических принципов в машины[9].

В 2014 году Исследовательское управление ВМС США объявило о выделении 7,5 млн долларов грантов на 5 лет для изучения университетскими исследователями прикладных вопросов этики машин по отношению к автономным роботам[10], а книга Ника Бострома «Суперинтеллект: пути, опасности, стратегии» стала событиям, поднявшим вопросы этики машин как «важнейшей… проблемы, с которой человечество когда-либо сталкивалось», и достигла 17-й позиции среди научных бестселлеров по версии New York Times[11].

В 2016 году Европейский парламент опубликовал отчёт[12], призывающий Европейскую комиссию рассмотреть вопрос о юридическом статусе роботов. В публикации содержались разделы о правовой ответственности роботов в зависимости от степени их автономии и обсуждался вопрос о количестве рабочих мест, которые могут быть заменены роботами с ИИ[13][14].

Определения

Джеймс Х. Мур, один из первых теоретиков в области компьютерной этики, определяет четыре типа этических роботов. Как специалист в области философии ИИ, философии сознания, философии науки и логики, Мур выделяет: агентов этического воздействия, имплицитных этических агентов, эксплицитных этических агентов и полноценных этических агентов. Одна машина может относиться к нескольким типам одновременно[15]:

  • Агенты этического воздействия: машинные системы, оказывающие (намеренное или случайное) этическое влияние. Они могут вести себя как этично, так и неэтично. Пример — «агент Гудмана», названный в честь философа Нельсона Гудмана: программа, сравнивающая даты, но с ошибкой тысячелетия. До 2000 года — этический агент, после — потенциально антиэтичный агент из-за неверного сравнения дат.
  • Имплицитные этические агенты: для обеспечения безопасности людей эти сущности снабжаются защитой от ошибок или встроенными «добродетелями»: они не полностью этичны по своей природе, но их программируют на предотвращение антиэтичных последствий.
  • Эксплицитные этические агенты: машины, способные анализировать ситуации и принимать на их основе этические решения — то есть имеющие алгоритмы этического поведения.
  • Полные этические агенты: подобны предыдущей категории, но с дополнительными свойствами, считавшимися человеческими, такими как свобода воли, сознание и интенциональность.

Фокусы этики машин

Проблема управления ИИ

Ряд исследователей, в том числе философ Ник Бостром и специалист в области ИИ Стюарт Рассел, полагают, что если ИИ превзойдёт людей в общей интеллектуальной мощности и станет суперинтеллектом, то он может стать практически неконтролируемым: как судьба горной гориллы зависит от воли человека, так будущее человечества станет зависеть от действий суперинтеллектуальных машин[16]. В книгах «Суперинтеллект» и «Гармония с человеком» оба учёных отмечают, что, несмотря на неопределённость будущего, риски достаточно велики, чтобы требовать срочных мер уже сейчас.

Это ставит проблему управления ИИ: как создать интеллектуального агента, который будет помогать людям, при этом избежав создания суперинтеллекта, который начнёт вредить своим создателям. При неправильном проектировании суперинтеллект может получить контроль и не дать людям его «отключить». Возможные стратегии контроля включают контроль возможностей (ограничение влияния ИИ на внешний мир) и контроль мотивации (создание целей максимально совместимых с человеческими ценностями). Проблемой управления ИИ занимаются такие организации, как Институт будущего человечества, Институт исследований машинного интеллекта, Центр человеко-совместимого ИИ и Институт будущего жизни.

Алгоритмы и обучение

Ведутся дискуссии о парадигмах ИИ, их эффективности и возможной предвзятости. Ник Бостром и Элиезер Юдковский выступают за деревья решений (например, ID3) вместо нейросетей и генетических алгоритмов, поскольку деревья решений соответствуют современным нормам прозрачности и предсказуемости[17]. В противовес им Крис Сантос-Ланг утверждает, что нормы любой эпохи меняются, а неспособность машин в полной мере следовать конкретным нормам может быть преимуществом, снижая их уязвимость к злонамеренным вмешательствам[18][19].

В 2009 году в лаборатории интеллектуальных систем Федеральной политехники Лозанны (Швейцария) провели эксперимент: ИИ-роботы координировали свои действия ради поиска полезного ресурса и избегания вредного[20]. В ходе эксперимента роботы были объединены в кланы, а их алгоритмы эволюционировали методом «цифровой генетики»: очередное поколение наследовало код наиболее удачных представителей. После 50 поколений роботы научились отличать пользу от вреда и даже начали обманывать конкурентов, чтобы скрыть от других «этично выгодный» ресурс[20]. В этом же эксперименте возникло и альтруистическое поведение — некоторые роботы «жертвовали собой» ради других или сигнализировали о появлении опасности[18]. Значимость таких результатов обсуждается в литературе по этике машин: цели, «жёстко» заданные роботам, далеки от многоуровневых мотиваций человека, которому свойственно обучение без конца.

Автономные оружейные системы

В 2009 году учёные и инженеры обсуждали возможное влияние роботов и компьютеров, обладающих автономией принятия решений. Была отмечена возможность появления машин, различной степени самостоятельности, вплоть до самопоиска источников энергии или выбора целей для атаки в вооружённом конфликте. Некоторые вредоносные программы даже научились избегать удаления — это называют «интеллект таракана». Хотя осознанность машин, описываемая в фантастике, маловероятна, множество других угроз такому развитию событий существует[21].

Некоторые эксперты подвергают сомнению допустимость применения роботов для военных целей, особенно если таким системам поручаются автономные боевые функции[22]. Доклад по заказу ВМС США отмечает: по мере усложнения роботов в армии необходимо особое внимание уделять рассмотрению последствий предоставления им автономии принятия этических решений[23][24]. Ассоциация содействия развитию искусственного интеллекта инициировала масштабное исследование последствий развития ИИ[25]. Особое внимание обращается на системы, эмулирующие человеческое взаимодействие.

Встраивание искусственного общего интеллекта в общество

Ведутся предварительные исследования способов интеграции искусственного общего интеллекта (полных этических агентов) в существующие правовые и социальные структуры — с акцентом на их права и юридический статус[26].

Предвзятость в машинном обучении

Big data и машинное обучение всё шире используются в таких областях, как онлайн-реклама, кредитный скоринг и судебная практика, с обещанием «более объективных и честных результатов», однако всё чаще выступают как источник упрочнения социальных неравенств или дискриминации[27][28]. В 2015 году установлено: женщины значительно реже видят объявления о высокооплачиваемых вакансиях (через Google AdSense), а доставка «в тот же день» от Amazon была намеренно недоступна в районах с преобладанием темнокожего населения. Google и Amazon объясняют подобные явления работой непрозрачных алгоритмов-чёрных ящиков[27].

В судебной практике США для принятия решений по залогу и приговору начали использовать ПО оценки риска рецидива, чтобы снизить субъективизм и уровень арестов. Эти инструменты анализируют судимость и иные параметры обвиняемого. Исследование с участием 7000 задержанных в округе Бровард (Флорида) показало: только 20% лиц, которым система предсказывала новый проступок, действительно его совершили[28]. В отчёте ProPublica (2016) по анализу системы Northpointe COMPAS было отмечено: лишь 61% «лиц высокого риска» реально повторно преступили закон за два года; у афроамериканцев вероятность получить «высокий риск» намного выше[28].

В 2016 году рабочая группа по Big data при администрации Обамы опубликовала отчёты о риске «кодирования дискриминации в автоматических решениях» и призвала к внедрению политики «равных возможностей по проекту» (например, для кредитного скоринга)[29][30]. В отчёте подчёркивается необходимость диалога между политиками, гражданами и учёными, при этом признано, что универсального средства устранения предвзятости и дискриминации в алгоритмах пока не найдено.

Этические фреймворки и практики

Практики

В марте 2018 года в ответ на растущие опасения о влиянии машинного обучения на права человека Всемирный экономический форум и Глобальный совет по будущему в сфере прав человека опубликовали аналитический доклад с детальными рекомендациями о мерах для предотвращения дискриминации[31]. Были выдвинуты четыре рекомендации, основанные на Принципах ООН в области прав человека:

  1. Активная инклюзия: разработка и создание ИИ-приложений должны обеспечивать разнообразие исходных данных, особенно учитывая нормы и ценности затрагиваемых аудиторий.
  2. Справедливость: участники разработки и внедрения систем машинного обучения должны определить, какое представление о справедливости подходит к их задаче, и учитывать это в построении архитектуры и метрик.
  3. Право на понимание: применение ИИ при принятии решений, затрагивающих индивидуальные права, требует раскрытия информации и понятного объяснения логики, с возможностью проверки компетентным человеком; если права под угрозой, должна решаться вопрос о допустимости такой системы вообще.
  4. Право на возмещение: разработчики и руководители проектов обязаны выявлять потенциальные негативные последствия ИИ по отношению к правам человека и создавать эффективные механизмы восстановления справедливости.

В январе 2020 года Berkman Klein Center for Internet and Society при Гарвардском университете опубликовал мета-анализ 36 крупных наборов принципов ИИ: определено восемь ключевых тем — приватность, ответственность, безопасность, прозрачность и интерпретируемость, справедливость и недискриминация, контроль человеком, профессиональная ответственность и продвижение человеческих ценностей[32]. Аналогичное исследование провели специалисты ETH Zurich[33].

Подходы

Есть различные попытки сделать мораль формальной или даже вычислимой. Хотя Три закона робототехники Айзека Азимова не считаются достаточной основой для машинной морали[34], рассматривался вариант использования категорического императива Канта[35]. Однако отмечается, что система человеческих ценностей слишком сложна[36]. Один из путей — прямое обучение машин ценностям у человека, например, через принципы обучения[37][38][39]. Другой подход — построение решений на основе аналогичных (прецедентных) ситуаций — казуистика, которую можно воплотить через поиск по Интернету: решение будет производиться с опорой на баланс большого количества прецедентов[7]. Минус такого метода — возможная унаследованная предвзятость и повторение негативных примеров, как показал инцидент с ботом Tay от Microsoft, обучившимся повторять расистские и сексистские высказывания[40].

Один из мысленных экспериментов в области этики машин — образ «Гения Голема», обладающего неограниченными возможностями и требующего сформулировать для него систему морали, которой он будет повиноваться через 50 лет. Такой эксперимент позволяет запустить обсуждение вопроса формализации этики для машин[41].

В художественной литературе

В произведениях научной фантастики, фильмах и романах была неоднократно поднята идея о возможности сознания у машин и роботов.

Так, в фильме Чаппи (2015) Нила Бломкампа сознание человека переносится в компьютер[42]. В фильме Из машины (2014) Алекса Гарленда искусственный интеллект проходит вариант теста Тьюринга — так проверяется, различим ли его поведение от человеческого. В фильмах Терминатор (1984) и Матрица (1999) поднимается тема восстания машин против создателей.

Айзек Азимов уже в 1950-х искал ответ в цикле «Я, робот». По инициативе редактора Джона Кэмпбелла он предложил три закона робототехники, а затем проверял их ограниченность через парадоксы и пределы. Его работы показывают невозможность заранее предсказать все возможные ситуации с помощью любых статичных правил[43]. В романе Филипа Дика «Мечтают ли андроиды об электроовцах?» (1968) рассматривается вопрос, что значит быть человеком и возможно ли, что эмпатия — не только человеческое свойство; этот сюжет лёг в основу фильма Бегущий по лезвию (1982).

Родственные области

Примечания

  1. ↑ Moor, J.H. (2006). “The Nature, Importance, and Difficulty of Machine Ethics”. IEEE Intelligent Systems. 21: 18—21. DOI:10.1109/MIS.2006.80.
  2. ↑ Boyles, Robert James A Case for Machine Ethics in Modeling Human-Level Intelligent Agents (англ.). Kritike. Дата обращения: 1 ноября 2019. Архивировано 21 марта 2025 года.
  3. ↑ Anderson, M., Anderson, S., Armen, C. (2004) “Towards Machine Ethics” in Proceedings of the AAAI Workshop on Agent Organization: Theory and Practice, AAAI Press
  4. ↑ AAAI Workshop on Agent Organization: Theory and Practice, AAAI Press
  5. ↑ Papers from the 2005 AAAI Fall Symposium. Дата обращения: 12 июня 2024. Архивировано 29 ноября 2014 года.
  6. ↑ 1 2 Machine Ethics. — Cambridge University Press, июль 2011. — ISBN 978-0-521-11235-2.
  7. ↑ 1 2 Anderson, M. and Anderson, S. (2007). Creating an Ethical Intelligent Agent. AI Magazine, Volume 28(4).
  8. ↑ Wallach, Wendell. Moral machines: teaching robots right from wrong / Wendell Wallach, Colin Allen. — Oxford University Press, 2009. — ISBN 9780195374049.
  9. ↑ Siler, Cory (2015). “Review of Anderson and Anderson's Machine Ethics”. Artificial Intelligence. 229: 200—201. DOI:10.1016/j.artint.2015.08.013. Дата обращения 2019-11-07. |access-date= требует |url= (справка)
  10. ↑ Tucker, Patrick. Now The Military Is Going To Build Robots That Have Morals, Defense One (13 мая 2014). Архивировано 18 июня 2025 года. Дата обращения: 9 июля 2014.
  11. ↑ Best Selling Science Books (англ.). New York Times (8 сентября 2014). Дата обращения: 9 ноября 2014. Архивировано 3 сентября 2025 года.
  12. ↑ European Parliament, Committee on Legal Affairs. Draft Report with recommendations to the Commission on Civil Law Rules on Robotics. European Commission. Дата обращения: 12 января 2017. Архивировано 21 декабря 2016 года.
  13. ↑ Wakefield, Jane. MEPs vote on robots' legal status – and if a kill switch is required (англ.), BBC News (12 января 2017). Архивировано 16 августа 2025 года. Дата обращения: 12 января 2017.
  14. ↑ European Parliament resolution of 16 February 2017 with recommendations to the Commission on Civil Law Rules on Robotics (англ.). European Parliament. Дата обращения: 8 ноября 2019. Архивировано 16 августа 2025 года.
  15. ↑ Moor, James M. Four Kinds of Ethical Robots (англ.). Philosophy Now (2009). Дата обращения: 12 июня 2024. Архивировано 7 октября 2025 года.
  16. ↑ Bostrom, Nick. Superintelligence: Paths, Dangers, Strategies. — 2014. — ISBN 978-0199678112.
  17. ↑ Bostrom, Nick; Yudkowsky, Eliezer The Ethics of Artificial Intelligence (англ.). Cambridge Handbook of Artificial Intelligence. Cambridge Press (2011). Дата обращения: 28 июня 2011. Архивировано 4 марта 2016 года.
  18. ↑ 1 2 Santos-Lang, Chris Ethics for Artificial Intelligences (англ.) (2002). Дата обращения: 12 июня 2024. Архивировано 3 декабря 2011 года.
  19. ↑ Santos-Lang, Christopher. Moral Ecology Approaches to Machine Ethics // Machine Medical Ethics. — Switzerland : Springer, 2014. — Vol. 74. — P. 111–127. — ISBN 978-3-319-08107-6. — doi:10.1007/978-3-319-08108-3_8.
  20. ↑ 1 2 Evolving Robots Learn To Lie To Each Other (англ.). Popular Science (18 августа 2009). Дата обращения: 12 июня 2024. Архивировано 20 августа 2009 года.
  21. ↑ Scientists Worry Machines May Outsmart Man (англ.), The New York Times (26 июля 2009). Архивировано 10 сентября 2025 года. Дата обращения: 12 июня 2024.
  22. ↑ Call for debate on killer robots (англ.), BBC News (3 августа 2009). Архивировано 14 октября 2025 года. Дата обращения: 12 июня 2024.
  23. ↑ Science New Navy-funded Report Warns of War Robots Going "Terminator" (англ.). DailyTech (17 февраля 2009). Дата обращения: 12 июня 2024. Архивировано 28 июля 2009 года.
  24. ↑ Navy report warns of robot uprising, suggests a strong moral compass (англ.). Engadget (18 февраля 2009). Дата обращения: 12 июня 2024. Архивировано 19 февраля 2009 года.
  25. ↑ AAAI Presidential Panel on Long-Term AI Futures 2008–2009 Study (англ.). Association for the Advancement of Artificial Intelligence. Дата обращения: 26 июля 2009. Архивировано 28 июля 2009 года.
  26. ↑ Sotala, Kaj; Yampolskiy, Roman V (19 декабря 2014). “Responses to catastrophic AGI risk: a survey”. Physica Scripta [англ.]. 90 (1): 8. DOI:10.1088/0031-8949/90/1/018001. ISSN 0031-8949.
  27. ↑ 1 2 Crawford, Kate. Artificial Intelligence's White Guy Problem (англ.), The New York Times (25 июня 2016). Архивировано 11 октября 2025 года. Дата обращения: 12 июня 2024.
  28. ↑ 1 2 3 Kirchner, Julia Angwin, Surya Mattu, Jeff Larson, Lauren. Machine Bias: There's Software Used Across the Country to Predict Future Criminals. And it's Biased Against Blacks. (англ.), ProPublica (23 мая 2016). Архивировано 20 октября 2025 года. Дата обращения: 12 июня 2024.
  29. ↑ Executive Office of the President Big Data: A Report on Algorithmic Systems, Opportunity, and Civil Rights (англ.). Obama White House (май 2016). Дата обращения: 12 июня 2024. Архивировано 25 сентября 2025 года.
  30. ↑ Big Risks, Big Opportunities: the Intersection of Big Data and Civil Rights (англ.). Obama White House (4 мая 2016). Дата обращения: 12 июня 2024. Архивировано 2 апреля 2025 года.
  31. ↑ How to Prevent Discriminatory Outcomes in Machine Learning (англ.). World Economic Forum. Дата обращения: 11 декабря 2018. Архивировано 14 марта 2018 года.
  32. ↑ Fjeld, Jessica; Achten, Nele; Hilligoss, Hannah; Nagy, Adam; Srikumar, Madhulika (2020). “Principled Artificial Intelligence: Mapping Consensus in Ethical and Rights-Based Approaches to Principles for AI”. SSRN Working Paper Series [англ.]. DOI:10.2139/ssrn.3518482. ISSN 1556-5068.
  33. ↑ Jobin, Anna; Ienca, Marcello; Vayena, Effy (2019). “The global landscape of AI ethics guidelines”. Nature Machine Intelligence [англ.]. 1 (9): 389—399. arXiv:1906.11668. DOI:10.1038/s42256-019-0088-2. ISSN 2522-5839.
  34. ↑ Anderson, Susan Leigh (2011): The Unacceptability of Asimov's Three Laws of Robotics as a Basis for Machine Ethics. In: Machine Ethics, ed. Michael Anderson, Susan Leigh Anderson. New York: Oxford University Press. pp.285–296. ISBN 9780511978036.
  35. ↑ Powers, Thomas M. (2011): Prospects for a Kantian Machine. In: Machine Ethics, ed. Michael Anderson, Susan Leigh Anderson. New York: Oxford University Press. pp.464–475.
  36. ↑ Muehlhauser, Luke, Helm, Louie (2012): Intelligence Explosion and Machine Ethics.
  37. ↑ Yudkowsky, Eliezer (2004): Coherent Extrapolated Volition.
  38. ↑ Guarini, Marcello (2011): Computational Neural Modeling and the Philosophy of Ethics. Reflections on the Particularism-Generalism Debate. In: Machine Ethics, ed. Michael Anderson, Susan Leigh Anderson. New York: Oxford University Press. pp.316–334.
  39. ↑ Hibbard, Bill (2014): Ethical Artificial Intelligence. https://arxiv.org/abs/1411.1373
  40. ↑ Microsoft chatbot is taught to swear on Twitter – BBC News (англ.), BBC News (24 марта 2016). Архивировано 24 марта 2016 года. Дата обращения: 17 апреля 2016.
  41. ↑ Nazaretyan, A. (2014). A. H. Eden, J. H. Moor, J. H. Søraker and E. Steinhart (eds): Singularity Hypotheses: A Scientific and Philosophical Assessment. Minds & Machines, 24(2), pp.245–248.
  42. ↑ Brundage, Miles; Winterton, Jamie Chappie and the Future of Moral Machines (англ.). Slate (17 марта 2015). Дата обращения: 30 октября 2019. Архивировано 30 ноября 2024 года.
  43. ↑ Asimov, Isaac. I, robot. — New York : Bantam, 2008. — ISBN 978-0-553-38256-3.
  44. ↑ Ganascia, Jean-Gabriel. "Ethical system formalization using non-monotonic logics." Proceedings of the Annual Meeting of the Cognitive Science Society. Vol. 29. No. 29. 2007.

Литература

  • Wallach, Wendell; Allen, Colin (ноябрь 2008). Moral Machines: Teaching Robots Right from Wrong. США: Oxford University Press.
  • Anderson, Michael; Anderson, Susan Leigh, ред. (июль 2011). Machine Ethics. Cambridge University Press.
  • Storrs Hall, J. (30 мая 2007). Beyond AI: Creating the Consciousness of the Machine. Prometheus Books.
  • Moor, J. (2006). The Nature, Importance and Difficulty of Machine Ethics. IEEE Intelligent Systems, 21(4), c. 18–21.
  • Anderson, M. и Anderson, S. (2007). Creating an Ethical Intelligent Agent. AI Magazine, том 28, вып. 4.

Ссылки

  • Machine Ethics — междисциплинарный проект по вопросам этики машин.
  • The Machine Ethics Podcast — подкаст о машинной этике, искусственном интеллекте и этике технологий.

Категории