АссистентНовый вопросИсторияОбласти знаний
Партнёрские проектыСпецпроектыСтать автором
Сменить язык
О РУВИКИ

Система вознаграждения

Систе́ма вознагражде́ния, или систе́ма вну́треннего подкрепле́ния (англ. reward system), — совокупность нейронных структур и нейрохимических механизмов мозга, обеспечивающих формирование положительных эмоциональных переживаний в ответ на действия, способствующие выживанию индивида и вида. Эволюционный смысл системы вознаграждения заключается в закреплении поведения, необходимого для поддержания гомеостаза и воспроизводства, — приёма пищи, спаривания, социального взаимодействия, избегания опасности. Система вознаграждения играет центральную роль в процессах мотивации, научения и принятия решений, а её дисфункция лежит в основе ряда психических расстройств[1].

Общие сведения
Система вознаграждения
англ. reward system
Область использования нейронаука, нейропсихология, клиническая психология
Дата появления 1954
Место появления США

Анатомическая организация

Ключевые структуры, образующие систему вознаграждения, локализованы преимущественно в подкорковых и фронтальных отделах головного мозга. Вентральная область покрышки (VTA) — скопление дофаминергических нейронов в среднем мозге, служащее основным источником дофамина для проекционных областей. Аксоны нейронов VTA проецируются в различные отделы переднего мозга по нескольким путям. Прилежащее ядро (nucleus accumbens, NAc) — структура вентрального стриатума, иногда называемая «центром удовольствия», интегрирующая информацию из различных областей мозга и управляющая целенаправленным поведением. Активация NAc преимущественно осуществляется дофамином, высвобождаемым дофаминергическими проекциями из VTA. Является центральным узлом обработки сигналов вознаграждения. Стриатум (полосатое тело) — включая дорсальный и вентральный отделы, участвует в контроле движений и пищевого поведения, а также в процессах, связанных с вознаграждением. Орбитофронтальная кора (ОФК) и вентромедиальная префронтальная кора (vmPFC) — области префронтальной коры, кодирующие субъективную ценность вознаграждения и участвующие в принятии решений на основе ожидаемых исходов. Согласно данным, полученным с использованием интракраниальной электроэнцефалографии (iEEG), орбитофронтальная и вентромедиальная префронтальная кора образуют подсистему вознаграждения с избыточными взаимодействиями, при этом вентромедиальная кора играет ведущую роль. Гиппокамп — структура, традиционно связываемая с памятью и обучением, также участвует в регуляции поведения, связанного с вознаграждением, взаимодействуя с прилежащим ядром. Миндалевидное тело (амигдала) — участвует в эмоциональной оценке стимулов, связанных с вознаграждением и наказанием.

Основные нейрональные пути, опосредующие передачу сигналов вознаграждения, включают мезолимбический путь (VTA → прилежащее ядро, миндалевидное тело, гиппокамп) и мезокортикальный путь (VTA → префронтальная кора). Эти структуры соединены двунаправленными цепями, обеспечивающими интеграцию информации о мотивационном значении стимулов и подготовку целенаправленного поведения[2][3].

Нейрохимические механизмы

Центральную роль в работе системы вознаграждения играет дофамин — нейромедиатор, высвобождаемый нейронами вентральной области покрышки и чёрной субстанции. Выброс дофамина в прилежащем ядре и других проекционных областях сопровождается переживанием удовольствия и формирует субъективную ценность вознаграждения.

Современные исследования показывают дифференцированную роль дофамина и серотонина в процессах, связанных с вознаграждением и наказанием. Мета-анализ 102 исследований на здоровых добровольцах выявил, что дофамин ассоциирован с усилением функций вознаграждения, включая обучение на основе вознаграждения и энергичность в получении вознаграждения, но не оказывает значимого влияния на переработку наказания. В отличие от этого, серотонин ассоциирован с функциями наказания, включая обучение на основе наказания и аверсивные павловские процессы. Обе системы влияют на дисконтирование вознаграждения, но в противоположных направлениях.

Однако дофамин не является единственным нейромедиатором, вовлечённым в процессы подкрепления. Исследования мезолимбического пути показывают, что дофаминовая, глутаматергическая и ГАМК-ергическая системы совместно модулируют активность нейронов VTA и NAc. Глутаматергическая передача в прилежащем ядре является значимым фактором в формировании влечения к наркотикам, а ГАМК-ергические нейроны обеспечивают тормозный контроль над дофаминовой активностью.

Значительную роль в модуляции системы вознаграждения играет эндоканнабиноидная система (ЭКС). Эндоканнабиноиды действуют на каннабиноидные рецепторы типа 1 (CB1), плотно распределённые в VTA и NAc, модулируя синаптическую передачу возбуждающих и тормозных входов. ЭКС участвует в формировании синаптической пластичности, включая долговременную депрессию и потенциацию в мезолимбическом контуре — процессах, лежащих в основе обучения, связанного с вознаграждением, и ассоциативной памяти. Кроме того, эндоканнабиноидная система взаимодействует с опиоидной и серотониновой системами, расширяя своё влияние на аффективные состояния и социальное поведение[2][4].

Функциональная архитектура

Предвосхищение и оценка вознаграждения

Нейроны системы вознаграждения кодируют несколько типов сигналов, связанных с вознаграждением. Сигналы предвосхищения возникают до получения вознаграждения и отражают его ожидаемую ценность. Они участвуют в мотивации и подготовке целенаправленного поведения. Сигналы результата возникают после получения вознаграждения и опосредуют процессы обучения, позволяя корректировать поведение в зависимости от исхода[5]/

Одним из ключевых нейрофизиологических механизмов является сигнал ошибки предсказания вознаграждения (reward prediction error, RPE) — гипотеза, согласно которой фазическая дофаминовая активность кодирует разницу между полученным и ожидаемым вознаграждением. Дофаминергические нейроны активируются, когда фактическое вознаграждение превышает ожидаемое, и подавляются, когда оно оказывается меньше ожидаемого. Этот механизм лежит в основе обучения с подкреплением и был впервые описан в исследованиях В. Шульца и коллег на приматах[6].

Современные нейрофизиологические исследования с интракраниальными записями у человека показывают, что функциональная специфичность корковых областей в отношении обучения на основе вознаграждения или наказания лучше различается на уровне взаимодействий между областями, чем на уровне локальных репрезентаций. Выделяются две подсистемы. Подсистема вознаграждения с избыточными взаимодействиями между орбитофронтальной и вентромедиальной префронтальной корой (ведущая роль вентромедиальной коры). Подсистема наказания с избыточными взаимодействиями между инсулярной и дорсолатеральной корой (ведущая роль инсулы). Переключение между обучением на основе вознаграждения и наказания опосредуется синергетическими взаимодействиями между этими двумя подсистемами[3].

Социальное вознаграждение

Социальные взаимодействия — от аффилиативных контактов до образования парных связей, также опосредуются системой вознаграждения. Исследования на грызунах показывают, что подкрепляющие свойства социальных взаимодействий вовлекают мезолимбическую дофаминовую систему. Внутреннее состояние организма (голод, жажда, социальная изоляция) модулирует мотивацию к социальному взаимодействию через воздействие на соответствующие нейронные цепи, а нейромодуляторные системы влияют на поведение поиска вознаграждения и нейронные контуры, лежащие в основе социального вознаграждения. Степень перекрытия нейронных механизмов социального и несоциального вознаграждения остаётся предметом дискуссий[7].

Онтогенетический аспект

Развитие системы вознаграждения в онтогенезе представляет собой сложный, гетерохронный процесс, в ходе которого функции мозга адаптируются к изменяющимся требованиям среды от младенчества до взрослого возраста. Понимание ранней переработки вознаграждения, по мнению исследователей, должно переосмысливаться в контексте возрастных переходов, учитывающих уникальные, специфические для возраста функции мозговых сетей, которые способствуют адаптивному поведению. Такой подход необходим для понимания того, как нарушения в процессах развития могут в конечном итоге проявляться в виде психопатологии.

Современные исследования показывают, что нейрональные цепи, лежащие в основе переработки вознаграждения, претерпевают существенные изменения на протяжении раннего онтогенеза, причём их функциональная организация в младенческом возрасте может существенно отличаться от организации у взрослых. В этот период повышенной пластичности нервной системы, когда паттерны синаптической связности между нейронными структурами только формируются, происходит взаимодействие генетических программ с факторами среды. Этот процесс обеспечивает адаптивную настройку организма к условиям существования. Ранний положительный опыт, включающий сенсорную стимуляцию и новизну, активирует дофаминергические и опиоидные системы, лежащие в основе чувствительности к инсентивному и консумматорному вознаграждению, и может приводить к долговременным структурным модификациям соответствующих нейронных цепей. Эффекты раннего положительного опыта зависят от онтогенетической стадии развития каждой из нейромедиаторных систем, что указывает на наличие «сензитивных периодов», в течение которых внешние воздействия оказывают наиболее выраженное влияние на формирование системы вознаграждения.

Критическое значение для понимания развития системы вознаграждения имеет различие между структурной зрелостью и функциональной эффективностью нейрональных цепей. В раннем онтогенезе нейрональная активность в структурах, которые впоследствии будут идентифицированы как компоненты системы вознаграждения (например, прилежащее ядро), может отражать процессы программирования мозга, а не функционирование взрослой системы.

Нарушения нормального хода онтогенетического развития системы вознаграждения, вызванные неблагоприятным ранним опытом, могут иметь долгосрочные последствия для психического здоровья. Так, исследования показывают, что дети, подвергшиеся жестокому обращению, демонстрируют изменения в поведенческих реакциях на вознаграждение. У детей с депрессивными расстройствами, перенёсших жестокое обращение, наблюдается склонность к выбору безопасных, а не рискованных вариантов. Ранняя болевая стимуляция у новорожденных также может нарушать нормальное развитие систем вознаграждения, приводя к характерным изменениям в поведении, связанном с вознаграждением. В подростковом возрасте, характеризующемся значительной перестройкой системы вознаграждения, индивидуальные различия в её функционировании ассоциированы с широким спектром психических расстройств, включая депрессию, расстройства, связанные с употреблением психоактивных веществ, и тревожные расстройства, причём эти ассоциации могут отражать как специфические для отдельных расстройств механизмы, так и общие трансдиагностические факторы[8].

Клиническое значение

Нарушения функционирования системы вознаграждения лежат в основе широкого спектра психических и неврологических расстройств. Зависимости (наркотическая, алкогольная, поведенческие аддикции) — характеризуются патологическим усилением сигналов вознаграждения в ответ на аддиктивный стимул и ослаблением контроля со стороны префронтальной коры. Хроническое воздействие психоактивных веществ вызывает структурную и синаптическую пластичность в мезолимбическом пути, что лежит в основе перехода от рекреационного употребления к компульсивной зависимости. Эти изменения затрагивают дофаминергическую, глутаматергическую и ГАМК-ергическую передачу. Исследования на животных моделях показывают, что эндоканнабиноидная система представляет собой перспективную терапевтическую мишень для лечения расстройств, связанных с употреблением психоактивных веществ, при этом разрабатываются стратегии модуляции CB1-рецепторов с использованием нейтральных антагонистов, аллостерических модуляторов и непрямых агонистов. Депрессия — сниженная реактивность системы вознаграждения проявляется ангедонией (утратой способности переживать удовольствие). Согласно вычислительным моделям обучения с подкреплением, депрессия может быть понята как расстройство обучения на основе обратной связи, при котором нарушена способность использовать положительное подкрепление для коррекции поведения. Шизофрения — гипотеза о нарушении дофаминовой передачи рассматривается в контексте позитивных и негативных симптомов. В рамках вычислительного подхода позитивные симптомы (психоз) могут быть следствием гиперактивности дофаминовых D2/D3-рецепторов в стриатуме, тогда как негативные симптомы могут отражать гиподофаминергические состояния в определённых контурах. Посттравматическое стрессовое расстройство (ПТСР) — может рассматриваться как расстройство обучения с подкреплением, где нарушены процессы переработки как вознаграждения, так и наказания. Вычислительные модели предлагают новый подход к пониманию этиологии ПТСР и эффективности экспозиционной терапии. Болезнь Паркинсона — дегенерация дофаминергических нейронов чёрной субстанции приводит к моторным нарушениям, а также изменениям в обработке вознаграждения и мотивации. Дисбалансы дофаминовой активности вносят значительный вклад в патофизиологию расстройств контроля импульсов, часто сопутствующих болезни Паркинсона[2][9].

Нейростероиды и модуляция дофаминовой системы

Нейростероиды (нейроактивные стероиды) играют важную модуляторную роль в дофаминовой системе. Эти эндогенные соединения, относящиеся к 5α-редуктазному пути, участвуют в патофизиологии нейропсихических расстройств, характеризующихся дисбалансом дофаминергической передачи, включая психотические фенотипы, моторные нарушения, нарушения принятия решений и аддикции.

Влияние нейростероидов на дофаминовую систему опосредовано несколькими механизмами, ключевым из которых является взаимодействие с ГАМК-рецепторами. Аллопрегнанолон, будучи мощным позитивным аллостерическим модулятором ГАМК-рецепторов, способен снижать вызванное высвобождение дофамина в прилежащем ядре и префронтальной коре, что подтверждается данными исследований с применением вольтамперометрии на животных моделях. Этот эффект зависит от дозы и пола: у самцов снижение дофаминовой передачи наблюдается при всех исследуемых дозах аллопрегнанолона, тогда как у самок чувствительность к нейростероиду модулируется эстральным циклом, причём в стадии проэструса (с высоким уровнем прогестерона) чувствительность оказывается сниженной. Помимо регуляции высвобождения, нейростероиды могут влиять на обратный захват и чувствительность дофаминовых рецепторов, а также модулировать экспрессию рецепторов через геномные механизмы[10][11].

Сравнительная нейробиология и эволюция

Исследования на плодовой мушке Drosophila melanogaster показывают высокую степень консервативности механизмов переработки вознаграждения в эволюции. Базовые моноаминергические нейромедиаторы, дофамин, серотонин и октопамин, играют центральную роль в кодировании вознаграждения у мух. Дофамин участвует в сенсорном восприятии, кодировании, реагировании и предсказании вознаграждения, тогда как серотонин и октопамин передают информацию о среде, влияющую на активность дофаминовых контуров.

У Drosophila структурные мотивы цепей вознаграждения обнаруживают повторяющиеся паттерны, что позволяет предположить наличие фундаментальных принципов организации систем вознаграждения, общих для всех животных. Круг естественных стимулов, воспринимаемых мухами как вознаграждение, включает сахар, воду, белки, социальное взаимодействие (копуляция) и алкоголь. Это сходство в функциональной архитектуре делает дрозофилу мощной моделью для понимания общих принципов работы систем вознаграждения[12].

Значение

Система вознаграждения представляет собой сложную, иерархически организованную нейронную сеть, интегрирующую дофаминергические, глутаматергические, ГАМК-ергические и эндоканнабиноидные сигналы для обеспечения адаптивного поведения. Современные исследования с использованием методов оптогенетики, функциональной нейровизуализации, интракраниальных записей и генетических моделей продолжают уточнять функциональную архитектуру системы вознаграждения и её роль в здоровье и патологии. Её изучение имеет фундаментальное значение для понимания механизмов мотивации, научения и принятия решений, а также для разработки стратегий лечения психических расстройств, связанных с дисфункцией процессов подкрепления. Понимание нейробиологических механизмов положительного и отрицательного подкрепления важно для разработки эффективных терапевтических стратегий в наркологии[13].

Примечания

  1. ↑ Schultz W., Tremblay L., Hollerman J. R. Reward prediction in primate basal ganglia and frontal cortex (англ.) // Neuropharmacology. — 1998. — Vol. 37, no. 4–5. — P. 421–429. — doi:10.1016/s0028-3908(98)00071-9.
  2. ↑ 1 2 3 Mohammad Navid Ebrahimi, Mohammad Banazadeh, Zahra Alitaneh, Ali Jaafari Suha, et al. The distribution of neurotransmitters in the brain circuitry: Mesolimbic pathway and addiction (англ.) // Physiology & Behavior. — 2024-10. — Vol. 284. — P. 114639. — ISSN 0031-9384. — doi:10.1016/j.physbeh.2024.114639.
  3. ↑ 1 2 Etienne Combrisson, Ruggero Basanisi, Maelle CM Gueguen, Sylvain Rheims, et al. Neural interactions in the human frontal cortex dissociate reward and punishment learning (англ.) // eLife. — 2024-06-28. — Vol. 12. — ISSN 2050-084X. — doi:10.7554/eLife.92938.
  4. ↑ Dan P. Covey, Yolanda Mateo, David Sulzer, Joseph F. Cheer, David M. Lovinger. Endocannabinoid modulation of dopamine neurotransmission (англ.) // Neuropharmacology. — 2017-09. — Vol. 124. — P. 52–61. — ISSN 0028-3908. — doi:10.1016/j.neuropharm.2017.04.033.
  5. ↑ Brittany Liebenow, Rachel Jones, Emily DiMarco, Jonathan D. Trattner, et al. Computational reinforcement learning, reward (and punishment), and dopamine in psychiatric disorders (англ.) // Frontiers in Psychiatry. — 2022-10-20. — Vol. 13. — ISSN 1664-0640. — doi:10.3389/fpsyt.2022.886297.
  6. ↑ Wolfram Schultz, Léon Tremblay, Jeffrey R Hollerman. Reward prediction in primate basal ganglia and frontal cortex (англ.) // Neuropharmacology. — 1998-04. — Vol. 37, iss. 4—5. — P. 421–429. — ISSN 0028-3908. — doi:10.1016/s0028-3908(98)00071-9.
  7. ↑ Jennifer Isaac, Malavika Murugan. Interconnected neural circuits mediating social reward (англ.) // Trends in Neurosciences. — 2024-12. — Vol. 47, iss. 12. — P. 1041–1054. — ISSN 0166-2236. — doi:10.1016/j.tins.2024.10.004.
  8. ↑ Maya Opendak, Heidi Meyer, Bridget L. Callaghan, Lior Abramson, et al. Understanding the development of a functional brain circuit: reward processing as an illustration (англ.) // Translational Psychiatry. — 2025-02-17. — Vol. 15, iss. 1. — ISSN 2158-3188. — doi:10.1038/s41398-025-03280-z.
  9. ↑ Brittany Liebenow, Rachel Jones, Emily DiMarco, Jonathan D. Trattner, et al. Computational reinforcement learning, reward (and punishment), and dopamine in psychiatric disorders (англ.) // Frontiers in Psychiatry. — 2022-10-20. — Vol. 13. — ISSN 1664-0640. — doi:10.3389/fpsyt.2022.886297.
  10. ↑ Minna H. McFarland, A. Leslie Morrow, Donita L. Robinson. Allopregnanolone Regulation of Phasic Dopamine Release and Motivated Behavior (англ.) // ACS Chemical Neuroscience. — 2025-05-09. — Vol. 16, iss. 10. — P. 1860–1871. — ISSN 1948-7193 1948-7193, 1948-7193. — doi:10.1021/acschemneuro.4c00774.
  11. ↑ Yukio Ago, Shigeru Hasebe, Naoki Hiramatsu, Kazuya Mori, et al. Involvement of GABAA receptors in 5-HT1A and σ1 receptor synergism on prefrontal dopaminergic transmission under circulating neurosteroid deficiency (англ.) // Psychopharmacology. — 2016-06-23. — Vol. 233, iss. 17. — P. 3125–3134. — ISSN 1432-2072 0033-3158, 1432-2072. — doi:10.1007/s00213-016-4353-3.
  12. ↑ Jiří Dvořáček, Dalibor Kodrík. Drosophila reward system - A summary of current knowledge (англ.) // Neuroscience & Biobehavioral Reviews. — 2021-04. — Vol. 123. — P. 301–319. — ISSN 0149-7634. — doi:10.1016/j.neubiorev.2020.12.032.
  13. ↑ Шевелева М. В., Лебедев А. А., Роик Р. О., Шабанов П. Д. Нейробиологические механизмы систем награды и наказания в головном мозге при активации прилежащего ядра // Обзоры по клинической фармакологии и лекарственной терапии. — 2013. — С. 3—14.

Литература

Категории