Барто, Эндрю Герет

Изучал математику в Мичиганском университете, который окончил с отличием в 1970 году. Первоначально специализировался на корабельной инженерии, однако после изучения ряда работ Майкла Арбиба, Маккалока и Питтса заинтересовался методами моделирования работы мозга при помощи искусственных нейронных сетей. Пять лет спустя получил учёную степень в области информатики за диссертацию о клеточных автоматах^[5].

Постдокторантуру проходил в Колледже информатики и компьютерных наук Массачусетского университета в Амхерсте, куда поступил в 1977 году. В 1982 году стал доцентом, в 1991-м — профессором. С 2007 по 2011 год — заведующий кафедрой и основной преподаватель Программы по нейронаукам и поведению^[6]. В этот же период возглавлял (как соруководитель) Лабораторию автономного обучения, где были обоснованы несколько ключевых подходов и разработаны важнейшие технологии в области обучения с подкреплением.

За свою карьеру Эндри Барто выпустил 27 аспирантов, 13 из которых получили учёное звание профессора. В числе его учеников был другой известный специалист в области машинного обучения с подкреплением Ричард Саттон.

Барто и Саттон входили в группу исследователей, изучавших работу нейронов в мозге как основу для создания систем, имитирующих мыслительный процесс человека. Им удалось существенно развить идеи Гарри Клопфа — видного теоретика в области искусственного интеллекта — и предложить свою математическую концепцию («обучение с подкреплением»), которая стал ключевым элементом для создания современных систем искусственного интеллекта^[7].

Барто и Саттон модернизировали марковский процесс принятия решений для объяснения того, как агенты (алгоритмические сущности) принимают решения в стохастической среде таким образом, что и среда и награды могли бы оставаться неизвестными — такой метод позволил применить этот алгоритм к широкому кругу задач^[8]. Предложенный учёными подход совершенствовался и развивался, а первым крупным его применением стало создание программы AlphaGo, которая сумела обучиться игре в го и в 2016 году превзойти одного из сильнейших игроков мира^[7].

Труды Барто и Саттона широко известны во всем мире, сами учёные признаны основоположниками современного метода обучения с подкреплением, сделавшим возможным создание современных больших языковых моделей^[9].

Барто опубликовал более ста научных работ. Вместе с Ричардом Саттоном он является автором книги «Обучение с подкреплением: Введение», а также входит в редакторский коллектив книги «Справочник по обучению и приближённому динамическому программированию»^[10].

Барто является членом Американской ассоциации содействия развитию науки, старшим членом IEEE^[11], а также членом Американской ассоциации искусственного интеллекта и Общества нейронаук^[12].

Барто был удостоен награды Университета Массачусетса за достижения в области нейронаук в 2019 году, премии IEEE Neural Network Society Pioneer Award в 2004 году^[13] и IJCAI Award for Research Excellence в 2017 году. В его наградной цитате говорилось: «Профессор Барто признан за его новаторские и значимые исследования как в теории, так и в применении обучения с подкреплением»^[14].

В 2025 году Барто и Саттон удостоены премии Тьюринга «за разработку концептуальных и алгоритмических основ обучения с подкреплением»^[15][7][7].