В 1923 году окончил Коммунистический университет трудящихся Востока имени И. В. Сталина (Москва). В 1924 году окончил Окружную военно-политическую школу имени К. Е. Ворошилова Северо-Кавказского военного округа, оставлен в ней преподавателем. Член ВКП(б) с 1924 года. В составе сводных отрядов курсантов этой школы участвовал в подавлении бандитизма в Чечне (август-сентябрь 1925), в Дагестане (сентябрь-октябрь 1926). С мая 1927 года — помощник военкома Отдельного сводного национального кавалерийского полка Северо-Кавказского ВО, с сентября 1927 — военком отдельного Дагестанского национального кавалерийского дивизиона, с мая 1929 — военком Отдельного национального кавалерийского полка имени С. Орджоникидзе, вместе с которым в 1930 году вновь участвовал в операциях против бандитизма в Чечне.
Во время службы в этом полку в 1931 году сдал экстерном экзамен за курс военной школы, в 1932 году окончил Курсы усовершенствования политического состава при Военно-политической академии РККА имени Н. Г. Толмачева (Ленинград). После их окончания ещё год служил на прежней должности в том же полку.
В 1935 году окончил разведывательные курсы при Разведывательном управлении РККА (Москва), после их окончания служил секретарём уполномоченного в Разведупре РККА.
Под псевдонимом «полковник Ксанти» участвовал в Гражданской войне в Испании с октября 1936 по сентябрь 1937 года. Военный советник штаба республиканской армии, советник Б. Дурутти и руководитель отрядов «герильерос» (диверсантов, «14-й корпус»). Участник обороны Мадрида. В советской и российской литературе встречаются утверждения о том, что Мамсуров послужил прототипом одного из героев романа Э. Хемингуэя «По ком звонит колокол»: Илья Эренбург полагал, что «многое из того, что Хемингуэй рассказал в романе „По ком звонит колокол“ о действиях партизан, он взял со слов Хаджи»[2], а Роман Кармен утверждал, что «два вечера Эрнест Хемингуэй просидел с ним в отеле „Флорида“ и впоследствии сделал смелого Хаджи прообразом одного из героев романа». Однако биограф Мамсурова М. Болтунов отмечает, что «Хемингуэй наделил чертами Хаджи Мамсурова многих героев своего романа», но о прямом его изображении в книге речь не идёт[3].
В апреле 1938 года назначен начальником спецотделения «А» Разведупра РККА, с мая 1939 года — начальник спецотдела в 5-м Управлении РККА.
С октября 1941 года — начальник разведывательного отдела Резервного фронта, после его расформирования с ноября — в Москве, начальник особой оперативной группы Главного разведывательного управления Генерального штаба РККА.
Военным Советом 1-го Украинского фронта он был назначен командиром батальона в сводном полку фронта, с которым 24 июня1945 года участвовал в Параде Победы.
С октября 1957 по 1968 год — начальник Центра особого назначения, одновременно с октября этого года — первый заместитель начальника ГРУ Генштаба Вооружённых Сил. С именем генерала Мамсурова связана внезапная отставка Г. К. Жукова с поста министра обороны в 1957 году. Согласно выступлению М. А. Суслова на пленуме ЦК КПСС 28 октября 1957 года:
Недавно Президиум ЦК узнал о том, что товарищ Жуков без ведома ЦК принял решение организовать школу диверсантов в две с лишним тысячи слушателей… О её организации должны были знать только три человека: Жуков, Штеменко и генерал Мамсуров, который был назначен начальником этой школы. Но генерал Мамсуров как коммунист счел своим долгом информировать ЦК об этом незаконном действии министра[4].
Эта версия событий оспаривается рядом специалистов — например, журналистом Л. Млечиным, полагающим, что «генерал всего лишь обратился в отдел административных органов ЦК КПСС с резонным вопросом, почему так долго его не утверждают в должности», однако те сотрудники, с которыми он имел дело, были не осведомлены о планах Жукова, а высшее руководство просто воспользовалось этой ситуацией как поводом для удаления маршала[5].
В селении Ольгинском Правобережного района Северной Осетии, где родился и вырос Мамсуров, открыт мемориальный дом-музей. Там же, во дворе средней школы, установлен памятник.
О Мамсурове сложена осетинская героическая песня: музыка Дудара Хаханова, слова Гиго Цагараева.
Герои Советского Союза: Краткий биографический словарь / Пред. ред. коллегии И. Н. Шкадов. — М.: Воениздат, 1988. — Т. 2 /Любов — Ящук/. — 863 с. — 100 000 экз. — ISBN 5-203-00536-2.
Великая Отечественная. Комдивы [Текст] : военный биографический словарь : в 5 т. / Д. А. Цапаев (рук.) и др. ; под общ. ред. В. П. Горемыкина. — М. : Кучково поле, 2011. — Т. 1. — С. 200—203. — 736 с. — 200 экз. — ISBN 978-5-9950-0189-8.
Батыров У. А. Гордость Осетии. — М.: Мегапир, 2005. — 286 с. ISBN 5-98501-017-1. («Посвящается светлой памяти И. Плиева, Г. Хатагурова, Х-У. Д. Мамсурова»).
Болтунов М. Е. Разведчики, изменившие мир / Михаил Болтунов. - Москва : Алгоритм, 2009. - 269,[2] с. ; 21 см. - (Щит и меч : к 90-летию ВЧК). - ISBN 978-5-9265-0606-5 (в пер.).
Болтунов М. Е. Тайная война разведупра. — М.: Вече, 2016. — 317 с. — (Гриф секретности снят).; ISBN 978-5-4444-4686-7.
Глушко Н. И. Наш комдив: [О Мамсурове Х. Д. ]. — Орджоникидзе: Ир, 1988. — 87 с.
Колпакиди А. И. ГРУ в Великой Отечественной войне. — М.: Яуза: Эксмо, 2010. — 608 с. — (ГРУ) — 3000 экз. — ISBN 978-5-699-41251-8.
Ларина В. И.Пример беззаветного служения Родине (Мамсуров Х. Дж.) // Их именами названы улицы. — Орджоникидзе: Ир, 1979. — С. 186—188.
Лота В. И. Сорвать «Эдельвейс»: советская военная разведка в битве за Кавказ (1942—1943). — М.: Кучково поле, 2010. — 590 с. — (Тайны спецслужб).; ISBN 978-5-9950-0081-5. — С.420—425.
Север А., Колпакиди А. Спецназ ГРУ: самая полная энциклопедия. — М.: Эксмо: Яуза, 2012. — 861 с. — (Большая энциклопедия Спецназа).; ISBN 978-5-699-55864-3. — С.267—271.
Генералы Великой Победы: Исса Плиев, Георгий Хетагуров, Хаджи-Умар Мамсуров. — Владикавказ: Ир, 2014. — 110 с. ISBN 978-5-7534-1390-1.