В 1926 году был назначен на должность помощника командира отдельной артиллерийской бригады, в марте 1927 года — на должность начальника штаба 2-й артиллерийской дивизии.
В 1929 году окончил курсы усовершенствования высшего начсостава.
С 1929 по 1932 годы служил на должностях заместителя начальника отдела, начальника сектора управления штаба РККА, заместителя инспектора артиллерии РККА В. Д. Грендаля и заместителя начальника штаба управления боевой подготовки Сухопутных войск.
Арестован 12 марта 1938 года. Обвинен в участии в военно-фашистском заговоре в РККА. Проходил по групповому делу вместе с другими высокопоставленными командирами ОКДВА, в том числе комдивамиЯ. З. Покусом и В. К. Васенцовичем и комбригами Н. И. Григорьевым и Ю. М. Шталем. Следствие вели сотрудники Особого отдела ОКДВА под руководством капитана госбезопасности Л. М. Хорошилкина. Фальсификация дела затянулась, в 1939 году следователи (в том числе и Хорошилкин) сами были арестованы и обвинены в фабрикации уголовных дел. В 1940 году дело, по которому проходил Стельмах, было прекращено, сам он был освобожден из тюрьмы 16 февраля 1940 года[2].
По поручению К. А. Мерецкова временно исполнял обязанности начальника штаба 7-й Отдельной армии. В своих воспоминаниях К. А. Мерецков писал[3]:
«На должность начальника штаба я назначил прибывшего со мной комбрига Г. Д. Стельмаха, поручив ему […] вернуть всех сотрудников штаба, находившихся в Волховской группе; срочно организовать разведку противника перед всем фронтом армии; установить связь с соединениями и отдельно действующими отрядами; наладить получение информации снизу и от соседей и обеспечить передачу приказов и распоряжений. Я всецело положился на опыт этого, уже проверенного раньше командира. Он блестяще справился со своими обязанностями. Это был высокообразованный человек, хорошо знавший военное дело и отличавшийся личной храбростью».
В декабре 1941 года Стельмах был наконец переаттестован в генерал-майоры РККА и назначен на должность начальника штаба Волховского фронта.
В тот день к моему НП на двух танках Т-34 прибыли начальник штаба Юго-Западного фронта генерал-майор Г. Д. Стельмах и начальник штаба 3-й гвардейской армии генерал-майор И. П. Крупенников. Они знали о положении дел на участке дивизии и дали ряд ценных советов. К сожалению, это была наша первая и последняя встреча. […] на обратном пути им не удалось проскочить через населённый пункт, занятый гитлеровцами: Стельмах был убит, а Крупенников попал в плен…[4]
Здесь может располагаться раздел, посвящённый памятникам, мемориальным доскам, объектам, названным в честь Героя. Помогите РУВИКИ, написав его.(30 ноября 2016)