Начал тренерскую карьеру в 1961 году, возглавив тренерский штаб клуба «Бор». В 1965 году некоторое время был главным тренером сборной Югославии.
Впоследствии в течение 1965—1966 годов возглавлял тренерский штаб клуба «Партизан»[3], вывел клуб в финал Кубка Чемпионов, в котором не удалось обыграть мадридский «Реал», матч завершился со счетом 1:2[4]. В 1966 году принял предложение поработать в клубе «Фенербахче». Оставил стамбульскую команду в 1967 году, однако практически всю дальнейшую тренерскую карьеру связал с Турцией.
В течение одного года, начиная с 1969, был главным тренером сборной Турции. В 1972 году был приглашен руководством клуба «Бешикташ» возглавить клуб, с которым проработал до 1973 года.
С 1974 и по 1975 год возглавлял тренерский штаб команды «Бурсаспор». В 1975 году стал главным тренером клуба «Фенербахче», тренировал стамбульскую команду один год.
В течение тренерской карьеры также возглавлял команды клубов «Раднички» (Ниш), «Эскишехирспор», «Адана Деирспор», «Аданаспор» и «Самсунспор»[5].
Последним местом тренерской работы был клуб «Эскишехирспор», главным тренером команды которого Абдулах Гегич был в течение 1983 года.