Родился в Девоне (Англия). В 1946 году стал самым молодым победителем чемпионата Англии среди любителей, и сразу после этого получил статус профессионала. Впервые выступил на чемпионате мира в 1947-м, но проиграл в квалификационном раунде Альберту Брауну, которого годом ранее Джон обыграл в финале любительского первенства. Палмен дважды появлялся в финалах чемпионата, в 1955 и 1956, но оба раза уступал не менее именитому Фреду Дэвису. Свой первый титул чемпиона англичанин получил в 1957 году, когда в финале победил Джейки Ри со счётом 39:34. Несмотря на то, что первенство мира не проводилось в последующие шесть лет, Палмену удалось сохранить своё звание на возобновлённом, «челленджном» турнире в 1964-м — он во второй раз за карьеру выиграл у Дэвиса, 19:16. Джон ещё шесть раз становился обладателем кубка чемпиона (последний — в 1968), перед тем как потерять своё звание в стартовом матче чемпионата 1969 года — тогда он проиграл своему соотечественнику — Джону Спенсеру — со счётом 18:25.[1]. Стоит заметить, что это был первый проигрыш Палмена с 1957-го года.
Он сумел снова выйти в финал в следующий раз, но был побеждён валлийцем Рэем Риардоном, 33:37. А в 1975 Джон выиграл новый турнир — Canadian Open.
Последнюю игру на чемпионате мира Палмен провёл в 1980-м — тогда он уступил в первом круге Джиму Вичу, 5:10. Джон ушёл из профессионалов через два года, после чего стал комментировать снукерные матчи на канале ITV.