После окончания университета был призван в армию, служил пилотом военно-транспортного самолета в нидерландских Королевских ВВС.
В 1975 году становится стажёром в информационном отделе министерства иностранных дел Нидерландов. В 1976 году, после прохождения годичного курса обучения для молодых дипломатов, назначается на два года в посольство Нидерландов в Гане. С 1978 по 1980 годы работал в Брюсселе в представительстве Нидерландов в НАТО. В 1980—1986 годах был личным секретарём министра иностранных дел Нидерландов.
С 1986 по 2002 год был депутатом нидерландского парламента от партии Христианско-демократический призыв. Дважды, в 1992—1997 и 2001—2002 годах возглавлял парламентскую комиссию по международным делам. В 1995—1997 годах занимал пост заместителя лидера ХДП, а с 1997 по 2001 год был лидером партии.
С 2002 по 2003 год — министр иностранных дел Нидерландов, по совместительству в 2003 году был председателем ОБСЕ.
В 2004 году занял пост генерального секретаря НАТО. 10 декабря 2006 года было принято решение продлить мандат де Хоп Схеффера до 2009 года. В 2009 году передал пост премьер-министру ДанииАндерсу Фогу Расмуссену.
При де Хоп Схеффере количество участников НАТО выросло с 19 до 28 стран, а в 2006 году стало известно намерение альянса со временем принять в свои ряды Грузию и Украину. В то время пока де Хоп Схеффер был генсеком НАТО, альянс активно участвовал в миротворческих операциях в Афганистане и Косово.