После окончания школы он отправился в Лондон. Дебютировав в одном из лондонских театров в 1929 году, Миллс на протяжении 30-х годов выступал в многочисленных ревю, мюзиклах и полноценных театральных пьесах. Тогда же он познакомился с известным драматургом, актёром и сценаристом Ноэлем Кауардом, выступив в его ревю «Слова и музыка».
Его дебют в кино состоялся в 1932 году. Начав с проходных ролей в малобюджетных фильмах, он довольно скоро стал ведущим актёром. Среди его наиболее значительных довоенных картин исторический фильм «Роза Тюдоров» (1934) и мелодрама «До свидания, мистер Чипс» (1939) вместе с Робертом Донатом. В 1939 году он был призван в армию, но в 1942 году был комиссован из-за язвы двенадцатиперстной кишки. В последующем актёр сыграл немало военных разных чинов и родов войск. Одной из таких ролей стал матрос Шорти в фильме «В котором мы служим» (1942), который поставили его друг Ноэль Кауард и будущий классик британского кинематографа Дэвид Лин. В том же году он снялся у Кэрола Рида в «Молодом мистере Питте».
В 1946 году он сыграл главную роль в экранизации романа Чарльза Диккенса «Большие надежды», а затем национального героя, полярного исследователя, капитана Роберта Скотта в фильме «Скотт из Антарктики» (1948). В течение последующих десяти лет он играл преимущественно в военных фильмах, таких как «История Голдица» (1954), «Над нами волны» (1955) и «Трудный путь в Александрию» (1958). В этот период сформировался его герой: обыкновенный, заурядный человек, который, тем не менее, под давлением обстоятельств демонстрирует лучшие качества своей натуры: смелость, выдержку и преданность.
Миллсу удавалось показать противоречивость человеческого характера. Одной из лучших ролей такого рода стал батальонный командир Бэзил Бэрроу в психологической драме «Мелодии славы» (1960). Партнером Миллса по этому фильму стал прославленный Алек Гиннесс. За эту роль Миллс был удостоен премии за лучшую мужскую роль на Венецианском фестивале 1960 года.
Не менее интересны были и его роли второго плана — сапожник Уилл Моссоп в романтической комедии «Выбор Хобсона» (1953), частный детектив Альберт Паркис в романтической драме «Конец романа» (1955) по роману Грэма Грина, Платон Каратаев в экранизации романа Толстого «Война и мир» (1956) и многие другие.
В начале 60-х годов Миллс снялся в нескольких картинах вместе со своей младшей дочерью Хэйли: в криминальной драме «Тигровая бухта» (1959), семейной комедии «Ловушка для родителей» (1961), приключенческом фильме «Правда о весне» (1966), драме «Меловой сад» (1964) и комедийной драме «Дела семейные» (1966).
В 1970 году Миллс сыграл одну из самых известных своих ролей — деревенского дурачка Майкла в исторической драме «Дочь Райана», за которую он был удостоен премии «Оскар» как лучший актёр второго плана.
Все последующие годы актёр снимался в основном в маленьких характерных ролях и эпизодах. Среди наиболее известных фильмов с его участием: «О, что за чудесная война» (1969), «Леди Каролина Лэм» (1972), «Оклахома, как она есть» (1973), «Ганди» (1982).
Миллс также снимался и в телевизионных сериалах, самым известным среди них стал фантастический сериал «Квотермасс» (Quatermass) (1979), а также в киноверсии известного мюзикла «Кошки» в 1998 году.
В 2002 году режиссёр Маркус Диллистоун (Marcus Dillistone) снял документальный фильм «Воспоминания Джона Миллса», включающим интервью самого Миллса, его детей и режиссёра Ричарда Аттенборо, а также рассказы и сцены из его фильмов «Трудный путь в Александрию» и «Дюнкерк». В фильме также участвуют друзья и коллеги Миллса: актёры Лоренс Оливье, Уолт Дисней, Дэвид Найвен, Дирк Богард, Рекс Харрисон и другие.
Несмотря на ухудшающееся здоровье (в 1992 году он практически ослеп и плохо слышал) актёр продолжал появляться на экране до самой смерти.
В профессиональной среде он пользовался огромным авторитетом — он был членом совета Королевской академии драматического искусства, за свою долгую творческую жизнь он был удостоен самых высших наград.
Джон Миллс много лет прожил в особняке в Ричмонде, Лондон.
Его сестра, Аннета Миллс была известна по телевизионному сериалу Би-би-си «Muffin the Mule» (1946—1955).
Первой женой Миллса была актриса Эйлин Раймонд (Aileen Raymond). Они поженились в 1927 году и развелись в 1941.
Второй женой актёра стала драматург Мэри Хэйли Белл. Их брак, заключённый во время войны, в 1941, продолжался 64 года, до смерти Миллса в 2005 году. В 2001 году, в возрасте 89 и 92 лет счастливая пара решила наконец-то обвенчаться в церкви. У Миллсов было трое детей: две дочери: Джульетт Миллс и Хэйли Миллс, обе — известные британские актрисы, и сын Джонатан Миллс. Внук Миллса, Криспиан Миллс — музыкант, основатель инди-рок-группы Kula Shaker.
Он умер в возрасте 97 лет 23 апреля2005 года в Чилтерне, графство Бакингемшир от лёгочной инфекции. Его жена скончалась через несколько месяцев после мужа, 1 декабря 2005 года.