Родился 14 января 1909 года в городе Ла-Кросс в Висконсине (США) под именем Джозеф Уолтон Лоузи III. Его дед, которого также звали Джозеф Уолтон Лоузи (1834—1901), был известным в Ла-Кроссе адвокатом, в честь которого названа одна из главных улиц города и установлена мемориальная арка[3]. Отец, Джозеф Уолтон Лоузи-младший (1879—1925), также планировал стать юристом, но в связи со смертью отца бросил учёбу в Принстоне и вернулся в Ла-Кросс, где работал на железной дороге[4]. В 1907 году он женился на Ине Лоузи (в девичестве — Хигби) (1880—1958). Джозеф Лоузи III был их первенцем. У Джозефа также была младшая сестра Мэри Луиз Лоузи, родившаяся в 1911 году.
В детстве много болел, страдал астмой[4]. В Ла Кроссе учился в одной школе с будущим известным кинорежиссёром Николасом Рэем. В 1925 году в результате осложнения аппендицита умер отец Лоузи[5]. В этом же году Джозеф окончил школу и благодаря наследству от крестного смог поступить в Дартмутский колледж[4]. После двух лет изучения медицины, увлёкшись студенческим театром, где он играл в пьесах и работал за кулисами, Лоузи поменял направление на гуманитарные науки[4]. После получения степени бакалавра в Дартмуте в 1929 году поступил в магистратуру Гарвардского университета, которую окончил в 1930 году со степенью магистра по английской литературе[4].
В 1930 году переезжает в Нью-Йорк, где начинает писать театральные и книжные обзоры и рецензии для таких изданий как «The New York Times», «Theatre Magazine» и «The Saturday Review of Literature»[5]. Фактически случайно Лоузи принял участие в бродвейской постановке «Гранд-отель» в качестве ассистента помощника режиссёра[4][5]. В 1931 году ему выдалась возможность вновь поехать в Европу (где он впервые побывал в 1928 году). На этот раз он посетил Париж, Германию и Лондон. В Лондоне через друзей он получил работу помощника режиссёра в лондонской театральной постановке «Отсроченный платёж» c Чарльзом Лоутоном, которая в этом же году перекочевала на Бродвей[5][4].
Первое время даже в Великобритании Лоузи был вынужден работать под псевдонимом Виктор Хенбери (фильм «Спящий тигр», 1954) и Джозеф Уолтон («Близкий незнакомец», 1956), так как актёры опасались, что после работы в фильмах Лоузи у них тоже могут возникнуть проблемы в Голливуде.