Родился в семье еврейского раввина, эмигрировавшего из России. Начинал как театральный деятель, занимаясь в основном спектаклями на социальную тематику. В 1937 г. перешёл в кинематограф, в том же году вступил в коммунистическую партию.
В Голливуде сотрудничал с Warner Bros., но самый знаменитый свой фильм — политическую драму «Вся королевскую рать» — снял на Columbia Pictures. К тому времени над коммунистами сгустились тучи, и режиссёр вышел из партии. Это не спасло его от включения в чёрный список Голливуда, из которого Россен выбрался лишь в 1953. После этого он снял ещё несколько фильмов, включая «Мошенника».
Был дважды женат, имел двух дочерей и сына.
Умер в 1966 году. Похоронен на кладбище Уэстчестер-Хиллз в Гастингсе-на-Гудзоне (штат Нью-Йорк).