Йонас Штернберг родился в Вене в семье предпринимателя Моисея Штернберга и его жены Серафины. В 1901 году отец забрал его с семьёй в Америку, где надеялся начать новую жизнь. В 1904 году после безуспешных попыток закрепиться в США супруги Штернберги вернулись уже с пятью детьми в Вену. В 1909 году семья снова отправилась в Америку; Йонас Штернберг жил на случайные заработки. По его воспоминаниям, семья существовала на грани нищеты.
С 1911 года Штернберг работал в мастерской по ремонту фильмов, которая позднее вошла в состав кинопрокатной фирмы World Film Corporation (WFC). В 1914 году WFC заключила с ним постоянный контракт, где он и сделал карьеру. В задачи Штернберга входили монтаж и изготовление интертитров (надписей) к фильмам. В 1917 году со вступлением США в Первую мировую войну призван на два года в армию, служил в Вашингтоне. В 1923 году переехал в Голливуд и работал ассистентом режиссёра. Так как продюсеры предпочитали аристократические имена, в титрах его объявили «Джозефом фон Штернбергом». Летом 1924 года по собственному сценарию снял первый фильм в качестве режиссёра — «Охотники за спасением» (The Salvation Hunters). По инициативе Чарли Чаплина «Юнайтед Артистс» купила этот фильм для проката. В феврале 1925 года фильм вышел на экраны и пользовался огромным успехом. Штернберг заключил контракт с «Метро-Голдвин-Майер», но уже после второго фильма покинул студию. В 1926 году женился на актрисе Ризе Ройс.
С 1927 по 1935 год Штернберг работал на студии «Парамаунт». В 1927 году его фильм «Подполье» (Underworld) стал важной вехой в развитии жанра гангстерского кино. В 1928 году на экраны вышли такие его фильмы, как «Последний приказ» и «Пристани Нью-Йорка». В «Последнем приказе» он впервые работал с немецким актёром Эмилем Яннингсом, который за исполнение роли русского генерала, ставшего в Голливуде статистом, получил премию американской киноакадемии «Оскар».
В 1929 году Штернберг снял свой первый звуковой фильм «Гром и молния» (Thunderbolt) и ещё до премьеры уехал в Германию. В 1930 году по инициативе Эмиля Яннингса на немецкой студии УФА он снял фильм «Голубой ангел» по роману «Учитель Унрат» Генриха Манна. Несмотря на сопротивление руководства студии, на главную роль он пригласил малоизвестную берлинскую актрису Марлен Дитрих, которая благодаря этой работе приобрела международную известность. Штернберг развёлся с Ризой Ройс. С 1931 по 1935 год в Голливуде он снял шесть фильмов с участием Марлен Дитрих, среди которых «Марокко» (Morocco, 1931), «Белокурая Венера» (Die Blonde Venus, 1932), «Шанхайский экспресс» (1932) и два фильма на русскую тематику. Успешное сотрудничество с Дитрих обременяло его личную жизнь в силу слухов об их интимных отношениях. Штернберг разорвал рабочее соглашение.
В январе 1933 года, незадолго до прихода к власти Гитлера, снова приехал в Берлин, но понял, что политическая обстановка не благоприятствовала сотрудничеству с УФА. Её шеф Альфред Гугенберг поддерживал Гитлера и НСДАП. Штернберг вернулся в Голливуд.
В 1935 году перешёл на студию «Коламбия», но уже после второго фильма разорвал контракт.
В 1938 году австрийское правительство предложило ему пост уполномоченного по вопросам кино. Надеялся использовать своё положение в целях антинацистской пропаганды в стране. Но из-за аншлюсаАвстрии эти планы не удалось реализовать. Штернберг пережил нервный срыв и творческий кризис.
Джозеф фон Штернберг — потрясающий режиссёр. В «Распутной императрице» наряду с роскошью царского двора есть примитивная стихия, пронизывающая все; эти извращённые скульптуры. Чего стоит одна идея скелета, обнимающего котёл на столе Екатерины Великой! Благодаря этим деталям ты чувствуешь дух России той эпохи. Таким он и был.
В 1939 году в момент начала Второй мировой войны он снял фильм «Сержант Мэдден» (Sergeant Madden) для «Метро-Голдвин-Майер», а в 1941 году в момент вступления США в войну — «Шанхайский жест» для «Юнайтед Артистс». Съёмки усложнились его плохим физическим состоянием. В 1943 году по заказу департамента военной информации Штернберг снял документальный фильм «Город» (The Town) о городке Мэдисон в штатеИндиана.
В 1945 году женился на Жан Аветт Мак-Брайд; через два года этот брак был расторгнут. В 1947 году Штернберг начал преподавать на отделении кино Калифорнийского университета. В 1948 году переехал из Голливуда в Нью-Йорк, дистанцировался от своих фильмов, объявив их незрелыми. В октябре женился на Мэри Отис Уилнер, в семье родился сын.
22 ноября 1949 года Штернберг распродал с молотка свою богатую коллекцию произведений искусства, чтобы финансировать новый фильм. В 1952 году в Японии он снял своё художественное завещание — фильм «Сага об Анатаане», производство которого находилось под его полным контролем. В прокате этот чёрно-белый поэтический фильм успехом не пользовался.