Родился в семье еврейских иммигрантов из Российской империи.
Был очень популярен на Бродвее (в частности в постановках «Безумства Зигфелда»[4]), радио, а также на ранних этапах становления телевидения. В Соединённых Штатах он получил прозвище «Апостол Живчик», потому что его супер-рейтинговые радиошоу, представляющие собой забавные истории о его жене Иде и их пятерых дочерях, собирали перед приёмниками огромные аудитории слушателей. Его большие широко открытые глаза послужили появлением у него прозвища «Глаза Банджо» из-за одноимённого струнного музыкального инструмента. Они также стали его своеобразным товарным знаком и часто карикатурно изображались на иллюстрациях с его изображением.
Его выступления продолжались до 1953 года, а самого Кантора не стало в 1964 году — он скончался в своём доме в Беверли-Хиллз от инфаркта. Спустя год после смерти он был удостоен почётной премии «Оскар».
В 1914 году женился на Иде Тобиас[5]. У них было пять дочерей: Марджори (1915–1959), Натали (1916–1997), Эдна (1919–2003), Мэрилин (1921–2010) и Джанет (1927–2018)[6].