Учебное заведение было основано в 1870 году на основании Закона Моррилла 1862 года как сельскохозяйственный технический колледж. Первоначально здание было расположено в сельской общине, расположенной на северной окраине Колумбуса. Хотя ожидалось, что вуз будет сфокусирован на обучении дисциплинам, связанным с аграрным сектором, усилиями губернатора Ратерфордом Хейсом заведение стало университетом, и 17 сентября1873 года уже в новом статусе в вуз были приняты первые 24 студента. В 1878 году состоялся первый выпуск, состоявший из шестерых мужчин; первая женщина окончила университет в последующем году. В 1878 году получил окончательное наименование — «The Ohio State University» (с артиклем «The» в официальном названии[4]).
В 1880 году открыта аспирантура. В 1891 году была основана юридической школа — юридический колледж Морица. Позже были основаны колледжи медицины, стоматологии, оптометрии, ветеринарии, торговли и журналистики.