Джон Атанасов родился в Гамильтоне, штат Нью-Йорк, 4 октября1903 года. Его отец Иван Атанасов, болгарский эмигрант, был инженером-электриком; дед был убит османскими войсками после Апрельского восстания. Мать, американка Айва Луцена Парди, была учителем алгебры. Атанасов окончил гимназию в Малбори, штат Флорида, в течение двух лет с отличием в области математики. Поступил в 1921 году в университет в Гейнсвилле, Флорида, где получил диплом инженера-электрика в 1925 году. В сентябре этого же года Атанасов стал преподавать математику в Колледже штата Айова, руководил дипломными работами по физике и математике. В мае 1930 года защитил докторскую диссертацию в Висконсинском университете в Мадисоне. Работал ассистент-профессором математики и физики в Государственном колледже штата Айова.
Сначала Джон Атанасов пытался модифицировать калькулятор фирмы IBM для решения систем уравнений, но вскоре отказался. В 1937 г. он занялся созданием машины для решения больших систем линейных алгебраических уравнений. Он обратился к декану инженерного факультета с просьбой порекомендовать ему выпускника электротехнического отделения, хорошо знающего электронику, который был необходим для осуществления его идеи. Декан предложил ему Клиффорда Эдварда Берри, и тот стал аспирантом Атанасова. Они разработали и начали монтировать первый в США электронный цифровой компьютер. Атанасов назвал его Компьютер Атанасова — Берри (англ.Atanasoff-Berry Computer — ABC). Работа Атанасова и Берри над вычислительной машиной долгое время не была широко известна, пока в 1960-х годах она не всплыла в ходе конфликта по поводу первого появления электронного компьютера. Первоначально было определено, что первым компьютером в современном смысле этого слова является ENIAC, однако в 1973 году Федеральный районный суд США постановил отозвать патент ENIAC и заключил, что ABC является первым «компьютером».