Старший из 11 детей «арапа Петра Великого» А. П. Ганнибала и Христины-Регины (Христины Матвеевны) фон Шеберг, родился 5 июня 1735 года в усадьбе Карьякюла, близ Ревеля (ныне Таллина) в Эстляндии[2].
В 1744 году, вопреки воле родителей, 9-летний мальчик был записан в военную службу и определён для обучения в Петербургскую морскую артиллерийскую школу. Окончив её, учился в Морском шляхетном корпусе. 10 февраля 1769 года из подполковников артиллерии назначен цейхмейстером морской артиллерии.
Служил в морской артиллерии, участвовал во многих морских сражениях, проявив мужество, храбрость и изобретательность.
Под руководством и при участии Ганнибала в 1778 году был заложен город Херсон, 25 июля того же года он был назначен главным командиром Херсонской крепости. Ганнибал ревностно принялся за исполнение возложенного на него поручения. Сформировав 12 рот мастеровых, он заготовил лесные материалы в верховьях Днепра и доставил их на место, нанял внутри России более 500 плотников, в короткое время устроил верфь и в августе заложил укрепленный город. Через три года уже существовал новый город с дворцом, адмиралтейством, литейным домом, арсеналом, верфями, казармами и частными домами, крепость была снабжена гарнизоном и 220 орудиями, на верфи строились различные суда, в гавани находились военные и купеческие корабли, в городе основались торговые иностранные дома. Ганнибал привлек в Херсон и окрестности много греческих и итальянских выходцев.
1 января 1779 года произведен в чин генерал-поручика. В 1780 году Ивану Абрамовичу было пожаловано 10 тыс. десятин земли. 21 апреля 1781 года награждён орденом Св. Александра Невского. 16 мая 1783 года награждён орденом Св. Владимира 1-й степени. В связи с болезнью, и отчасти по причине ссоры с всесильным Г. А. Потёмкиным в 1784 году вышел в отставку в чине генерал-аншефа. Остаток жизни провёл в своём имении Суйда под Петербургом.