Ульм расположен в точке слияния рек Блау и Иллера с Дунаем на высоте 479 метров над уровнем моря. Бо́льшая часть Ульма, включая старый город, лежит на левом берегу Дуная; районы Виблинген, Гёгглинген, Донауштеттен и Унтервейлер находятся на правом берегу. Напротив старого города, на другом берегу реки, в земле Бавария, находится «город-близнец» Ульма, бывший до 1810 года его частью — Новый Ульм (население ~50,000). Дунай — южная граница Ульма, город окружён лесами и холмами, часть которых относятся к Швабским Альбам, поднимаясь до отметки 620 метров. К югу от реки холмистые равнины упираются в северный хребет Альп, что отстоит от Ульма примерно на 100 километров; в ясные дни горы можно увидеть из города.
Город делится на 18 районов (Stadtteile): Ульм-Митте (Ulm-Mitte), Бёфинген (Böfingen), Донауштеттен (Donaustetten), Донауталь (Donautal), Эггинген (Eggingen), Эйнзинген (Einsingen), Эрминген (Ermingen), Эзелсберг (Eselsberg), Гёгглинген (Gögglingen), Гриммельфинген (Grimmelfingen), Юнгинген (Jungingen), Лер (Lehr), Мэринген (Mähringen), Остштадт (Oststadt), Зёфлинген (Söflingen), Унтервейлер (Unterweiler), Вестштадт (Weststadt) и Виблинген (Wiblingen).
Следы старейших поселений, найденных на территории современного Ульма, относятся к раннему неолиту (7000 лет назад). Установлено, что они располагались на месте деревень Эггинген и Лер, ныне районов города. Древнейшие находки в городском округе Ульма восходят к позднему неолиту.
Во времена Каролингов здесь был выстроен императорский пфальц (дворец). В нём 22 июля 854 года король Людовик Немецкий опубликовал документ, в котором впервые упоминается название города. Однако основание города относят обычно к XI столетию.
Короли династии Штауфенов имели намерение сделать Ульм опорным пунктом своей власти. Во время войны за престол с династией Вельфов герцог Генрих Гордый из этой династии дважды (1131 и 1134) до основания разрушал город. Не разрушенной осталась лишь кирха, на месте которой впоследствии был возведен Ульмский собор. Когда же с возведением Конрада III на трон (1138) Штауфены надолго пришли к власти, город начал быстро развиваться.
Фридрих Барбаросса в 1181 году объявляет Ульм вольным имперским городом, возводится городская стена. Сначала его значение обуславливалось местом остановки здесь германских королей и императоров в их частых поездках — Königspfalz. Затем здесь развивается торговля и ремесло; появляется важнейший официальный документ, соглашение между патрициями и торговыми гильдиями (нем.Großer Schwörbrief) 1397 года. В этом документе основополагается ранняя конституция города и начало создания огромного готического собора — Мюнстера, который строился более на деньги населения, чем на деньги церкви, что говорит о достаточной финансовой самостоятельности граждан средневекового Ульма. Впоследствии город получил двойную стену, выполненную по системе, предложенной Дюрером.
Процветание города, в основном обязанное экспорту высококачественных тканей, пришлось на XV и XVI века. Расположенный на перекрёстке важных торговых путей, ведущих в Италию, город был одним из крупнейших в Германии, уступая по размеру только Нюрнбергу. В то время были возведены многие замечательные здания, и искусство Ульма находилось в зените, представленное такими скульпторами и живописцами, как Ганс Мюльтшер и Йорг Сюрлин Старший. Городская библиотека Ульма — одна из старейших публичных библиотек мира — ведёт свою историю с 1516 года. Вскоре после начала Реформации город стал протестантским (1530).
Изменения торговых путей, последовавшие за открытием Нового Света (XVI век), и разразившаяся Тридцатилетняя война (1618—1648) повлекли за собой постепенный упадок Ульма. До того, как городские укрепления были усовершенствованы, в Ульме попеременно хозяйничали то баварские, то французские оккупанты. В последний раз город был взят баварскими войсками в 1702 году. В войнах, начавшихся после Французской революции, город поочерёдно занимали французские и австрийские силы, уничтожившие городские укрепления. Потеряв в 1803 году статус имперского города, Ульм вошёл в состав Баварии. В кампании 1805 года Наполеону удалось заманить сюда австрийскую армию генерала Макка и принудить его сдаться в битве при Ульме. В 1810 году Ульм был включён в состав Вюртембергского королевства и потерял свои задунайские окрестности, с тех пор известные как Новый Ульм (нем.Neu-Ulm).
В середине XIX столетия в городе было решено построить крепость Германской Конфедерации, с проведением значительного количества работ по строительству оборонительных сооружений, направленных в первую очередь против угрозы французского вторжения. Во второй половине века Ульм стал важным центром индустриализации южной Германии, только тогда строительство здесь вышло за пределы средневековых крепостных стен. На волне возросшего интереса населения в Германии к средним векам возведение громадного кафедрального собора было возобновлено и закончено (1844—1891), до того прерванное в XVI веке из-за экономических трудностей.
Ульм на открытке 1900 года
Как и вся Германия, с 1933 года Ульм находился во власти Национал-Социалистической партии. В 1933—1935 годах на холме Куберг, в округе Ульма, был основан концентрационный лагерь для политических противников существовавшего правительства. Евреев Ульма стали ущемлять в правах, а затем начали преследовать; синагогу снесли в Хрустальную ночь в ноябре 1938 года. В ходе Второй мировой войны город сильно пострадал от бомбардировок авиации союзников. Разрушительнейший налёт произошёл 17 декабря 1944 года, погибли 707 человек и около 25 тысяч потеряли кров. К концу войны более чем 80 % построек средневекового центра, до того бывшего в ряду крупнейших в южной Германии, лежало в руинах.
В основном город был отстроен заново в стандартном стиле 1950-х и 60-х, хотя собор и отдельные достопримечательные здания отреставрировали. Ульм пережил значительный рост в послевоенные десятилетия, были построены многие жилые районы и промышленные зоны. В 1950 году в городе был открыт оружейный завод компании J. G. Anschütz. В 1967 году был основан Ульмский университет, оказавший очевидное влияние на развитие города. Благодаря его выпускникам в 1980-е гг. ускорился переход промышленности от классических отраслей к высокотехнологичным.
Ульм вместе со своим баварским «близнецом» Новым Ульмом составляет агломерацию с населением в 170 тысяч человек. Он занимает выгодное центральное положение между Штутгартом и Мюнхеном, культурными и экономическими центрами южной Германии.
В Ульме находятся исследовательские центры таких компаний, как DaimlerChrysler, Siemens и Nokia. Вокруг университетского городка — множество небольших институтов, проводящих прикладные исследования.
Готический Ульмский собор высотой 161,6 м. — после строительства трёх башен в XIX веке стал самой высокой в мире церковью (христианской постройкой сакрального предназначения). Также принадлежит к числу крупнейших в мире кирпичных храмов (хотя главная башня построена не из кирпича, а из песчаника). В интерьере — многочисленные произведения ульмской художественной школы XV—XVI вв.
Ульмская ратуша — одна из крупнейших по размерам ратуш средневековой Германии. В старейшей части восходит к 1370 году; перестроена, расписана снаружи и приобрела нынешний вид в эпоху Возрождения (XVI век); отреставрирована и частично перерасписана в 1905 году. На фасаде — астрономические часы XVI века.
Масштабное складское помещение Нойер-Бау (1585—93) — памятник немецкого ренессанса.
Дом присяги (Schwörhaus) 1613 года постройки, где городские старейшины ежегодно приносили присягу о сохранении за Ульмом статуса вольного имперского города.
36-метровая башня Мясника построена в 1340 году над городскими воротами, ведущими на набережную Дуная. За минувшие столетия отклонилась на 2 метра и стала «падающей».
У юго-восточной стороны собора в XV веке построена миниатюрная часовня Святого Валентина, в которой ныне проводит богослужения православный священник.
Между собором и Нойер-Бау в 1993 г. по проекту Ричарда Мейера (США) выстроен современный выставочный центр Штадтхаус. Постройка модернистского здания в самом сердце исторического города потребовала проведения городского плебисцита.
Ещё дольше ревнители старины противились возведению около ратуши здания Городской библиотеки в виде 36-метровой стеклянной пирамиды. Проект Готфрида Бёма в итоге был реализован в 1998—2004 гг. с корректировками.
Рыбацкий квартал с протоками и живописными фахверковыми зданиями, включая пятиэтажный «падающий дом» 1443 года постройки.
Музей хлебного дела (1955) рассказывает об истории хлебопечения с древнейших времён до нашего времени.
Ульмский музей — одна из крупнейших коллекций искусства Верхней Швабии.
К востоку от Ульма, близ Гюнцбурга, имеется парк развлечений «Леголанд».
Самый известный уроженец города, физик Альберт Эйнштейн, не пробыл в Ульме и года.
В Ульме жил и работал брандмейстер Конрад Дитрих Магирус, похороненный в 1895 году на Старом кладбище города. Основанная им компания Magirus по сей день базируется в Ульме. Изобретённая им складная (мобильная) пожарная лестница известна повсюду, включая и Россию, где она является единственным средством спасения жильцов верхних этажей горящих домов. В 2001 году в городе был проведён в его честь парад старых пожарных автомобилей. Все они пришли своим ходом и находятся в прекрасном состоянии. Один из них — из Австрии, где он принимал участие в тушении пожара собора св. Стефана в Вене.