Действие фильма происходит в ЛондонеЭдвардианской эпохи весной 1910 года. В доме № 17, который находится в Вишнёвом переулке, всё вверх дном: вечером банковский служащий Джордж Бэнкс возвращается из банка в уверенности, что его ожидает идеальный порядок. Тем временем его жена Уинифред занимается пропагандой суфражистских настроений среди горничной Эллен и кухарки миссис Брилл, а дети, Джейн и Майкл, которые должны чинно гулять с няней Кэти в парке, пропали в неизвестном направлении. Разъярённая няня Кэти, уверенная, что её воспитанники сбежали нарочно, со скандалом покидает дом.
Вернувшиеся Джейн и Майкл говорят, что просто запускали змея, а потом искали пропавшую няню. Мистер Бэнкс приходит к выводу, что пора взять семью под контроль, и даёт в газету объявление о поисках новой няни. Тем временем Джейн и Майкл пишут своё объявление — они хотят, чтобы няня была милой и красивой, знала много игр и песен. Конечно, строгий отец считает, что это нелепость, и рвёт объявление. Оно отправляется в камин, а оттуда его уносит ветром через дымоход.
На следующий день Джейн и Майкл обнаруживают у входа в дом огромную очередь из самых строгих и мрачных гувернанток Лондона. Но тут начинаются чудеса: восточный ветер уносит претенденток прочь и доставляет к самому крыльцу удивительную женщину под зонтиком с ручкой в виде головы попугая. Её зовут Мэри Поппинс. Представляясь мистеру Бэнксу, она показывает восстановленное объявление детей и соглашается с их условиями, но обещает удивлённому банкиру, что будет настойчивой по отношению к Майклу и его сестре. Каждый второй вторник будет выходным днём Мэри.
Главная героиня удивляет Джейн и её брата, извлекая из ковровой сумки зеркало, вешалку, фикус и другие вещи, которые не могли бы там поместиться, а затем показывает, как можно превратить уборку в игру.
Во время прогулки в парке Мэри, как старую знакомую, приветствует Берт — местный музыкант, художник и вообще мастер на все руки. Он подтверждает, что в обществе Мэри Поппинс можно ожидать чего угодно. Действительно, чудесная гувернантка уводит всю четвёрку в нарисованную страну, где Майкл и Джейн катаются на карусели, участвуют в охоте на лис и в скачках. После этого они получают от Мэри и Берта в подарок волшебное слово «Суперкалифраджилистикэкспиалидошес», которое, как они обещают, может решить любую проблему.
На следующий день дети знакомятся с Альбертом, дядей Мэри и поразительно смешливым субъектом, вместе с которым они смеются над забавными шутками и пьют чай, взлетев под потолок комнаты. Конечно, когда Майкл и Джейн пытаются рассказать своему отцу обо всех этих приключениях, тот возмущается и требует от Мэри большей серьёзности. Она предлагает мистеру Бэнксу показать детям настоящую взрослую жизнь, то есть его работу в банке.
Действительно, на следующий день мистер Бэнкс и его дети проходят мимо Собора Святого Павла, у которого сидит пожилая птичница, и идут в банк. Служащие рассказывают детям о том, как работают финансовые вложения, и предлагают Майклу немедленно вложить в дело его «капитал» — два пенса. Он отказывается, так как собирался купить на эти деньги корм для птиц, а когда банкиры начинают настаивать, провоцирует панику среди клиентов.
Убежавших и заблудившихся детей встречает и отводит домой всё тот же Берт — сегодня он подрабатывает трубочистом. Миссис Бэнкс поручает ему вычистить трубы в доме. На самом деле ей нужно с кем-то оставить Джейн и Майкла, чтобы отправиться на очередное собрание суфражисток. У Мэри Поппинс выходной день, миссис Брилл занята выпечкой, а Эллен — уборкой.
Вместе с Бертом и Мэри дети выбираются на крышу дома № 17 через трубу и совершают путешествие по крышам Лондона. Во время танца с другими трубочистами сосед Бэнксов, адмирал Бум, предполагает, что это приближаются готтентоты, и приказывает своему старшему помощнику, мистеру Биннаклу, стрелять из пушки. В результате фейерверка трубочисты вынуждены бежать.
Вечером того же дня мистера Бэнкса увольняют из банка. Вообще говоря, это крушение его мира, но он так расстроен тем, что у него не складываются отношения с детьми, и уже не воспринимает увольнение как что-то серьёзное. К удивлению коллег, он рассказывает им шутку о деревянной ноге, недавно услышанную от Майкла, и впервые выговаривает без ошибок волшебное слово. Потом мистер Бэнкс отдаёт управляющему банком мистеру Доусу-старшему два пенса.
Вернувшись домой, он чинит сломанного воздушного змея Майкла и Джейн, а на следующий день зовёт детей в парк, чтобы запустить змея. Миссис Бэнкс делает из ленты общества суфражисток хвост для змея, и Бэнксы впервые ощущают себя семьёй. Мистер Бэнкс встречает мистера Доуса-младшего, который говорит, что его отец умер от смеха, и приглашает Бэнкса снова работать в банке.
Попугай на рукоятке зонтика Мэри Поппинс оказывается говорящим. Он недоволен, что Джейн и Майкл, которые больше думают о своём собственном отце, чем о главной героине, не попрощались с ней. Она решительно закрывает клюв попугаю, потому что так и должно быть, и улетает из Лондона, подхваченная западным ветром. Чтобы проводить Мэри в дорогу, Берт просит её возвращаться поскорее.