С 1957 года — заведующий сектором индоевропейских языков Ленинградского отделения Института языкознания АН СССР. Член-корреспондент АН СССР с 28 января 1939 года по Отделению общественных наук (германская филология, западноевропейские литературы), академик с 1 июля 1966 года. С 1957 года входил в состав редколлегии книжной серии «Литературные памятники». С 1964 года — заместитель главного редактора журнала «Вопросы языкознания»; незадолго до смерти был назначен исполняющим обязанности главного редактора.
Дочь — филолог и литературовед Вера Викторовна Аствацатурова (род. 1947), жена культуролога А. Г. Аствацатурова; их сын — филолог и писатель Андрей Аствацатуров.
Младшая сестра — Раиса Максимовна Жирмунская (1893—1971), в 1913 году вышла замуж за своего кузена, художника К. А. Жирмунского (брата М. А. Малкиеля-Жирмунского), с которым с начала первой мировой войны жила в Италии.
Как лингвист В. М. Жирмунский является одним из наиболее значительных представителей Ленинградской грамматической школы, большое внимание уделявшей (преимущественно на материале германских языков) проблемам исторических изменений грамматического строя, грамматической вариативности, аналитизма и синтетизма и др. В его работах высказан ряд идей, предвосхитивших основные положения «теории грамматикализации» К. Лемана и Б. Хайне, которая получила широкое распространение в последние десятилетия XX века. Ему принадлежат фундаментальные исследования по немецкой диалектологии (интересные и в плане социолингвистических наблюдений); в особенности значителен его вклад в изучение немецких диалектов на территории России («языковых островов»). В конце 1930-х годов Жирмунским были опубликованы исследования диалектов идиша на территории СССР[14][15].
В области литературоведения В. М. Жирмунский наследовал традициям компаративистской школы А. Н. Веселовского. Плодотворно занимался сравнительным изучением немецкого и тюркскогофольклора и эпоса, творчеством Гёте, Байрона и других классиков немецкой и английской литератур, а также историей германско-русских литературных связей (так, ему принадлежит классическое исследование «Байрон и Пушкин» о русской байронической поэме, с привлечением большого количества малоизвестных произведений пушкинской эпохи).
Существен его вклад в теорию русского стиха — проблематику, которой он начал заниматься ещё в 1920-е годы, сблизившись с исследователями «формального направления» круга ОПОЯЗа. До появления работ М. Л. Гаспарова ранние исследования Жирмунского оставались самыми значительными в этой области. Проницательный исследователь творчества Ахматовой, В. М. Жирмунский ввёл в употребление применительно к старшим акмеистам известную формулу «преодолевшие символизм».
Одним из последних по времени направлений исследований Жирмунского стало изучение эпического цикла тюркских народов «Сорок богатырей», герои которого имели реальных прототипов в лице знати Ногайской орды. Эти работы были большим вкладом не только в филологию, но и в историческую науку.
В. М. Жирмунский был также успешным организатором науки; по его инициативе в 1950-е — 1960-е годы был проведён ряд конференций и изданы сборники статей по проблемам теории грамматики, морфологической типологии, аналитизма и др. Среди его учеников много крупных петербургских лингвистов младших поколений (в частности, Ю. С. Маслов, Г. П. Торсуев, М. Ф. Мурьянов); в аспирантуре у Жирмунского училась Н. Я. Мандельштам.
1951—1971 — Загородный проспект, 10. На доме по адресу Загородный проспект, 10 в 2001 году была установлена мемориальная доска (архитектор Т. Н. Милорадович) с текстом: «В этом доме с 1951 по 1971 год жил и работал выдающийся филолог академик Виктор Максимович Жирмунский»[17].
История немецкого языка: Учебник. Л.: Учпедгиз, 1938. 280 с. Изд.2-е. Л., Учпедгиз, 1939. Изд.3-е. М., изд. ин. лит. 1948. Изд.4-е. М., изд. ин. лит. 1956. Изд.5-е. М., Высш.школа, 1965. 408 с.
Узбекский народный героический эпос. (в соавт. с Х. Т. Зарифовым) М., Гослитиздат. 1947. 520 с.
Введение в изучение «Манаса». Кыргызский народный героический эпос. Фрунзе, 1948. 112 с. 2 000 экз (дсп).
Немецкая диалектология. М.-Л., Изд-во АН. 1956. 636 с.
Эпическое творчество славянских народов и проблемы сравнительного изучения эпоса. М., Изд-во АН. 1958. 145 с.
Сказание об Алпамыше и богатырская сказка. М., ИВЛ. 1960. 335 с.
Народный героический эпос. Сравнит.-ист.очерки. М.-Л., Гослитиздат. 1962. 435 с.
Огузский героический эпос и «Книга Коркута» // Книга моего деда Коркута: Огуз. героич. эпос / Сост. В. М. Жирмунский и А. Н. Кононов. М.; Л., 1962.
О Диалектологическом атласе тюркских языков Советского Союза // ВЯ. 1963. № 6.
Драма Александра Блока «Роза и крест». Лит.источники. Л., Изд-во ЛГУ. 1964. 108 с., 3 600 экз.
Введение в сравнительно-историческое изучение германских языков. М.-Л., Наука. 1964. 316 с., 2 300 экз.
О некоторых вопросах лингвистической географии тюркских диалектов //Тюркологический сборник: К 60-летию А. Н. Кононова. М., 1966.
Заметки о подготовке «Диалектологического атласа тюркских языков СССР» // ВЯ. 1971. № 4.
↑Guide to the Yakov Malkiel PapersАрхивная копия от 10 октября 2012 на Wayback Machine: Виктор Жирмунский до 1966 года состоял в переписке с Яковом Малкиелем, который также переписывался с проживающей в Италии сестрой Жирмунского Раисой и с семьёй другого кузена — Константина Шапиро.
Филология. Исследования по языку и литературе: Памяти акад. В. М. Жирмунского. Л., 1973;
Лихачёв Д. С. В. М. Жирмунский — свидетель и участник литературного процесса первой половины XX в. // Жирумунский В. М. Теория литературы. Поэтика. Стилистика. Л., 1977;
Виктор Максимович Жирмунский (1891—1971): биобиблиографический указатель. СПб., 1991;
Язык, литература, эпос (к 100-летию со дня рождения акад. В. М. Жирмунского) / отв. ред. акад. Д. С. Лихачёв. СПб., Наука, 2001;
Академик В. М. Жирмунский. 3-е изд. СПб., 2001;
Материалы конференции, посвящённой 110-летию со дня рождения академика В. М. Жирмунского. СПб., 2001;
Распоряжение Администрации Санкт-Петербурга от 31.08.2001 N 717-ра об установке мемориальной доски В. М. Жирмунскому.
Белобратов А. В. В. М. Жирмунский и русская германистика // Русская германистика. М., 2004. Т. 1;
Светозарова Н. Д. Фольклорно-диалектологические экспедиции В. М. Жирмунского и его «Архив немецкой народной песни» // Русская германистика. М., 2006. Т. 2;
Жирмунский В. М. Начальная пора: Дневники. Переписка. — М.: Новое литературное обозрение, 2013. — 400 с. — 1000 экз. — ISBN 978-5-4448-0096-6.