В 1937—1939 годах работал в Народном комиссариате иностранных дел СССР (Москва). Первая должность — референт (свободно владел японским, английским и французским языками), но спустя некоторое время — помощник заведующего отделом печати.
В 1939 году был назначен на должность полномочного представителя СССР в Японии. 18 мая 1942 году его назначают Чрезвычайным и Полномочным Послом СССР в Японии (вручение верительных грамот состоялось 8 июля 1942 года). Этот пост он занимал вплоть до разрыва советско-японских отношений и начала войны в августе 1945 года. 8 августа 1945 года СССР объявляет войну Японии. В этот день вручил ноту об объявлении войны Японскому правительству. При бомбардировке Хиросимы находился на территории Японии.
24 января 1947 был назначен заместителем тогдашнего министра иностранных дел СССР — Вячеслава Михайловича Молотова. Через год работы в министерстве был делегирован как Постоянный представитель СССР при ООН, а также постоянным представителем СССР в Совете Безопасности ООН (с мая 1948 по октябрь 1952). Вернулся на работу в Совет Безопасности ООН в 1968 году.
После успешной работы в Европе в 1952 году был назначен первым заместителем министра иностранных дел. На этот раз он работает под руководством А. Я. Вышинского.
После смерти Сталина был назначен Чрезвычайным и Полномочным Послом СССР в Великобритании. 3 июня 1953 года в беседе с новым советским послом в Лондоне Маликом Черчилль поделился своими впечатлениями о личных встречах со Сталиным. Пробыв на этой должности более 7 лет (с 1953 по 1960), возвращается в Москву на должность заместителя министра иностранных дел А. А. Громыко.
С 1968 по 1976 год — Постоянный представитель СССР при ООН и в Совете Безопасности ООН. С ноября 1976 года на пенсии.
Яков Александрович Малик [Некролог] — Правда — 1980 — 12 февраля — С. 4.
Ма́лик, Яков Александрович // Магнитка — Медуза. — М. : Советская энциклопедия, 1954. — С. 147. — (Большая советская энциклопедия : [в 51 т.] / гл. ред. Б. А. Введенский ; 1949—1958, т. 26).
В бытность А. Я. Вышинского руководителем советского внешнеполитического ведомства ему поступил на подпись документ, имеющий визу его заместителя «Я. Малик». Вышинский наложил резолюцию «А. Я. Вышинский».