Коларж — воспитанник клуба «Слован» из своего родного города. В 2013 году для получения игровой практики футболист на правах аренды перешёл в «Варнсдорф». 4 мая в матче против «Влашима» дебютировал во Второй лиге Чехии^[2]. После окончания аренды Коларж вернулся в «Слован». 31 мая 2014 года в матче против «Сигмы» дебютировал в Гамбринус лиге^[3]. В 2015 году после возвращения в «Слован» Коларж помог клубу завоевать Кубок Чехии. В 2016 году из-за отсутствия регулярной практики вновь отправился в аренду в «Варнсдорф».

В начале 2018 года Коларж перешёл в столичную «Славию». Сумма трансфера составила 1 млн евро, это стало самым дорогим подписанием вратаря в истории чешской лиги^[4]. 17 февраля в матче против «Высочины» он дебютировал за новый клуб^[5]. В том же году Коларж во второй раз выиграл Кубок Чехии. Летом контракт с ним был продлён до 2022 года^[6]. 29 августа 2020 года в матче против «Пршибрама» Коларж забил гол, реализовав пенальти^[7].

19 июля 2023 года Коларж продлил контракт со «Славией» до 2027 года, согласившись при этом на значительное снижение зарплаты^[8][9]. В последующие сезоны он постепенно потерял место в основном составе команды. Из-за недостатка игровой практики в первой команде Коларж начал выступать за резервную команду «Славия Б» во второй по силе лиге Чехии, проведя за неё 2 матча в сезоне 2023/24 и 7 матчей в сезоне 2024/25^[10].

В 2011 году в составе юношеской сборной Чехии Коларж принял участие в юношеском чемпионате мира в Мексике. На турнире он был запасным и на поле не вышел.

17 ноября 2019 года в отборочном матче чемпионата Европы 2020 года против сборной Болгарии Коларж дебютировал за сборную Чехии^[11]. Этот матч остаётся единственным для Коларжа в составе национальной команды; впоследствии он несколько раз вызывался в сборную, но на поле не выходил^[12].

По состоянию на 12 апреля 2022 года

Матчи за сборную Чехии
№	Дата	Оппонент	Счёт	Голы	Соревнование
1	17 ноября 2019	Болгария	0:1	-1	Отборочный матч ЧЕ-2020