Яков Ильич начал активно заниматься спортом с 9 лет благодаря матери, старавшейся заменить ему погибшего на войне отца. Из всех видов спорта он выбрал футбол, бокс и стрельбу. Стрельбой увлёкся в 14 лет во время учёбы в Одесском машиностроительном техникуме, где вёл стрелковую секцию военрук Михаил Григорьевич Буймович.
Боксом и стрельбой Железняк несколько лет занимался параллельно и показывал неплохие результаты. Однако, его тренер по стрельбе Антон Артемович Дмитренко поставил вопрос об окончательном выборе вида спорта и Яков Ильич выбрал стрельбу. По совету тренера с 1963 года стал выступать за спортивное общество «Динамо» (Одесса).
В 1967 году советское руководство отказало в выезде на чемпионат мира в Италии в связи с военными действиями в Израиле, после чего спортсмен в знак протеста решил оставить спорт. Однако, он изменил своё решение в 1969 году, когда стало известно о том, что в программу Олимпийских игр возвращён такой вид стрельбы, как «бегущий олень».[1]
С 1976 года работал старшим тренером сборной СССР, в настоящее время консультирует украинских стрелков и их тренеров, находясь в постоянном контакте с главным тренером сборной Украины Анатолием Куксой.[2]