В 1939 году снова призван на военную службу. Участвовал в освобождении Западной Белоруссии, в войне с белофиннами. Снова был уволен в запас, но в мае 1941 года опять призван в армию.

В мае 1941 года Панов повторно был призван в армию. С июня того же года — на фронтах Великой Отечественной войны. Участник боев с немецко-фашистскими захватчиками с июня 1941 года. Воевал на Западном, Калининском, Брянском, 3-м Белорусском фронтах. Служил в пехоте. Имеет пять ранений и контузию.

К августу 1944 года старший сержант Иван Панов был помощником командира отделения 331-го стрелкового полка 96-й стрелковой дивизии 48-й армии 1-го Белорусского фронта. Отличился во время освобождения Польши. 25 августа 1944 года Панов участвовал в отражении немецкой контратаки в районе города Острув-Мазовецки. В критический момент боя он заменил собой командира взвода и поднял подразделение в атаку, отбросив противника. В том бою он уничтожил более 10 солдат противника, сам был ранен, но продолжал сражаться. 9 октября 1944 года награждён орденом Славы 3-й степени.

К октябрю 1944 года Панов уже командовал взводом того же полка. 14 октября 1944 года в районе населённого пункта Ляски в 11 километрах к северу от города Пултуск он поднял своё отделение в атаку и разгромил противника, только лично уничтожив более 10 солдат и офицеров противника.

17 декабря 1944 года Панов был награждён орденом Славы 2-й степени.

В ночь с 4 на 5 мая 1945 года Панов участвовал в боях на косе Фрише-Нерунг (ныне — Балтийская коса), лично уничтожив 1 пулемёт и около 10 солдат и офицеров противника.

Указом Президиума Верховного Совета СССР от 29 июня 1945 года за «образцовое выполнение заданий командования в боях с немецкими захватчиками» старший сержант Иван Панов был награждён орденом Славы 1-й степен.

Был также награждён орденом Отечественной войны 1-й степени и рядом медалей.

После демобилизации из армии в 1945 году возвратился на родину. До ухода на пенсию работал в совхозе "Крапивенский" Рославльского района.

Скончался 1 января 1997 года, похоронен в деревне Даниловичи Рославльского района.