1949后，祠内许多民国军政要人题写的碑刻匾额大都在1953年到1956年被湖南省人民政府下令凿毁；1966年文化大**开始后，南岳忠烈祠遭到红卫兵严重破坏，几乎所有的烈士墓都被挖掘殆尽，骨灰抛撒。

由于此期间一直在与日军交战，加上勘察、征地、筹款等前期准备工作，一直到1940年9月10日，南岳忠烈祠第一期工程正式破土动工。第二期于次年11月5日兴工，至1943年6月全部竣工。7月7日，南岳忠烈祠举行了隆重的落成大典，主持者薛岳在忠烈神位前恭读祭文，郑重宣布“抗战以来，各忠烈将士，即日入祠，岁时奉祀”，第一批入祠的将领有张自忠、郝梦麟、佟麟阁、赵登禹等三十八名。