1977年十一大上，徐向前元帅当选政治局委员。在一年后的第五届全国人大一次会议上，徐向前被任命为国务院副总理、国防部部长。11月，他又被任命为军委武装力量委员会主任。
这一年的徐向前已经77岁，但他老骥伏枥，以老树发新芽的姿态，全力投入到了国防现代化的建设工作中。
1978年，在中央军委的指示下，在徐向前的主持下，我军对全军的战略方针进行了重新研究，并制定了各大战区的作战预案。在完成这件大事后，徐向前给中央领导人写信说：“我的使命完成了。”
1978年10月，越军悍然出兵入侵进柬埔寨，并在我国的广西、云南边境屡屡制造事端。为了制止越军的侵略行为，保卫祖国的领土，中央决定在适当时机对越军实施惩罚性的反击。身为国防部部长的徐向前，在这个历史关头，再一次挑起了重担。
为了确保自卫反击战的胜利，在战前，徐向前参与了作战方案的制定，并对方案进行了认真的审查。战斗打响以后，他时刻关注战场态势，了解部队开进的情况，并根据自己多年来的军事经验，提出意见的建议。
这次自卫反击战前后历时18天，我军在完成预定目标后主动后撤。
战斗结束后，徐向前等军委领导同志在北京接见了自卫反击战英模报告团，徐向前对他们在此战中的表现给予了高度评价，并题词：“为祖国而战的英雄们功勋永存！”
随着十一届三中全会的结束，中央做出了把工作重心转移到经济建设上来的伟大决策。在这种新时代的背景下，军队如何完成自身的战略转变？如何继续良好地开展军委工作？成了中央万分关注的一个问题。
1980年月，军委召开常委扩大会议，集中讨论军队的精简整编问题，会议由徐向前主持召开。这次会议确定了把压缩军队员额50万的计划，报请中央批准后，又决定再压缩50万。
在这次调整中，军委炮兵、装甲兵和工程兵被合并到了总参谋部，成了总参谋部的下属部门；各军区的炮兵、装甲兵和工程兵也相应地合并到军区司令部；铁道兵和铁道部完成了合并……
这次精简整编，为1985年的百万大裁军做出了模范表率，奠定了军队进一步“消肿”的基础。
在担任国防部部长近3年的时间里，徐向前先后接见外国军事代表团、知名人士、记者达21次。当时的徐向前，是世界各国的国防部长中，硕果仅存的见证和参与过二次世界大战的老一代军事家。很多国家的将领都为能得到徐向前的接见感到荣幸。比如1981年6月，泰国元帅巴博访华，在完成和国家领导人的会见后，坚持要求去见徐向前一面，尽管当时徐向前已经卸任了国防部长一职。
1980年8月，在五届人大三次会议上，徐向前辞去了国务院副总理的职务，之后又卸任国防部长。
在担任国防部部长的这段时间里，徐向前作为小平同志的助手之一，为国防现代化的建设耗费了无数心血。徐向前和小平同志早在抗战初期和解放战争初期就有过两段亲密的合作，那时候他们都在八路军129师和晋冀鲁豫军区工作。尤其是解放战争时期，刘邓大军挺进大别山后，徐向前留在晋冀鲁豫后方，号召群众缩衣节食，参军参战，竭尽全力支持刘邓大军，保证他们的后勤。
1976年，“反击翻案风”期间，小平同志病倒了。徐向前得知消息，亲自给他的老部下，当时主持军委日常工作的陈锡联将军打电话，要他马上安排小平同志住院治疗。手术之后，徐向前在本人抱病在身的情况下，赶到医院探望了小平同志。之后，徐向前又积极支持小平同志重新工作，并说他赞成叶帅的话：“邓小平是不授衔的老帅，是老帅的领班。”
小平同志对徐向前也非常尊重，1979年12月14日，邓小平冒着严寒亲自来到徐向前的家中，和他商讨军委工作的大政方针。
1980年，徐向前退休之后，也依旧以饱满地热情关注着国家的建设和军队的发展。史料记载，某日，徐向前翻看《解放军报》简报时，看到报道说一些地区把在对越自卫反击战中的伤残军人当成了“包袱”，没有安排他们的工作，使得一些伤残军人流落街头，昆明甚至出现了伤残军人佩戴勋章上街乞讨的情况。
作为参与了79年对越自卫反击战指挥的前国防部长，徐向前看到报纸后心情万分沉重。他立即给时任解放军总参谋长的杨得志将军打去电话，说：“干部战士负伤致残，战后给予他们妥善的安置，这时我军的光荣传统。但从最近的一些情况来，有些地方的安置工作很不得力。请军委办公会议研究。军队的要求不要太高，但地方上一定要负责安置好。可否拨专款解决，专款专用，请参酌。”
杨得志在书记处开会时，把徐向前的这段话当中宣读，经过大家讨论，国务院重新下发了文件，将从前的对伤残战士“酌情安排工作”，修改为了“一定要安排工作”，
从“酌情安排”，到“一定安排”，虽然只有两个字的差别，但我们却能看到一代开国元帅徐向前对士兵的爱护、关怀和记挂。
据徐向前元帅的传记记载，徐向前80岁的时候，下部队的时候都要亲自到战士们的宿舍，摸摸他们的被子厚不厚，暖气暖不暖。
1990年9月21日，徐向前与世长辞。遵照徐向前生前“不搞遗体告别，不开追悼会”的遗嘱，其亲属和工作人员只在家中会客室里设了灵堂。在讣告发出以后，前往徐向前家中吊唁的人络绎不绝。一些年过七旬、八旬的老战士纷纷从各地赶来，一进灵堂，他们就老泪纵横。他们都是十几岁当“儿童团”跟着徐向前走过来的。他们说：“是徐帅把我们从一个不识字的苦孩子培养成了党的战士。”当年西路军的一位女战士对徐向前的儿子说：“我跟随你爹60年了……”
徐向前关怀战士，把他们放在自己心上，战士们也把徐向前牢牢记在了心里。
