1958年8月31日，中央解除了粟裕解放军总参谋长的职务，调他担任国防部副部长兼军事科学院副院长。在和新任的总参谋长黄克诚完成了交接工作后，粟裕于同年9月19日来到军科院上班。

戎马半生的粟裕从此离开了军事指挥的第一线。据官方出版的《粟裕传》记载：

粟裕调离总参时，中央一位领导人找他谈话说，调你到军事科学院工作，今后你就待在北京搞学术研究，不必到部队去跑了。但是粟裕认为，军事学术研究不能离开部队实际。以后粟裕每次外出想顺便去部队看看，都会先写报告。

粟裕来到军科院时，当时的院长兼政委叶剑英对他表示了热烈的欢迎。在全院欢迎会上，叶剑英盛赞粟裕，说他战斗一生，战功巨大，他的到来是对军科院领导力量很大的加强。

由于当时叶剑英元帅还在中央军委担任领导职务，所以粟裕很快就实际负责起了军科院的第一线领导工作。

其实，早在1951年9月，粟裕被中央任命为解放军副总参谋长的时候，粟裕就对朱老总和周总理说过：“国家目前正处在由战争转向建设的历史性过渡时期，在这个时候，我希望能有一个机会，系统地总结一下过去的战争经验，并探索、研究未来战争的问题，所以最好能去部队或者学校工作。我水平有限，总部的工作难以胜任，是否考虑别的同志为好。我到下面抓抓部队工作，或者搞学校工作都可以。”

如今，粟裕离开总参，来到军校领导工作，也算是对自己当年愿望的一种实现。

时间很快来到1960年，这年1、2月份，中央军委在广州召开了一次军委扩大会议，主要讨论国防建设等重大问题。粟裕作为当年三野的最高军事指挥者，在解放战争中立下大功的名将，他的意见无疑是非常重要的，所以与会的同志提出，希望粟裕能就这个问题谈谈他的看法。就连当时的主持军委日常工作的副主席都找到了粟裕，做他的工作，鼓励他积极发言，说军科院应该成为总参谋部的参谋部。

在这种情况下，粟裕做了一次重要发言，将他多年来的一些思考向大家做了介绍。

1964年2月到8月，关系已经非常紧张的中苏双方在北京东交民巷进行了一次激烈的边界谈判。

在这次谈判期间，毛主席在接受外国记者采访时指出：“苏联占的地方太多了。在雅尔塔会议上就让外蒙古名义上独立，名义上从中国划出去，实际上就是受苏联控制……我们曾经提过把外蒙古归还中国是不是可以，他们说不可以……苏联领土已经够大了。有两千多万平方公里，而人口只有两亿……一百多年以前，把贝加尔湖以东，包括伯力、海参崴、勘察加半岛都划过去了。那个账是算不清的。我们还没有跟他们算这个账。”

赫鲁晓夫则侧面回应说：“如果谁把战争强加于我们的话，那么，我们将会全力以赴地与其战斗。我们拥有足够有力的、可以说是无可限量的战争武器。”

一时间，人人都感觉到了战争的乌云。为了防止苏联的入侵，9月11日，中央派总参战役勘察组到华北、东北、西北等地进行了实地勘察。

俗话说：“国难思良将，家贫想贤妻。”随着战备工作的开展，粟裕这位沙场走出来的战将，再次受到了人们的注意。

1965年10月2日，当时主持军委日常工作的元帅找粟裕谈了一次话，他对粟裕说道：“等你好一些，可以多到部队里去跑跑，看看部队的情况，发现什么问题，或者有什么意见，可以直接反映面谈，打电话或者写信都可以。”

这是1958年之后，粟裕第一次受到组织和领导人的委托，让他到部队去多看看，粟裕对这个机会自然非常珍惜。但是另一方面，他已经养病半年，似乎也应该回去和几位军科院的领导同志换换班了。

这个时候，叶剑英元帅路过上海并找粟裕谈话，粟裕就把自己的困惑向叶剑英做了汇报。叶剑英高瞻远瞩地说道：“你不要换小班，要准备接大班。军科院就叫宋时轮、钟期光他们去搞。你是战将，要准备打仗。”他赞同粟裕放下军科院的工作，到部队走走，准备应对可能到来的战争。

这次下部队，粟裕成果颇丰，一连给中央和总参写了4个调查报告，指出了当时部队存在的若干问题，并给出了很好的解决方案。

1969年3月，珍宝岛事件爆发，中苏边境浓云密布。当时的北京军区司令员李德生和政委纪登奎请示上级后，再次把粟裕请出山，请其为对付苏联出谋划策。粟裕不辞劳苦，带了几个军事参谋跑到中苏、中蒙边境防区转了几个月。

他深入河西走廊、居延海、贺兰山、大青山，以及其北部的戈壁滩、草原，内蒙的百灵保、集宁、德化，河北的张北、张家口等地，看望了驻军和边防一线部队，获得了大量的一手战备资料，并拟定了一份防御作战方案提交中央。

纪登奎之子纪坡民在《听父亲纪登奎谈往事》中，记录过纪登奎晚年对此事的回忆。纪登奎说：“军事上的事，我确实不懂。李德生比我强点，也只指挥过一个师、一个军。当时，苏联在中苏边境陈兵百万，北京军区是首都门户，万一有点闪失，我不仅要掉脑袋，而且还会成为民族罪人。我对这件事十分担忧，也有自知之明，急中生智，去把粟裕请来了，那是我们军队的名将了。我给他配了几名最好的作战参谋，坐个吉普车，在边境防区漫山遍野地转了几个月。粟裕搞出来一个作战方案，交军事科学院和军事学院的内行和专家们看了以后，认为确实不错，我才比较放心了。”

可见，虽然离开了军事指挥的第一线，但粟裕仍时刻关注着军队和国防建设，也一直保持着敏捷的头脑和高水准的军事造诣。作为一名军人，一个军事家，粟裕一直怀抱着“将来一旦打起仗来，还要重上前线”的想法，他的坚定情操和爱国情怀令人钦佩。

尽管远离前线，粟裕依旧笔耕不辍，不断地思考和总结，并直言不讳地把自己这些思考和总结向中央报告。对于粟裕的这种做法，他的妻子楚青曾说：“你这是何苦呢？难道你为直言而吃的苦还不够吗？”

粟裕却回答说：“战争是要死人的。我是一个革命几十年，打了一辈子仗的老兵，如果面对新形势看不出问题，或者不敢把看到的问题讲出来，一旦打起仗来，就会多死多少人，多付多少代价？而我们这些老兵就会成为历史的罪人！”粟裕铿锵有力的话语，令人动容。

史料记载，粟裕即使在晚年身患脑溢血住院后，也依旧没有放弃他对国家、军队大事的关心。尤其是他晚年所写的《粟裕战争回忆录》，更是为后人留下了无比宝贵的军事指挥经验，被誉为深受军内外广大读者好评的经典之作。