1954年10月，经毛主席亲自提名，粟裕由第二副总参谋长升任总参谋长。就职前，毛主席特意找他进行谈话，要这位爱将经常向自己汇报，十天半个月一次，也可以随时前来。
粟裕
粟裕出任这一职务后，与主持中央军委日常工作的彭德怀成为直接上下级。虽然同为高级将领，但由于两人在年龄、经历等方面存在差异，彭老总不仅在一些战略见解上与粟裕有意见分歧，性情较为暴躁的他也时常对其出言不逊。
按照工作惯例与毛主席的要求，一些重大事情粟裕必须向毛主席报告。因此，他在上报的文件上会写“彭副主席并转呈中央、主席”的字样。而彭德怀有时会扣压文件，还曾当着粟裕的面发脾气道：“我不是你的通讯员”。
事实上，这一写法不仅尊重了彭德怀，还符合原则要求。担任军事学院院长时期的刘伯承，在给中央军委与毛主席的报告中，也采用了同样的处理方式。
而在战略见解方面，粟裕就任总参谋长后，提出抽几个军作为统帅部战略预备队，配置在便于机动的地区，战时由统帅部统一机动的建议。
可彭德怀却说全国都属解放军，一旦战争爆发，统帅部完全可以从各军区临时抽调部队组织战略预备队，因此毫无必要。
这样的背景下，一向比较坚持原则的粟裕被彭德怀认为骄傲自满。彭老总经常向毛主席进言，时间一长，毛主席对粟裕也不像原来那么信任了。
到了1957年春天，当彭德怀去军事学院检查工作后，作出“教条主义相当严重”的结论。一年后，一场军委扩大会议即将举行。
为了给扩大会议做准备，会议组织者先在中南海居仁堂进行了几次小范围的批判会议，参加的人有彭德怀、聂荣臻、陈毅、贺龙、罗荣桓、叶剑英、林彪、黄克诚等。
彭德怀
这几次会议上，发言者对粟裕进行了批判，为军委扩大会议定了调子。不久，军委扩大会议正式召开，参加人数达1400人，原华东野战军（三野）的高级将领中有不少人奉命前来。
在会上，粟裕因为“个人主义”等问题遭到批判。作为华东野战军（三野）的实际军事负责人，很多参会的将领对这一突如其来的风暴很不理解，言行上有所抵触。
可这样一来，批粟行动就难以进行下去。于是，军委扩大会议有关方面开始组织重要人物去做三野将领的思想工作，向他们施加压力。
通过分别找人单独谈话的方式，有关方面要求人人过关，同粟裕划清界限。在巨大的压力下，绝大多数的三野将领都不敢为粟裕说话，有些人甚至跟风批了起来。
“那时批判粟裕，我们华东局的同志不发言，还批评我们，说我们的态度不端正。华东局的同志都知道，粟裕二让司令，什么个人主义、野心家？根本不符合事实”，原南京军区政委傅奎清这样回忆道。
而原华东海军司令员、华东军区参谋长张爱萍回忆说：“那次会议，说到粟裕同志的个人主义，我就不同意。我找过黄老（黄克诚），说粟裕同志不是那种人，我就不发言了吧。黄老点头说，也好。”
然而，后来军委领导还是指定张爱萍表态。没办法的他，只好说粟裕过去在华东胜仗打得多，是有些骄傲的。可领导对张爱萍的表态不满意，还点了他的名。于是，后面发言的几个人见此情景，说的话都很重。
粟裕
即使这样，依然有几个三野高级将领不顾个人荣辱安危，实事求是地说了公道话。当时这场会议上，粟裕的嫡系老部下叶飞、王必成和陶勇成为了有关方面的重点“攻关”对象。
可无论对方怎样威逼利诱，叶飞就是死活不开口。陶勇则说：“首长，你是知道的，我家境贫寒，八代祖宗不识字。我自己呢，当了团长还不认识自己的名字。这样吧，就请你的秘书写一篇揭发材料，我来念吧。”
于是，拿到材料后的陶勇在发言前郑重声明：“我文化低，识字不多，这篇稿子是XXX首长的秘书XXX写的。但这里笔画多的字实在太多了，怕念不好。错的地方，请X秘书补充……”结果，他的发言被取消了。
而王必成也有自己的办法。他没有拿讲稿，在会场即兴“揭发”道：“我，王必成，奉命揭发大阴谋家粟裕。粟裕的大阴谋，有两点我体会深刻，那就是‘大’和‘谋’……”
在现场众人的目光下，王必成讲起了济南战役还未结束时，粟裕就向中央建议打淮海大战，一役基本解决歼灭敌人主力的问题。“中央采纳了粟裕的意见，我们取得了决战淮海的胜利，提前两年解放全国。这个谋有多大，我是小人物，不敢评论，也没资格评论，但是毛主席他老人家最清楚……”
“粟裕阴的一面，我没有体会，请知情者揭发出来，让我们受教育！”在发言的最后，王必成这样说道。这一番话，可谓四座皆惊。“王必成可信、可交，可深信、可深交！”贺龙对他很是赞赏。
粟裕
虽然有老部下维护，但粟裕依然受到了猛烈批判。形势所迫，他先后进行了8次检讨，却依然未能通过……
就在粟裕感到无比困窘之际，一直关注着此事的毛主席发话了：“粟裕同志战争年代打仗打得好，是为公的。到北京以后是为公还是为私？不能说都是为私吧！请大家来判断。”
当毛主席这番话传到会场后，与会者们立即领会了其中含义，变得瞻前顾后起来。于是，粟裕的窘境很快有所改观。
在粟裕又一次进行了违心检讨，几乎全部将强加给自己的罪名承认后，老战友陈毅主动走上前去，握住粟裕的手说“讲得很好”，并带头鼓掌表示通过。
就这样，粟裕似乎跨过了这一关。7月22日军委扩大会议结束后，他开始照常在总参上班工作。
这年8月8日，粟裕主持了总参第五次部务会议，在会上提出了总参几年后的工作任务。几天后，他还提出了改革军队体制、加强司令部建设的建议，并拟制了总参工作制度和工作方法十条（草案），报请中央军委批准。
然而，不久有人向毛主席进言，将粟裕早前拜会苏军总长一事由“告洋状”进一步污蔑为“里通外国”。这样一来，毛主席震怒了。
毛泽东和彭德怀
“（我）把强加给我的罪名差不多都兜了下来，把自己说得简直不成样子。就是这样，还不放我过关，以后竟在中央说我‘里通外国’”，粟裕后来这样申诉道。
于是，粟裕的处境变得更为艰难。8月15日，在中央政治局扩大会议前夕，毛主席在谈话中提到了粟裕：“粟裕比较骄傲些，胜利多了，冲昏了头脑，韩信也是这样，说‘我带兵多多益善’。你粟裕是不是这样呢？我看是有一点，同志们也是这样看的。淮海解决了三个兵团，老子天下第一。”
就这样，8月31日，粟裕被撤销总参谋长一职，由原副总参谋长黄克诚接任。粟裕不久后出任军事科学院副院长，并被限制接触军队。
粟裕出事后，林彪曾主动去看望他。事实上，两人早在1927年10月前后便已相识。当时朱德将南昌起义余部整编为七个步兵连，林彪是连长，粟裕则由班长升为连党代表。
1946年7月，当粟裕在苏中大发神威后，毛泽东将他的战例通报给各战区，其中就有东北的林彪。
林彪对粟裕这一经典战例产生了浓厚兴趣，他叫来自己的参谋长刘亚楼，让他去收集苏中战役更多的资料。刘亚楼找来后，林彪把自己一个人关在屋里，仔仔细细琢磨了很久。
当刘亚楼再进去时，林彪突然感慨地说：“粟裕尽打神仙仗”。见刘亚楼有些摸不着头脑，他又解释道：“粟裕打仗真行，他打的仗我都不敢下决心。”
林彪
等淮海战役结束后，林彪又向刘亚楼索要这一战役的资料。当刘亚楼没收集全面后，他还一脸不快地责备起来。
“林总，你对华野的作战情况特别感兴趣，是不是想与粟裕同志比个高低？”刘亚楼笑着问道。
“你这个人说话欠考虑。首先，我对打了大胜仗的兄弟部队都很感兴趣；第二，我对粟裕同志的了解，比你们要全面和深刻。……拿这次淮海战役来说，没让杜聿明跑掉，就值得研究、探讨和借鉴”，林彪正色道。
值得注意的是，林彪和粟裕在很多方面有相似之处，这两人的个子都不高，面相也都比较文弱，而且还都负过重伤：林彪中弹留下后遗症，粟裕则两次伤在头部。
不仅如此，林彪和粟裕早年都曾加入过叶挺的部队，参加过南昌起义，后又一起跟随朱德上了井冈山。后来，两人在抗日战场都先声夺人，一个打了平型关大捷，一个打了韦岗伏击战，振奋了中国人民抗敌的决心。
而在解放战争中，他们又一个在北一个在南，纷纷取得一次次胜利，是毛泽东最倚重的爱将，掌管两支最大的野战军。
除此之外，在兴趣爱好上，林彪和粟裕也颇多相似。他们都不抽烟不喝酒不跳舞不喜欢抛头露面，而是喜欢在行军打仗期间每天看地图。
解放后，林彪与粟裕的关系一直很好。林彪进城后很少与人私下交往，但他对自己看得起的谈得来的人还是愿意交谈的，粟裕便是其中之一。
粟裕
而在1958年这次军委扩大会议上，林彪虽然也参加了，但他没有落井下石，还与叶剑英、萧劲光、陈赓等人一起帮粟裕说了公道话。“打胜仗的挨批，打败仗的当英雄”，就是林彪当时说的。
当林彪事后去看望粟裕时，说他缺少党内斗争经验。林彪的意思应该是粟裕没有多向毛主席进行汇报，没有站对队伍。只要毛主席不点头，别人想怎么样也无可奈何。
粟裕则老老实实地对林彪说，自己不仅缺少，而且根本没有党内斗争的经验。“自从1932年离开红一军团后，在赣东北、福建、浙江工作，对中央苏区情况不了解。抗日战争中在苏中、浙江工作，对延安情况不了解。在总参工作中，最大的错误是任总参谋长时，主席找我谈话，要我经常去汇报，后来由于彭德怀说我骄傲自满，自己又患得患失，便只向彭德怀汇报，不敢向主席汇报了”，他解释道。
“当总参谋长是毛主席坚持才确定的。主席当时还讲，牡丹虽好还要绿叶扶持，是要大家扶持我的工作，主席对我是非常爱护的”，粟裕这样说道。
而就在一年之后，1959年9月15日，在中南海颐年堂举行的军委扩大会议上，许多高级将领纷纷对彭德怀、黄克诚等人进行揭发批判。其中，便有其曾多方面排挤和打击原总参谋长粟裕的部分。
在众人的批判发言中，毛主席明确表态：“去年5月的军委扩大会议，是彭德怀提出来要搞的；批判粟裕，彭德怀不能说没有责任。”不仅如此，他还用手指了指在座的罗瑞卿：“你去对粟裕讲，告诉他，就说是我讲的，下一次中央军委开会请他参加！”
毛泽东
于是，本就对粟裕颇为同情的罗瑞卿将这一消息及时通知了对方，粟裕的心境终于渐渐明亮起来。几个月后，当中共中央政治局扩大会议在上海举行时，他应邀参加。
就在那场会议上，当毛主席进行讲话时，还特意转过脸来，亲自对粟裕解释道：“粟裕呀，你的事可不能怪我呀！那是彭德怀他们那个千人大会搞的。”
1994年12月25日，两名中央军委副主席在《人民日报》和《解放军报》上联名发表《追忆粟裕同志》一文，为粟裕公开正名。
