1978年，已经年过七旬的黄克诚打算离开领导岗位，退休疗养。但党中央却一再挽留他，希望他能再坚持工作几年，至少帮国家渡过这段“青黄不接”的时期。黄克诚左思右想，最终还是接受了挽留，强撑着病躯到中纪委任职，站好革命的最后一班岗。

黄克诚上任之后处理的第一件政务就是为少奇同志平反，当时党中央对此事非常重视，邓公甚至亲自来到中纪委指导工作，要求各部门必须统一协调，尽快摘掉扣在少奇同志头上的“帽子”，还这位好同志一个清白。黄克诚自然是不敢怠慢，他马上派人赶往相关部门提调少奇同志的卷宗，对当年的“右倾”案件进行复核，紧接着又走访老同志，全面了解“刘少奇案”的前因后果。

最终，经过不懈的努力，黄克诚终于搞清楚了事情的真相，少奇同志从来就没有做过任何对不起党和人民的事情，他是被张春桥等人诬陷的！很快，黄克诚将相关情况汇总成一份报告提交给了党中央，党中央随即下达红头文件为少奇同志正名，并将他的骨灰从河南迎回北京安葬。紧接着，黄克诚又接连为彭老总、贺老总等人平了反，并借此配合党中央纠正错误思想，反对“左倾”。

粟裕在看到黄克诚的铁面无私之后，不禁萌生了为自己平反的想法，于是便给黄克诚写了一封信，诉说自己的遭遇。粟是在1958年遭到批评的，此事在当时闹得很大，直接导致粟被迫离开解放军的核心领导层，退往文职部门工作。粟裕这些年一直憋着一口气，想要洗清自己蒙受的不白之冤，余生他要清清白白的生活。

黄克诚在接到粟裕的来信之后，马上责成专案组对粟裕的案件进行复核，在确定粟裕并无重大过错之后，黄克诚立即写了一份报告交给总政部，请求为粟裕平反。另外一边，粟裕自己也写了一份报告递交给党中央，为自己申诉。邓公、叶帅都在报告上批示了“同意”二字，随后转交到总政部审阅。

粟裕以为有这么多中央领导支持自己，自己一定能很快恢复清名，但令他万万没想到的是，总政部却扣住相关材料迟迟不予通过，即便他再三催促，但总政部还是一直找各种理由推脱，拒绝为粟裕下发平反文件。此事黄克诚也是爱莫能助，毕竟他已经离开了部队，总政部不是他能插手的。一直到1984年，粟裕离世，也终究未能获得平反，而黄克诚也为此事尽了最大的努力，他在主政中纪委最后的一段时光里，还向总政部发函询问平反的进展，结果得到的回复还是“审核中”。

关于粟裕为何迟迟不能平反，有好几种猜测，其中比较客观的一个观点是这样说的：总政部的负责人在过去与粟裕有过一些不愉快，所以才故意卡着平反一事不通过。另外一些猜测毫无根据，甚至有些阴谋论的意味，所以不可轻信。

时间来到90年代，一些老同志见粟裕还没摘掉“帽子”，于是联合起来写了一封信呈递给党中央，请求为粟裕恢复名誉。此时相关阻力已经消除，因此党中央和总政部很快便做出回应，同意为粟裕“摘帽”。不过此前党中央曾出台一个规定，原则上不再专门下放平反文件，因此对针对粟裕的平反只能通过其他方式进行。

1994年3月，中组部联合总政部派遣专人找到粟裕的爱人楚青同志，向她表示慰问的同时，也询问了对粟裕平反的具体意见。楚青表示，必须要肯定粟裕的功绩，并且还要就错误批评做出说明。仅仅4天之后，总政部便给楚青发来一篇追忆粟的文章，请她审阅，楚青觉得其中有几处用词不当，便提笔予以删改，随后将文章又传回总政部。当年年底，经过多方勘定无误后，该文章在党政官媒上发表，至此也彻底宣告粟裕获得“解放”，不必再背负一些莫须有的处分。楚青在看到文章的第一时间便去给粟裕扫墓，告知丈夫这个好消息，以告慰丈夫的在天之灵。

粟裕与妻子楚青共育有3个孩子，其中长子最为优秀，其在参军后打过对越自卫反击战，经历过战场的残酷考验，后来一度官至中将；次子生活平淡，与普通人无异；唯一的女儿也嫁给了陈老总的儿子。