1980年2月29日，十一届五中全会全体公报通过决定，“批准汪东兴、纪登奎、吴德、陈锡联四位同志的辞职请求，免除或提请免除四位同志所担负的党和国家的领导职务”。
自此之后，汪东兴、吴德、陈锡联进入中顾委工作，纪登奎进入国务院农村发展研究中心（农研所）工作，4人实际上离开中心，但还可以在一定程度上参与建言献策。
陈锡联的退休生活在待遇方面，其余3人基本都是正部级待遇，唯陈锡联有些特殊，因为他是中顾委常委，可以享受副国级的待遇，但实际差别并不明显，主要在于陈锡联家中有一个警卫排负责安保。1980年后陈锡联主动要求减少人数，于是减为2个班，后来是一个班，直到陈锡联去世。
陈锡联担任中顾委常委期间，主要负责的一项任务就是出席各种关乎军事的纪念活动和开幕仪式，比如七七事变纪念碑落成，百团大战50周年纪念活动，中央革命根据地成立的周年活动等等。
陈锡联自己在回忆录中写过，1994年的时候，徐向前元帅的铜像落成揭幕仪式在太原举行，中央委托他和其他同志去参加，当时陈锡联身体不好，但他说：中央的委托我不能推脱，战争年代徐帅救过我的命，我就算搭上老命也要去。
除此之外，陈锡联由于此前负责过体育方面的工作，也经常代表中央去出席参加一些在全国各地举办的运动会。
虽然已经不在军队工作，但作为一个戎马半生的军人，陈锡联的交际圈主要还是军队的老战友、老部下。他们逢年过节常常会互相走动，不变的话题就是战争年代的难忘回忆。
在个人爱好方面，陈锡联喜欢钓鱼，参加过很多钓鱼比赛，并获过不少奖杯。当时钓鱼比赛的厂家都希望像陈锡联这样的老领导得奖，可以方便他们宣传。陈锡联也喜欢看电视，主要是看军事新闻、战争片、武侠片和京剧。有时候看到电视里播报官员贪污的新闻，陈锡联就会一边看一边骂：“该杀头！该杀头！”
据陈锡联的子女回忆，陈锡联的客厅里摆着一张毛主席的画像，自从1973年摆上去后就再也没有换过。
纪登奎的退休生活纪登奎在4人之中的特殊之处在于，他是1923年出生的，退休时只有57岁，还算年富力强，所以他在农研所工作，担任正部级研究员。
据纪登奎的儿子纪坡民回忆，十一届五中全会前，即纪登奎还未辞职前，小平同志曾有意让纪登奎管三件事：一是制定工资改革的方案，二是改革民航的工作，三是发展旅游业挣外汇。但纪登奎只接了最后一个任务，因为他认为“犯了错误的干部，不能担事儿”。
在农研所工作期间，纪登奎也一直保持着低调的本色，每次发言都很简单而且平和。但据经常接触他的人说，他能感觉到退休之后的纪登奎内心并不平静，有很多思考。纪登奎的儿子纪坡民的说法证实了这一点，他说父亲生前想写两本书，一本是个人的回忆录，一本写自己从河南调到北京后的工作经历。
由于纪登奎年纪还不大，他一直觉得自己将来总有时间动笔，所以就没有着急下笔，结果1988年7月13日，纪登奎却因为心脏病发作突然去世，成了4人之中年纪最小但去世也最早的人。后来，汪东兴、吴德、陈锡联的回忆录相继出版，偏偏没有纪登奎的，这不得不说是一个历史的遗憾。
吴德的退休生活吴德退休的前几年，就在北京东交民巷17号3号楼的房子里呆着，哪里也不去，当时17号院还有几位老同志，吴德和他们很少来往，和在在吉林、北京的老部下接触也不多，每天就是在家练书法，用瘦金体抄写毛主席的诗歌，然后就是看看书，种种花。组织配给他的车，每年几乎都不怎么加油，生活可以用“归隐”来形容。
后来，中央的领导去他家看望他，说他可以去全国各地看看，看看改革开放，于是在女儿吴铁梅的陪同下，吴德就去了西安、广州、海南。
吴德也喜欢看新闻，主要是《新闻联播》，有时候他看到新闻上播报一些官员贪污的消息，就会生气地说：把电视关了！有一次，他和朋友聊天，听到一些不好的消息，还专门跑到中纪委去发言。
吴德晚年赋闲后，在当代中国研究所同志的协助下，写出了回忆录《吴德口述：十年风雨纪事——我在北京工作的一些经历》，此书在吴德去世8年后，在邓力群的帮助下得以问世。这本书出版后，曾因为一些措辞引起吴桂贤的反对，此事已在之前文章中介绍过，在此不赘述。
据吴德女儿吴铁梅回忆，吴德病逝后，治丧委员会的同志告诉他，吴德的葬礼是按照“比国家级领导人低半级，比部级领导人高半级”的规格举办的，即在副国级和正部级之间。
汪东兴的退休生活在4人之中，汪东兴的职务是最高的，他退休前曾任十一届政治局常委、中央委员会副主席。
据阎长贵回忆，汪东兴退休之后“心很宽，想的开”，90岁大寿的时候，他曾在饭店请当年的老同事吃饭，大家都夸他身体不错。然而，汪东兴当时已经经历过两次大手术，其中一次切除了3/4的胃。
“心很宽，想的开”或许就是汪东兴的长寿秘诀，另一秘诀是运动，每天都要散步，一开始每天走4000步，后来体力下降，每天走2000步。他在2015年以100岁高龄离开人世，成为4人中最后离世者。
汪东兴退休后，从中南海搬到了西单六部口新壁街的一座四合院，这里距离中南海新华门只有不到3里，对面就是王震的住所。汪东兴的生活低调安静，据周围的邻居说，从来不见他们家开门。
但事实上，汪东兴的家里常有人来拜访，比如阎长贵、杨银禄，据他们回忆，汪东兴晚年常常谈起毛主席，言谈间充满敬佩，有时候说着说着会流下眼泪。到去世前几年，汪东兴还在通读《毛泽东选集》，以从中寻找问题的答案。
汪东兴去世后，中央给他的《生平》是最长的，占了7页A4纸，这主要是因为汪东兴在历史的特殊贡献和地位。在谈及汪东兴六七十年代的工作时，《生平》写道：汪东兴“保护了一批老一辈无产阶级革命家和民主党派及无党派人士”，“及时向周恩来同志和中央、地方、军队的其他领导同志传达毛泽东同志讲话精神，……做出了应有的贡献”，“坚决执行党中央政策，协助党中央采取断然措施……”
作为第十届和第十一届中央政治局委员中最后一位辞世者，外界评价，汪东兴的逝世象征着一个时代的落幕。
