“四人帮”中，比起其他几位，文痞姚文元是被判得最轻的——只盼了二十年有期徒刑。因为虽然那几年很多具有煽动性的文字都出自他之手，但是姚文元更多充当的只是“一把刀”这样的角色而已。
说白了就是跑腿的，他不仅级别是几个人里最低的，连几个人的核心“机密”他知道的都不多。
东窗事发之前，姚文元一家人都住在上海市委机关宿舍里，他和妻子金英一共养育了三个女儿。他自己是中央政治局委员，妻子也在政府工作，三个女儿又乖巧可爱，五口之家的生活过得十分舒坦。但是当姚文元拿起笔加入“四人帮”的时候，就应该想到会有正义审判的那一天。1976年10月7日，中共中央政治局决定将姚文元隔离审查，第二年就将他永远开除党籍并撤销党内外一切职务。接着到了1981年的最终审判时刻，其他几人不是死刑就是无期徒刑，而姚文元被判处了二十年有期徒刑，剥夺政治权利五年。从姚文元被隔离审查开始，他的妻子女儿就从市委大院搬到了普通居民区。当时的人们对“四人帮”深恶痛绝，和他们沾上边的人自然也逃不过大家的批评。
在姚文元服刑期间，妻子金英被从政府单位调到了另一个普通单位，并且只是挂名。而女儿的生活社交也受到了影响。有一回他们所在区域的居委会举办了一个联欢活动，不仅邀请了本地官员，也邀请了姚文元的女儿参加。但是那些官员一听姚文元的三女儿也要来，纷纷推辞不再参加，即便居委会工作人员各种解释，说姚文元的女儿已经和他“划清界限”了，但是最后活动现场，还是有很多人没有来。而姚文元的大女儿已经出嫁，二女儿身有残疾不能自理，三女儿在上班但也生活拮据，如今又受到大家的排挤，和当初其乐融融的快乐生活比起来真是天差地别。
一直到1996年10月，姚文元刑满释放，可惜的是，和他十分恩爱的妻子金英，虽然日夜思念着他，但是因为病重最后在他出狱前一个月就去世了。出狱后的姚文元，代替了去世的妻子，和两个女儿一起生活，他把妻子金英安葬在上海青浦区福寿园，用一块大理石墓碑记录了妻子的一生，最后还在墓碑的背后，刻了妻子写得一首词。姚文元的晚年，也是从出狱后才真正开始。他之后深居简出，在家撰写自己的回忆录，历经几年的删改，写成了一部42万字的书，但是这本书送到上面审核之后就一直没有了回信。
后来姚文元提出自己可以写一些自己亲身经历的历史事件，组织批准了他的请并给他配了一名助理。于是姚文元又用八个月的时间，写了5万多字的《回顾与反思》，这本从他个人角度讲诉一些重大事件的书，其实相当于他回忆录的简要版本。不过同样的，送去审核都没有了下文。姚文元曾提出想要出版回忆录，以及想要重新入党，但是这两个请求一直到他2005年去世，都没有实现。
