早在1980年，有一些人选择了主动辞职，其中就包括了吴德，从那以后他的名字就从广播和报纸上消失了，他那和蔼朴实的形象似乎也逐渐淡忘于人们的记忆中。辞职以后，吴德完全远离了一线岗位，他搬到了一个僻静的小院子里，过着低调平静的生活，从此很少再抛头露面。

吴德晚年并不像很多退休老人那样，经常聚在一起下棋打牌或钓鱼，他平时只喜欢独自待在书房里，阅读一些哲学和古典书籍，偶尔也会练一练字帖。他的老家曾多次邀请他回乡看一看，但吴德思虑再三还是婉拒了，因为他并不是不思念家乡，只是不愿地方上搞接待造成不必要的麻烦。

“有德”这两个字，曾是家喻户晓对吴德的评价，而他晚年确实仍然一直保持着勤俭朴素的良好品德，他住的是普通房子，吃的是粗茶淡饭，穿的是补丁旧衣，甚至连出行都很少使用公车。对待家人他更是严格要求，从不允许打着他的旗号办什么事，因为他希望子女都能做自食其力的普通人。

吴德晚年病重入院后，医院按照副部级待遇对他进行了治疗，但他的女儿却持有异议，因为她觉得这个级别不符合父亲应有的待遇，而不同的待遇用药是不一样的。此后，吴德的女儿多次到有关方面反映此事，但还没等到具体回复，吴德就因病情加重抢救无效离开了人世。