上世纪80年代，坊间开始盛传一些与许世友将军有关的流言，称他目中无人、嚣张跋扈，在南京当“土皇帝”。事实上，许世友的脾气确实暴躁，但他从来没有做过任何出格的事情，坊间的流言分明是别有用心之人故意编造出来污蔑他的！

时间来到1982年，全国人大工作会议即将召开，许世友受邀参会，按照相关规定，党中央应该安排专机去南京接许，但杨尚昆同志却在此时突然通知负责中央办公厅日常事务的耿飚，不要管许世友，让他自己坐民航飞机来北京。耿飚对于此举很不理解，但也没有多问，随即取消了接许世友的专机。

另外一边，许世友在得知杨尚昆同志的所作所为之后，却并没有生气，他老老实实坐民航客机从南京前往北京。飞机落地之后，群众们很快便发现了许世友，随即围上来主动和老将军打招呼。许世友表现得非常平易近人，频频挥手和大家致意，并且还与几名同志亲切握手。这一幕刚好被一名记者看到了，记者随即按下快门，为许世友拍摄了一张照片，并将其登载在第二天的头版报纸上。

很快，此事便引发了热议，大家都纷纷夸赞许世友亲民、没有官架子，有关他的谣言也随之不攻自破。原来杨尚昆同志之所以让许世友坐民航客机，就是为了让他展示平易近人的一面，借以终结坊间的流言。许世友对于杨尚昆同志此举非常感激，他后来曾当面向杨尚昆同志道谢。

人大会议结束之后，许世友照例返回南京休养，此时的他已经年过七旬，身体状况大不如以前。有一次，他外出打猎，一连玩了两个多小时，回程的时候，他坐在吉普车上几乎快要脱力瘫倒了，若是放在以前，他能打一天的猎而不会感到疲惫。许世友有一个很特别的爱好便是饮酒，晚年他更是爱喝，每顿饭都要以烈酒佐餐。医生曾经劝他要适量饮酒，否则会加重身体的负担，可许世友已经对酒精形成了依赖，他实在戒不了酒，总是偷偷的喝酒解馋，这无疑加重了他的身体负担。

1983年前后，许将军突然感到腹部剧痛，秘书和警卫员紧急将他送往医院就医，医生在对他做了几样检查之后，确定他患上了肝癌，由于南京的医疗条件有限，没办法为他提供最好的医疗服务，所以医生便建议他到北京协和医院治病。但出人意料的是，许世友居然拒绝去北京，他坚持要留在南京，谁劝都没有用。无奈之下，南京军区医院只好遵照北京方面的要求，全力为许世友缓解病情，尽量延长他的生命。

1984年，许世友的病情进一步加重，他已经彻底失去了行动能力，只能整日卧床静养，唯一的娱乐活动便是听收音机、读报纸。这天，许世友的精神头很好，他破天荒的提出要到外面走一走，透透气。但医生担心他出门会感冒，因此不允许他外出，只是让护士用轮椅推着他在房间里转了几圈，许世友表现的很高兴，像和孩子一样哈哈大笑。半个小时后，许世友玩累了，于是便上床休息。这是许世友最近状态最好的一次，后来随着病情加重，他的精神头越来越差，时常半梦半醒。

到了1985年，许世友的情况已经很危急了，他时常无故昏迷，肝脏的各项指标也一降再降，几乎无法正常工作，只能靠着一些仪器维持生命。他的子女们知道他可能撑不了多久了，因此一直守候在他的身边，陪他度过人生中最后一段时光。

当年10月，他不幸离世，当天晚上，他的遗体便被悄悄运送到大别山安葬，他身边的随葬品仅有三样，一是猎枪，二是烈酒，三是母亲留下来的一百块钱。原本他的墓葬是没有墓碑的，后来还是杨尚昆同志自掏腰包，替他立了一块碑。

现如今，许世友的长眠之地已经被修葺为红色景点，经常有人去拜会、扫墓，大家知道许世友喜爱烈酒，因此在祭奠他的时候都会摆一瓶烈酒在他的墓碑之前，久而久之竟形成了一道“酒墙”。

许世友的子女们都非常优秀，有从政的，也有在部队当兵的；许世友的孙女许道江目前在火箭军部队服役，专攻医疗领域，是一位非常杰出的医师，目前已经当上了大校军官。