1980年，许世友被调到北京工作。1982年，他退居二线。按理说任职北京、在北京退休，许世友应该把家搬到北京来住才对，但是他执意不肯，宁愿麻烦点。最后，组织念许世友劳苦功高，破例批准他定居南京。他的妻子很生气，几个月都不去南京看望，孩子们对父亲这样也不太满意。
之所以会生气和不满意，是因为他们没有把许世友想明白。对于妻儿的做法，许世友说：“路由你们自己走，都市里长大的，眼高手低。咱们谁也别强迫谁。”从此，许世友住南京写回忆录，他的妻子和孩子生活在北京。
许世友晚年不愿意住北京，源于他的重情重义、源于他想忠义两全。他担心自己在北京去世，遗体会被火化，不能完整地埋到母亲的墓旁。许世友个性鲜明、爱憎分明，情感世界十分丰富。他是在1926年，王树声的领导下参加革命的。在1927年，参加了著名的黄麻起义。
在建国前与母亲的最后一次见面，许世友跪在地上，行了个大礼，像是对母亲保证，又像是对着天地赌咒发誓：“我许世友活着为国尽忠，死后为娘尽孝。活着不能伺候娘，死后也要埋在娘身边，日日夜夜陪伴娘。”许母一句话没说，只是把半夜煮好的鸡蛋塞儿子怀里，让他补身子。
解放后，许世友忙于国事，仍然无法回家探望母亲。无奈之下，他只好让大儿子（生长在老家，与发妻所生）去把母亲接来。在母亲到来的这一天，许世友把身边的工作全部处理完，一门心思等着。当他看到儿子搀扶着母亲，从吉普车上走出来的时候，像是被定住了一般：这是娘吗？娘怎么从满头黑发变成了满头银发？腰也直不起来，走路还有些颤颤巍巍。娘老了！
许世友当着上百人的面，扑到母亲身边，“扑通”一声跪下，声泪俱下，“娘啊。”许母用颤抖的手，抚摸着自己多年不见的儿子，恍惚间有些不真实感。
1965年秋天，许世友正在视察海防工作，突然就接到老家发来的“母亲病重”电报。看完，他心里堵得慌，好像被什么压着喘不过气。他想立刻、马上就回家，但自己重担在身，还有工作没做完，他只好让长子把母亲送到南京治疗，自己忙完就赶回南京见母亲。
可是令许世友万万没想到的是，母亲还没到南京，就在老家与世长辞了。母亲的最后一面，他没见上。母亲的送葬，他也未能参加。许世友悲痛欲绝，尤其是从长子口中，得知了母亲临终前，还喊着自己“三伢子”的乳名。年逾花甲的他，跪在母亲遗像前，哭得像个孩子一样。
不过，许母多年来一直都有长孙陪着，最后一程又有长孙代父行孝的送行，心中定是宽慰不少。他们祖孙二人相依为命多年，过着极为艰难的日子，感情十分深厚。可没能见到儿子的最后一面，对许母来说，终究是个莫大的遗憾。
晚年的许世友生病，去北京的医院本可以得到更好的治疗，但他就是不去，无论上级、战友和亲人怎么劝都不行。1985年10月22日，许世友与世长辞，享年80岁。临终前，他再次断断续续表达，希望能回故乡土葬的请求：“人生自古忠孝难两全，我一生自幼离家参加武装斗争，孝敬父母不足。活着尽忠祖国，死后尽孝老母，愿与老母合葬。”
小平很清楚许世友“想忠孝两全”的想法，于是顺水推舟，同意了下来。许世友得偿所愿，终于能永生永世地陪在母亲身边了。
