庐山会议后，彭老总搬到吴家花园居住，虽然保留了政治局委员的职务，基本上也没有参加过会议，都是通过办公厅主任杨尚昆反映。
找杨尚昆的原因，不仅仅他是中央办公厅主任，而且还曾经在红军时期给彭总做过搭档，俩人配合也非常好，个人关系也不错。
此外，上级特意嘱咐他每个月去看望彭总，帮助联系和解决学习和生活上的一些问题。此后一段时间，他进入党校学习。
对于彭老总的情况，上级也希望他出来工作，至于安排什么职务是一个问题，给人当副手显然是不合适，回军队更不可能了。最终考虑让他到农垦部担任部长，像黄克诚、邓华、洪学智，钟伟转地方工作后也从事农业、农机相关工作。
那么，这就产生一个新问题，农垦部部长已经有人了，他是王震，曾是彭老总的老部下。人家担任农垦部部长好多年，好端端的突然被调离，本人来说愿不愿意，合不合适呢？还有一点就是彭老总愿不愿去。
当时，上级让杨尚昆给彭老总转达这样一个决定，征求他的意见，而杨尚昆看到老总的心情不是很好，认为出来工作的可能性不大，也就没有把这样提议与老总交谈。
后来，聂老总、陈老总、杨尚昆一起去找彭总做工作。到1961年，彭总写信希望到农村做调查工作，得到同意后，到湖南农村去了。
1965年，彭老总还被安排担任三线建设副总指挥，对于到西南工作，他是有顾虑的，怕说话没有人听。上级表示，谁反对就谁来说，希望卸下他的思想包袱。
此时，杨尚昆的境遇也不是很好，因为所谓录音事件而被免职。他以私人的关系送了彭总踏上西南的列车。这一别竟然是永别，此后两人的境遇都不好，杨尚昆在1978年才回工作，而彭总在1974年病故。
