1959年秋天，彭德怀离开了中南海，来到了北京西郊的吴家花园，在这里度过了整整6年的闲居岁月。在这6年里，彭德怀勤奋地学习、劳动，他常常感叹说：“我不能白吃人民的小米呀！”
彭德怀
1965年9月中旬的一天，中央办公厅突然派人将彭德怀请到了人民大会堂，他在这里见到了时任中央政治局委员、北京市委书记的彭真，两人聊了一会后，彭真郑重地对彭德怀说：“毛主席让我转告你，让你到成都抓西南大三线的建设。”
彭德怀想了想，然后说：“这事我还不能答应！我早与军队脱离了关系，再也不想搞与军队有关的事，而且不懂工业，这怎么能去呢？我还是不去的好，烦你向主席复命，我会写信给他，希望能让我到外地的国营农场当农民去。”
彭真不禁摇摇头说：“彭总，你还是再考虑一下吧！”
这天晚上，彭德怀久久不能入睡，他给毛泽东写了一封信，表示根据自己现在的情况，还是不去西南三线的好，并要求回老家或到外地的国营农场去劳动，当一辈子农民，自食其力，不再拿饷，以减轻国家负担。
9月23日清晨，彭德怀突然接到了毛泽东办公室打来的电话，说是毛泽东要与他直接通话。彭德怀赶紧接过话筒，电话那头传来了毛泽东那熟悉的乡音：“你赶快过来吧，我们好好谈一谈。”
毛泽东和彭德怀
彭德怀马上赶到了中南海颐年堂，毛泽东已经在这里等候多时，这是自庐山会议6年之后，两个人首次相见，他们都很激动，两只手紧握着，久久不愿松开。
两人坐下以后，毛泽东说：“早在等着你，还没有睡觉。昨天下午接着你的信，也高兴得睡不着。你这个人有个犟脾气，几年也不写信，要写就写八万言。”
彭德怀的脸上露出了难得的笑容：“主席没有忘记我，我很感激。”
随后毛泽东主动提出了让彭德怀去“三线”：“庐山会议已经过去了，可不能庐山一分手到底哟！你我风雨共事几十年，我不会忘了你，日久见人心嘛！这次派你到西南去抓三线建设，我也是真心诚意地支持你。西南是主要的战略后方，你去把它建设好了，我就放心了。万一将来发生战争，你还可以带兵打仗嘛！”
彭德怀不禁苦笑：“主席，我还是不去西南为好。我背着这一身臭名怎么去？到了那里，接触群众不方便，人家接触我也不方便。我还是回去当农民好。”
毛泽东笑着说：“臭了也可以香起来嘛！我们之间在一些看法上有分歧，这不要紧，但要顾全大局，在大局面前，要先将个人的问题放在一边。我们都是六七十岁的人了，应当为后代多想事，多出力。我们再一起往前走吧！”
这天两人整整谈了5个多小时，在毛泽东的反复劝说下，彭德怀终于同意去西南。谈话结束后，毛泽东特意把彭德怀留了下来，他们在一起吃了饭，喝了酒。
11月28日下午，彭德怀乘坐火车前往成都，并在11月30日到达，正式就任西南三线建设委员会第三副主任。不久以后，彭德怀的组织关系也转到了西南三线建设委员会，编在秘书处党支部的一个党小组，小组人员有警卫参谋景希珍、秘书綦魁英、司机赵凤池和服务员辛大兴，由景希珍任党小组长。
在党小组的第一次组织生活会上，彭德怀首先发言说：“希珍同志，我向你反映一个情况，你得向组织上反映一下，我要罢看电影了。”
景希珍连忙问怎么回事，彭德怀严肃地说：“院子小礼堂时常放电影，放的大部分是新影片，看的人为什么那么少？是专门为我彭德怀放的吧？这是严重的脱离群众！”
綦魁英连忙解释说：“彭总，这是因为西南局保卫科的同志考虑到安全原因，才没有对外卖票。”
彭德怀更加生气了：“我不会有什么安全问题，今后要对外公开卖电影票，我不能搞特殊。如果不改变这个做法，我绝不再看为我单独放映的电影！”
景希珍没有办法，只好向党支部进行了汇报，支部同意了彭德怀的意见。从此以后，院子里的小礼堂播放电影时，职工的家属也能买票看到新电影了。
这年12月初，彭德怀给主持三线建委日常工作的程子华打电话，要求建委给他安排个日程，到三线工地上看一看。程子华当即表态：“彭总，你要注意身体，能下去当然好，煤、电方面的事，你定了就行。”
12月7日，彭德怀在建委几名同志的陪同下，来到了成都东郊的无缝钢管厂视察。这个厂是西南三线的重点工程之一，施工将近两年，一部分车间已建成投产。彭德怀看得很仔细，并记录了厂长反映了许多问题，答应尽快帮助他们解决。
彭德怀视察了一个大车间后，和建委综合局的处长左德新聊了起来，左德新说：“‘大跃进’那阵子，我就反对大办钢铁，结果反‘右’倾的时候，反得我挺厉害，差点坐了班房。事实上那样的炼钢的确得不偿失，你说呢？彭总。”
彭德怀淡淡地说：“大办钢铁，我们没有经验，是走了一些弯路。这是过去的事，不去说它了。”
几天以后，彭德怀一行人又来到广安县境内的明光仪器厂视察。这天中午，彭德怀顾不上吃午饭，特地来到职工食堂，了解工人的伙食情况，当他得知食堂的新鲜蔬菜时常供应不上、工人只能吃些萝卜等干菜时，马上对随行的县长说：“三线厂的职工来自大城市，要关心他们的生活，一定设法满足食堂的新鲜蔬菜。可不可以与厂里联合搞几个专业的蔬菜队？”
彭德怀和群众们
县长当即表态：“彭总放心，这件事情我们一定尽力做好。”
彭德怀完成此次视察回到成都后，就几个工厂的煤、电、油供应和有关问题，亲自写成报告，分别送给了李井泉、程子华、阎秀峰等几位正副主任。
1966年的春节，彭德怀是在成都度过的。春节这天，彭德怀去三线招待所看望新从各地调来支援三线的干部家属和几次陪他外出视察的三线建委副秘书长，大家谁也没想到彭德怀元帅会亲自来自己家登门拜年，又惊又喜，笑声一片。
1966后春天，彭德怀又多次前往各地视察，尽管一路上的条件十分艰苦，但他的心情却十分舒畅，他对陪同的工作人员说：“过去战争年代靠的是群众支持，如今搞国防建设，也离不开群众的帮助，我们三线的同志一定要搞好同农民的关系，与群众同甘共苦。”
彭德怀画像
1966年4月，彭德怀在宜宾芙蓉煤矿视察期间，建委安排燃料局局长王思和陪同。王思和是一位老红军，他听说要陪同彭总，非常高兴，但他对业务不是那么熟，便叫上局里的煤炭工程师孟久振同行。
彭德怀在宜宾视察期间，非常细致，不仅深入矿区、车间察看，与技术人员交谈，还现场办公，解决了很多实际问题。通过短短几天的接触，王思和与孟久振对彭德怀不计荣辱地位、只是全身心投入工作的精神钦佩不已，孟久振感叹说：“彭老总真了不起，他过去是千军万马的统帅，现在成了这样子，还是这么竭忠尽智，不知劳累！”
王思和也感慨地说：“你总算看到了，这就是彭德怀呀！”
