1962年初春，中央号召中直机关精兵简政，作为一国主席，毛主席便第一个带头执行这一政策，为此，毛主席将留在自己身边多年的卫士、秘书纷纷派往地方学习、工作，不久后时任中央警卫局局长的汪东兴找到李银桥谈话，通知他被调离。
谈话不久后，值班卫士向李银桥报告说：“卫士长，主席叫你去呢！”
听闻此言，李银桥整理了一下头上戴的帽子，然后才走进毛主席的卧室，只见毛主席依然是老习惯，躺在床上，倚着床栏看文件，听见有脚步声传来时，毛主席才缓缓抬头，看到是李银桥，毛主席抬手招呼道：“来，过来。”
李银桥怀着沉重的心情一步步向毛主席走去，走到毛主席身边时，毛主席主动伸出一只手拉住了李银桥，另一只手则轻拍着李银桥的肩膀，二人相对无言，良久后，毛主席缓缓开口：“听说你要走啊？”
其实，早在值班卫士告诉李银桥毛主席要见他时，他思想上已有所准备，对于中央与毛主席做出的决定，李银桥向来是遵从的，但令他没想到的是自己会调离毛主席身边，而且还是这么的突然。
听到毛主席的问话，李银桥已经难过得说不出话来了，他想起了自己在毛主席身边工作15年的点点滴滴，几乎没有和毛主席分开过一天，一时间，他的眼泪也止不住的落了下来......
图|李银桥和毛主席
毛主席见李银桥哭了，泪水止不住在眼眶打转，他深知李银桥在自己身边15年，早已舍不得离开自己，但为了李银桥的前途，毛主席还是轻叹一声，哽咽道：
“你跟了我这么多年，人也长大了；你在我身边，帮了我的忙。你是个好同志，你在我这里工作，一直兢兢业业，使我工作得很顺利，省了不少心。可是你老是跟着我怎么能行？我死了你怎么办？”
李银桥泪眼朦胧看向毛主席，他摇了摇头，想要说什么，却始终没说出口，毛主席见状又说道：“我也舍不得你啊！我和我的家人、我的孩子们一年也见不上几次面，你在我身边工作，我们每天在一起，朝夕相处，你比我的孩子还亲啊，你下去的事，我想过几次，我也得为你的前途着想，卫士长虽然地位高，但是职位太低了，我不能误了你......”
“主席，您知道的，我不在意这些，我只想陪着您，照顾您......”李银桥抽泣道。
毛主席微微摇了摇头，一边流着泪，一边握着李银桥的手又说：“你下去多锻炼锻炼，工业、农业、公安，几种工作都干一干，取得经验，提高能力，也好胜任更重要的工作。你今年才30多岁么！下去以后要夹着尾巴做人，要搞好团结，多接触工人群众，多多向周围的同志们学习，会有更大的前途的......”
这时，毛主席再也压抑不住自己内心的情感，他一把将李银桥搂入怀中，哭着说道：“银桥，你走以后，我身边再也不任命卫士长了！我死以后，你要每年坟头上去看我一次啊！”
见毛主席哭得伤心，李银桥想起了自己的职责，为了不让毛主席太过难过，李银桥立即擦拭了自己脸上得了泪水，并竭力克制自己，他紧握着毛主席的手说道：“主席，我听您老人家的话，下去以后一定好好干，我不会辜负您的期望的。”
毛主席擦着脸上的泪水，点了点头：“好，那好......那好......下去以后，一举一动都要注意影响。不要脱离群众，干任何事，不干则已，干就要干出成绩，事不在大小，都要善始善终，我身边的人都要有这么一种精神，不搞半途而废，有一口气就要干到底！”
听到这句话，李银桥再次哽咽了：“主席，我.....我记住了。”
图|李银桥
接着毛主席又交代道：“以后你每年都要来看我一次，进中南海的特别通行证不要交，我这里离就是你的家，我活着你来看我，我死了，你每年到我坟上看我一次，看我一次我就满意了......”
听毛主席这样一说，李银桥又忍不住哭出了声，毛主席赶忙拿毛巾给李银桥擦拭泪水，并转移话题道：“这次你下去，可以去石家庄，离你的家乡平安县近些。”
李银桥赶忙摇头拒绝道：“主席，我要离开你的话，不去石家庄，要去天津。”
“好！”毛主席点了点头，抬高声音说道：“你去天津，我从那里经过时，可以找你谈谈，我们见面也方便......”
随后毛主席又嘱咐了几句，并叮嘱李银桥临行前，一定要带着家人来看望他以后再走。
从毛主席那里出来后，李银桥回想着自己刚才与毛主席在一起的情景，泪水又涌上了眼帘，心中的留恋与委屈使他不能自拔，他真想找个没有人的地方痛痛快快地大哭一场！最终李银桥还是忍住了，他想起了自己对毛主席做出的承诺，他明白，他要听毛主席的话，以党的利益为重，一切服从组织的安排......
不久后，李银桥带着妻子、孩子来到中南海同毛主席告别，毛主席又向李银桥嘱咐了许多，临走前，毛主席不仅同李银桥一家人拍了合照，还送给李银桥一首自己亲笔书写的《长征》。
就这样，李银桥离开了毛主席，带着家人前往天津工作，值得一提的是，在李银桥离开中南海后，毛主席便再也没有设立卫士长一职，这一位置毛主席始终为陪伴自己15年的李银桥留着......
图|毛主席题字（我的卫士长李银桥）
李银桥被调离毛主席身边后，毛主席起初并不适应，每当想起李银桥却发现李银桥早已不在自己身边时，毛主席总是忍不住轻叹一声。
一次，杨尚昆将李银桥总结好的材料递交给毛主席，毛主席看后，笑着称赞道：“银桥很会办事，他是好人，肯干，还守纪律，他在我身边一干就是15年，辛苦他了......”
杨尚昆深知毛主席对李银桥的想念，便提议将李银桥调回来，可毛主席却摇头拒绝了，因为毛主席在调离李银桥时，本就是为了他的前途着想。
虽然没有让李银桥再回到自己身边工作，但在此后的岁月里，毛主席从未忘记李银桥，也始终记得当初在李银桥临走前，对他许下的承诺：“途经天津时，就和他见见面，谈一谈！”
1963年，毛主席乘坐专列来到天津，听取河北省和天津海河人民积极抗洪抢险的情况汇报，在了解完情况后，毛主席向林铁询问了李银桥的情况：“我的卫士长李银桥在天津，他的情况还好吧！”
“银桥同志在公安处工作得很好，同大家关系搞得也很好！”
听闻此言，毛主席满意地点了点头：“这是一个老实人呢！他跟了我15年，六二年中央精兵简政，我不得不放他和我身边的一些人下来。他离开了我，我还是很想他的。”
图|毛主席
毛主席的一番话，表达出了对李银桥浓浓的想念，林铁连忙说道：“这好办，我们这就通知李银桥来看望主席。”
很快，林铁找到李银桥交代道：“李银桥，你到主席那里去一趟，他打听你呢！”
李银桥听闻此言，连忙点了点头，但当天毛主席并未等到李银桥来看望自己，便返回了北京，当李银桥得知毛主席已经离津返京后，便立即赶往北京。
来到中南海后，李银桥便来到毛主席的住地游泳池，很快，毛主席便接见了他。
毛主席在见到李银桥后，热情地同他握手，并询问了他工作情况和家庭情况，当得知一切都顺利后，毛主席才满意的点了点头：“那就好，那就好！”
对于李银桥，毛主席有着十分深厚的感情，分别前，毛主席笑着嘱咐道：“银桥啊，我这里就是你的家么。你来看我是‘探亲’，以后你要常来，很近嘛......”
李银桥笑着连连点头：“是！下次我和小韩一起来‘探亲’！”
虽然不能时时刻刻陪在毛主席身边，但李银桥只要有空便会借着向毛主席汇报工作的途径，同毛主席多待一会儿，这无论对李银桥还是毛主席而言，都是极好的。
1965年，毛主席又一次来到天津视察工作，在休息时，毛主席又一次向河北省委同志问道：“李银桥如今在哪里？”
图|毛主席
河北省委的同志见毛主席打听李银桥，便立即派人通知李银桥来看望毛主席。
李银桥来了，毛主席笑着问道：“银桥啊，你现在干什么哩？”
“还在公安处......”
毛主席一听，脸上的笑容消失了，取而代之的是严肃：“你怎么不听我的话呢？我不是让你去学工业吗？怎么还在公安处？”
“这是他们的安排。”李银桥见毛主席有些生气，声音也低了下来。
见并不是李银桥自己的主张后，毛主席语气稍微缓和了一些：“银桥啊，我当初让你下来，就说让你多学点知识，多经受些锻炼，要搞工业、农业，你总在公安战线上工作怎么行呀？搞社会主义，首先要懂经济工作，你要学会掌握这方面的知识和经验才行。”
“是，我听主席的。”
就这样，毛主席离开天津不久后，在毛主席的安排下，李银桥被调去天津国棉二厂工作了。
此后的日子里，毛主席与李银桥依旧相互惦念，虽然因为工作原因，他们鲜少再见面，但他们却从未忘记过对方。
每当遇到有中央的人来到天津时，李银桥总会上去询问毛主席的近况，当得知毛主席一切安好时，他总是会笑着点点头，毛主席亦是如此，当得知李银桥一切顺利时，毛主席也总是会忍不住笑着说道：“银桥是个老实人”......
