1927年5月，众叛亲离的吴佩孚，逃到军长于学忠的驻地邓县。于学忠召集手下开会，师长阎得胜说：“吴大帅在此，目标太大，恐怕会引来冯玉祥和南方军的夹击。” 于学忠是吴佩孚的山东蓬莱老乡，颇受信任，被从营长一步步提拔到军长。1927年“二次北伐”开始后，吴佩孚丧失了大部分兵力和地盘，昔日的旧部对他态度微妙，当他抱着试试看的想法来到第九军在邓县的驻地时，于学忠带着师以上将领列队欢迎，这让吴佩孚很是感动。 尽管于学忠对吴佩孚一如既往的视为大帅，但第九军的主要军官们却大都有了异心。当冯玉祥的大军逼近邓县时，在军事会议上，以师长阎得胜为首的师、团长大都主张投靠冯玉祥。 吴佩孚和冯玉祥仇怨很深，这从第二次直奉大战后，吴佩孚逃到湖北东山再起，宁肯和昔日的死敌张作霖合作，也要对付冯玉祥的国民军就可以看出。 于学忠对此自然是清楚的，他对众人说：“玉帅处于危难之中，我等当竭力扶持。诸位如果非要倒向冯军，那我只有自杀向玉帅谢罪了。” 蒋介石写了亲笔信，让于学忠的山东老乡陈干转交，信中承诺，只要于学忠率部来投，除了军长职务可以保留外，还可选一省为驻地，并由南京发表为省主席。 于学忠看了信后，对陈干说：“玉帅于我有大恩，倒戈的事干不得。” 眼见冯军南下，北伐军北上，于学忠的部队陷入两面夹击，于学忠请示吴佩孚后，下令所部撤往豫东暂避风头。不料，第九军的两个师长阎得胜、毛永恩拒绝执行命令，并派人和冯军联络，于学忠能指挥动的，只有他兼任师长的二十六师。 吴佩孚见大势已去，对于学忠说：“孝侯（于学忠的字），都怪我识人不明，实在不行你就带着部队另谋出路去吧。” 于学忠说：“我与玉帅共进退，绝无二心。” 吴佩孚说：“军心已散，我决定带着卫队去四川，杨森、邓锡侯与我有交情，定不会为难。” 于学忠认为吴佩孚一旦去了四川，那就等于公开宣布失败，想再复起是难若登天，因此极力苦劝。然而吴佩孚去意已决，不久后带着卫队离开。 吴佩孚走后，于学忠将二十六师扩编为两个师，任命马廷福、杨殿云为师长，接着他召集主要将领开会，说：“我决定解甲归田，去蓬莱老家居住。我走后，军长由阎得胜代理，官兵是北投还是南附采取自愿。” 众人大吃一惊，纷纷劝阻，于学忠向大家解释了辞职的三个原因，一是，他无力挽救战事，导致吴佩孚到后不久就离开，内心深感愧疚；二是，第九军主要军官大都有向冯军投靠之意，他已决定和吴佩孚共进退，不愿倒向冯军，为了避免内部矛盾激化，离职是最好选择；三是，第九军官兵弹药耗尽，补给断绝，他自感不称职，难以胜任。 于学忠离开前，让军需清点军部资金，有大洋三万，他拿了一百做回乡的路费，其余的都让分给官兵，士兵每人一元，军官按级别不等。 在于学忠走后，第九军在阎得胜等人带领下，加入冯军。改编后，第九军的四个师，被下令分散驻守，这引起该军军官猜忌，担心遭到强行吞并。很快，第九军大部的官兵哗变，在突袭冯军孙连仲部后，撤到了安徽蒙城，他们派出代表，去蓬莱面见于学忠，让老军长带大家谋个出路。 于学忠考虑后，决定加入奉军，他去北京面见张作霖。张作霖、张学良父子早就想把于学忠拉过来，奉军将领也多有人说：“于学忠部为鄂军中最精强者，若能招揽，可如虎添翼。” 张作霖早年和于学忠的父亲在毅军宋庆的部队共过事，关系处的不错，因此一见面，张作霖笑呵呵的说：“我和你父亲少年时就是朋友，大家不是外人。” 于学忠提出，只要张作霖能把第九军的残部收编，按照奉军标准拨发军饷补给，谁当部队长都可以。 张作霖说：“你不是向我投降，而是合作关系，改编后军长还是你当，装备、补给一视同仁，绝对不会少给一个子。你对吴子玉（吴佩孚）危难之时不离弃，这我都是知道的。” 和张作霖的谈话，让于学忠的心放到了肚子里。随后，张作霖正式任命于学忠为奉军二十军军长，隶属于张学良的军团。 有了奉军军长头衔后，于学忠当即乘坐火车南下，和第九军残部会合后，将他们带到宿州整编。当时，奉军和张宗昌的直鲁联军一路败退，连吃败仗，而新加入奉军的于学忠，却指挥部队立下了不少战功。 损兵折将的张宗昌，数次被于学忠救援，他大骂手下说：“你们这帮人跟了我多年，还不如新加入的于孝侯会打仗。” 于学忠率部一路北上，边打边撤，在随奉军主力出关后，兵力大部保存，张学良对此很佩服，夸赞于学忠擅统兵。 张作霖在皇姑屯被炸身亡后，于学忠成为张学良稳定局势的左膀右臂。蒋介石曾派人以一百万大洋收买于学忠手下的师长马廷福，于学忠得知后对马廷福说：“老帅和少帅都待我们不薄，行事为人，应以忠义为重，绝不可如此行动。” 马廷福表面服从，暗中却策划将部队拉走，于学忠大怒，告知张学良后，将马廷福等人扣押，使得这次兵变未遂。 于学忠在东北军中，属于半路出家，但在后来却最得张学良信任，究其原因，除了于学忠确有能力外，他用着放心，不会背叛长官，也是重要原因。
