尔朱荣死后，高欢内心就已萌发了和尔朱氏家族分庭抗礼的打算，对于尔朱兆的命令也是爱搭不理。但彼时高欢的实力还有限，想要全面对付尔朱氏家族也不现实。对高欢来说扩充实力是当务之急，而他将目标锁定在了六镇之乱的降兵们身上。
葛荣兵败后，他那二十多万的部众被流放到了并州、肆州等地，等待他们的依旧是苦不堪言的压迫。尔朱荣和他的契胡军士们一直残酷地凌虐、剥削这些人，于是这些人在忍无可忍之下再度进行反抗，叛乱次数前后大大小小共计。即便尔朱荣派兵镇压，屠杀了他们一半多人，反抗依旧没有停歇。等到尔朱荣被元子攸杀了之后，这些人的反抗也越发激烈。
能力远不及尔朱荣的尔朱兆对此自然是一筹莫展，头疼不已的他赶忙找来高欢询问对策。高欢对此似乎早有对策，他对尔朱兆说道：“这些反叛的六镇之民全部杀掉是不可能的，也不能任由他们一直反叛。为今之计只能选派一位您的心腹之人去统领六镇军民，如再有反叛者，则惩处您指派的首领，如此一来受到处罚的人也就少了，叛乱也就会消停了。”尔朱兆本就是有勇无谋之辈，加之此时又已喝得醉醺醺，便立马拍手叫好说：“好主意！但派谁去合适呢？”
这时同样在场的贺拔允立马向尔朱兆推荐高欢最适合这个位置。谁知高欢立马发怒，直接挥拳朝贺拔允的嘴打了过去，刹那间贺拔允满嘴鲜血直流，一颗牙齿也被高欢打落。但高欢似乎还不解气，又大声怒骂贺拔允：“天柱大将军（尔朱荣）在世的时候，我高欢受其调遣如鹰犬一般不在话下。如今天下之事全由大王（尔朱兆）说了算，大王都没发话哪轮得到你贺拔允大胆妄言”说罢高欢请求尔朱兆处死贺拔允。
作为贺拔岳、贺拔胜的哥哥，贺拔允自然也不简单，事实上他和高欢关系还非同一般。如今他俩在尔朱兆面前拳脚相向，很大概率是一出苦肉计，但头脑简单的尔朱兆在酒精加持下哪会想到这些。他只觉得高欢对自己很忠诚，于是便将六镇军民交与高欢统领。高欢得令之后自然是欣喜若狂，担心尔朱兆酒醒之后又反悔，高欢便赶快走出营帐，对将士们宣布这一命令，并让所有人到汾河东岸集合。之后高欢在阳曲川建立了幕府，安置所部，恨透了尔朱氏和契胡军士的六镇将士对此自然是十分高兴，极短时间内就奔赴高欢处集合完毕。
此时的高欢虽然开始有了本钱，但毕竟还是在尔朱氏势力的眼皮子底下。于是没过多长时间，高欢以并州、肆州连年霜旱，兵士没有粮食为由，派刘贵向尔朱兆请示让自己率领手下到太行山以东去乞食。尔朱兆毫不犹豫的批准了这一建议，长史慕容绍宗赶忙出来劝谏尔朱兆不可让高欢离开，结果反被尔朱兆囚禁。
原本事情到这高欢已经成功大半，可他在从晋阳出滏口的中途遇上了从洛阳回来的尔朱荣妻子北乡长公主，见北乡长公主带有三百匹好马，高欢便将这些好马全部截夺下来，另用差马与其调换。北乡长公主回到晋阳向尔朱兆哭诉了这事，尔朱兆闻言勃然大怒立刻放出慕容绍宗询问计策，随后亲自率军追赶高欢。
好在高欢运气不错，尔朱兆追至襄垣县时，正值漳河暴涨，桥梁被冲坏了，双方隔河相对。高欢随即又施展了巧舌如簧的本领，将抢马一事说成了是为防备山东的盗贼罢了。结果尔朱兆还真信了，甚至还投刀于地，自己过河与高欢杀白马而盟，誓为兄弟，并在高欢帐内留宿夜饮。期间高欢手下尉景想埋伏壮士捕杀，但高欢考虑到此刻己方兵饥马瘦，还无法对抗其余尔朱氏家族的成员，于是极力阻止。次日尔朱兆渡河回营，又下令请高欢到自己营帐一叙，结果在孙腾劝阻下没有前往。尔朱兆对此竟然也没有发作，只是隔河责骂高欢，随后便率军驰还晋阳。
就这样高欢犹如蛟龙入海脱离了尔朱氏的控制，有人有地盘让他实力迅速壮大，此时他所要做的就是等待时机，恰好在此期间尔朱氏家族内部也开始出现嫌隙。
