1927年4月，蒋介石在南京宣布清党，彻底和苏俄决裂，当时苏联代表鲍罗廷在武汉和汪精卫成立了新国民政府与南京分庭抗礼，

在北方的各路军阀也都纷纷站队，其中坚决反共的阎锡山则公开宣布支持南京政府，他公开表示，南京政府是秉承总理遗志，武汉政府是第三国际扶植的傀儡政权，我山西绝不会奉武汉的号令，在当时形势并不明朗的情况下，阎锡山为何会如此反对武汉政府呢？

在国民革命军北伐开始之后，阎锡山就一直非常关注南方的局势，他对打土豪分田地以及成立工会，没收资本家财产等举措都非常不满，认为这是土匪行为，所以在看到蒋介石清党后，他对南京表示认同，

而武汉方面为了获取阎锡山的支持，在六月派出代表孔庚来到太原，准备任命阎锡山为国民革命军北方面军司令一职，但阎锡山对这位代表的态度极其冷淡，见面后直接了当的说：南京政府是革命的，能代表民国，武汉政府是苏俄组建的布尔什维克政权，他们实行共产，砸烂了武汉的商铺，瓜分商人资产，分了地主的地，砍了地主的头，山西工商界被他们吓破了胆，坚决反对我支持武汉，我不能违背所有山西人的意愿，

还有那个共产国际的代表鲍罗廷，名义上是顾问，实际上他就是武汉政府的太上皇，所有的一切都被他所把持，他和大清时欺压百姓的洋神父没有区别，砸烂孔庙，毁中华三千年文明，树立邪神，蛊惑人心，你回去可以明确转达我的意思，我只会与南京政府合作，孔庚无法劝动阎锡山，只能回去复命。

在这之后，阎锡山又向蒋介石提出了清党的策略，他认为“清人”不如“清法”，沙皇俄国当年对布尔什维克痛下杀手，可是其如雨后春笋，杀死旧人又会有新人顶上来，要想遏制其扩大成事，就要用严刑峻法来打击，用怀柔之策来瓦解，防止其渗透到国民党内部，

另外布尔什维克之口号极具煽动性，打土豪，分田地，均贫富，按需分配，实现世界之大同，这些都能让青年趋之如骛，可稍有社会经验之人都会明白，煽动性的言辞不过是美丽的谎言，按需分配是不劳而获，强取豪夺之代名词，人人都不是生产，不用外敌入侵即会国将不国，世界之大同无乎就是不亲自己之父母，不爱自己之儿女，家不成家，乱宗亲，毁礼法，我中华必亡。

他的建议蒋介石很是认同，可是当时军阀林立战事不熄，蒋介石根本无暇按照阎锡山之建议进行改革，阎锡山在山西则严格执行各种政策，所以在民国时期，山西一直是反共模范省，直到1949年，国民党大势已去，太原守军仍然顽抗到底，五百完人更是成为国民政府重点宣传的对象，最终阎锡山追随蒋介石到台湾，再也没有回到大陆。