由于北方民族的杂居，因此斗争更带有反民族压迫的性质，不过内迁胡族的反民族压迫要求，有时却被本族上层分子所利用，匈奴贵族刘渊就是在这种情况下起来反晋的。刘渊是匈奴左部帅刘豹之子，曾被作为匈奴的“质子”长期住在洛阳。他通晓儒家的经典，常常和汉族大族交往，汉化的程度很深。

三王起兵之后，他以发动匈奴人帮助成都王颖作战为借口，回到匈奴人聚居地并州，得到其它匈奴贵族的支持，在离石（今山西离石）起兵，自称匈奴大单于。并州一带受压迫的各族人民，为了摆脱西晋的统治，也纷纷起而响应。

三〇四年（永兴元年），在势力不断增长的情况下，刘渊由大单于改称汉王，仍都离石。他先将刺史东瀛公司马腾赶出并州，随后命令刘曜进攻太原，再转攻南方，相继攻陷蒲子、平阳。为了给进一步南下作准备，他将国都由离石迁到蒲子。在刘渊起兵的过程中，留在河东一带的豪强大族，为使自己的经济政治权益受到新主子的保护，大部分投降了刘渊。当刘渊起兵前后，关东人民的反晋斗争也此起彼伏，接连不断。

三O六年（光熙三年），山东东莱刘伯根发动起义，这支起义队伍很可能和流传在沿海一带的“天师道”有密切关系，所以被统治者诬为“妖贼”。当时东莱大族王弥也率领家憧，参加了起义。刘伯根死后，王弥继续坚持斗争，转战山东、河南一带，不断扩充队伍，后来在永嘉初年一度攻下许昌。

由于进攻洛阳遭到挫败，大族出身的王弥叛变起义，渡过黄河投降了刘渊。和刘伯根起义的同时，河北一带有汲桑、石勒领导的起义。石勒是上党羯族人，曾被东瀛公司马腾掠卖到山东作奴隶，以后他和“马牧率”汲桑一同起义。汲桑自称大将军，在河北一带攻打郡县，释放囚徒，召集逃亡山泽的人民。

三〇七年（永嘉元年），义军长驱入邺，杀死被刘渊赶到邺城的司马腾，声势大振。后来汲桑被并州大族杀害，石勒投降了刘渊。刘渊起兵之初，他的部下要他“方当兴我邦族，复呼韩邪之业”。而他认为这个目标太小了，表示自己要“上可成汉高之业，下不失为魏氏”。可见他们是企图恢复匈奴贵族失去的地位并进而为中原主宰。由于王弥、石勒的投降，更加助长了刘渊的势力，使他的控制地区由山西扩充到山东、河北。

三〇九年（永嘉三年），刘渊索性改称皇帝，正式建立起匈奴汉国，国都迁平阳。刘渊以及后来各胡族贵族统治者，都深知如果不拉拢汉族地主，就难以实现他们的统治，所以刘渊极力优待汉族大族，着名的清河大族崔游，被他任命为御史大夫，崔游对他的统治，给了很大的帮助。刘渊也深知“晋人（汉人)未必同我”，因之“且可称汉，追尊后主（刘禅），以怀人望”，企图用冒充汉室后裔来掩盖其民族压迫。

刘渊在三一〇年（永嘉四年）死去，他的次子刘聪杀死太子刘和，自立为皇帝。刘聪继续向南发展势力，王弥、石勒与刘曜分别转战各地，截断晋洛阳、长安之间的联系。在匈奴汉国强大军事压力下，被内争削弱了力量的西晋统治集团，完全失去应付能力。当时晋朝廷由东海王越执政，他毒死惠帝，改立司马炽为帝（怀帝）。因为怀帝与东海王越有磨擦，司马越率军二十九万东屯项城，与石勒相持，西晋洛阳政权只是勉强维持局面而已。司马越死后，清谈家王衍想将晋主力军撤退到郑城去。

三一一年（永嘉五年），王衍部队在苦县的宁平城（今河南鹿邑）被石勒的骑兵包围，晋军全部被歼，十余万人互相践踏，积尸如山，无一人幸免。王衍及许多大族被擒后，无耻地劝石勒称王，以求自己免死，石勒不买他们的帐，在历数他们对西晋亡国负有的罪责后，全部予以杀掉。苦县之战后，石勒、刘曜、王弥联军攻陷洛阳，俘虏了司马炽，杀死王公百官三万余人，他们又纵兵烧毁宫殿官府，洛阳重又化为灰烬。与此同时，刘聪子刘粲也攻下长安。

石勒、刘渊的起兵反晋，由于有他们本族劳动人民和其它各族劳动人民参加，最初本属于起义或包括有起义内容，因此也曾被困于重压的各族人民视为救星。可是一旦这些武装被各族上层分子利用来作为建立割据政权以后，那些胡族贵族为了报复汉族统治者对他们的压抑，无不极力鼓动民族仇杀，指使他们的军队野蛮地对待汉人，攻破城池之后大肆杀戮，这就必然地要引起汉族人民的反抗，所以晋洛阳陷落以后，匈奴汉国的统治就遇到了北方汉族人民的不断斗争。

汉族地主阶级中虽然有相当一部分人投靠了匈奴汉国，另一部分人则借抗胡名义以图割据，但也不乏与匈奴贵族抗争的人物。晋安定太守贾足起兵抗击刘曜军，不仅得到汉族人民的支持，也得到了胡族人民的支持，终于被他收复了长安。他拥立司马邺为帝（憋帝），极力经营，一心重振晋政权，终因力量太弱，只勉强支撑了四年。三一六年（建兴四年)，刘曜再次攻破长安，携晋憋帝送平阳，西晋最后灭亡。