在《一人之下》的异人界中，存在着四大家族，他们分别是陆家、吕家、王家和高家。

陆家：陆家的地位主要依靠其强大的势力和产业。陆家和陆瑾所在的三一门并非同一回事，逆生三重并非陆家原本的家传绝技。不过，作为三一门派的唯一幸存者，逆生三重目前只能在陆家传承。陆家的族人也可以在其他门派修行，例如陆瑾是三一门派门人，陆玲珑是全真派俗家弟子。陆瑾被称为一生无暇，他掌握着八奇技之一的通天箓，但未传给陆家后人。陆家的人品和威望一直较高。

吕家：吕家虽是一个村子，但并不落后，只是相对封闭。他们同样拥有产业，然而操持家族产业的族人话语权和地位不高，这表明吕家更注重异人能力。吕家在甲申之乱后拥有了明魂术，但在1944年之前，吕家原本并没有这种能力。实际上，吕家原来的家传手艺是如意劲。此外，吕家有个让人畏惧的“疯狗”吕慈，他实力很强，一旦认为有人对吕家不利就会“发疯”般反击，因此吕家的战力无人敢惹，但其势力和产业在四大家族中的排名可能并不靠前。

王家：王家的战力在四大家族中或许相对较弱。在罗天大醮上，王并的实力表现并不出众，他能晋级与一些操作有关。不过，王家的产业和势力可能是最强的。当吕慈表示天下会的势力似乎超过四大家族时，王蔼却嗤之以鼻。从王蔼敢直接痛斥四处招揽人才的风正豪，以及风正豪的表现，可看出王家势力的强大。王家所使用的拘灵遣将，原本是风家老祖风天养创立的八奇技之一。

高家：高家在漫画中仅被提起过一次，至今没有代表人物出现。从故事走向来看，高家家主没有成为十佬之一，可能是因为高家势力衰退、影响力不够，或是高家加入了公司，其身份不方便成为十佬。有人猜测东北大区负责人就是高家家主，也就是二壮（高钰珊）的父亲，但这并无明确证据。高家的家传技能不详，不过其族人高二壮的先天异能是电磁波，她后来师从全真教派系下的伍柳派，修得出阳神的能力，并将其与电磁波先天异术相融合，从而拥有了操控网络通信的能力。

四大家族在异人界中都有着悠久的历史和强大的实力，各自具有独特的特点和优势。他们之间的关系复杂，既存在表面上的“同气连枝”，也有暗地里的较劲和竞争。陆家威望较高，吕家战力最强，王家势力最大，而高家相对神秘，其具体情况还有待更多剧情揭示。