在【一人之下】的異人界中，存在著四大家族，他們分別是陸家、呂家、王家和高家。
陸家
：陸家的地位主要依靠其強大的勢力和產業。陸家和陸瑾所在的三一門並非同一回事，逆生三重並非陸家原本的家傳絕技。不過，作為三一門派的唯一幸存者，逆生三重目前只能在陸家傳承。陸家的族人也可以在其他門派修行，例如陸瑾是三一門派門人，陸玲瓏是全真派俗家弟子。陸瑾被稱為一生無暇，他掌握著八奇技之一的通天箓，但未傳給陸家後人。陸家的人品和威望一直較高。
呂家
：呂家雖是一個村子，但並不落後，只是相對封閉。他們同樣擁有產業，然而操持家族產業的族人話語權和地位不高，這表明呂家更註重異人能力。呂家在甲申之亂後擁有了明魂術，但在1944年之前，呂家原本並沒有這種能力。實際上，呂家原來的家傳手藝是如意勁。此外，呂家有個讓人畏懼的「瘋狗」呂慈，他實力很強，一旦認為有人對呂家不利就會「發瘋」般反擊，因此呂家的戰力無人敢惹，但其勢力和產業在四大家族中的排名可能並不靠前。
王家
：王家的戰力在四大家族中或許相對較弱。在羅天大醮上，王並的實力表現並不出眾，他能晉級與一些操作有關。不過，王家的產業和勢力可能是最強的。當呂慈表示天下會的勢力似乎超過四大家族時，王藹卻嗤之以鼻。從王藹敢直接痛斥四處招攬人才的風正豪，以及風正豪的表現，可看出王家勢力的強大。王家所使用的拘靈遣將，原本是風家老祖風天養創立的八奇技之一。
高家
：高家在漫畫中僅被提起過一次，至今沒有代表人物出現。從故事走向來看，高家家主沒有成為十佬之一，可能是因為高家勢力衰退、影響力不夠，或是高家加入了公司，其身份不方便成為十佬。有人猜測東北大區負責人就是高家家主，也就是二壯（高鈺珊）的父親，但這並無明確證據。高家的家傳技能不詳，不過其族人高二壯的先天異能是電磁波，她後來師從全真教派系下的伍柳派，修得出陽神的能力，並將其與電磁波先天異術相融合，從而擁有了操控網絡通訊的能力。
四大家族在異人界中都有著悠久的歷史和強大的實力，各自具有獨特的特點和優勢。他們之間的關系復雜，既存在表面上的「同氣連枝」，也有暗地裏的較勁和競爭。陸家威望較高，呂家戰力最強，王家勢力最大，而高家相對神秘，其具體情況還有待更多劇情揭示。
