第五氏的祖先是战国齐国贵族田氏。田氏很多支裔于西汉初期迁至长安皇帝陵园附近居住，以迁徙的次序作为姓氏，第五是其中之一。第五氏是东汉有名的世家，这里着重说第五家的两个人：第五伦和第五种。第五伦和第五种都是当时的名臣，卓有政绩。

第五伦字伯鱼，京兆长陵（今陕西咸阳）人，少年时性情耿介，好义气。王莽末年，农民军起义以及地方强盗割据扩张，第五伦在险要之处修筑堡垒，将宗族乡亲召集起来进行自卫，他率众引弓持矛坚守堡垒。先后有铜马、赤眉等数十次前来围攻，都无法攻克。后来第五伦以营垒首领的身份去见郡的长官鲜于褒，其才干得到鲜于褒欣赏，被任命为郡的属吏。第五伦后任乡啬夫，他办事公平，善于调解纠纷，很得人心。后来迁居到河东郡，改名变姓，自称王伯齐，在太原、上党之间以贩盐为生。经商所过之处，他都把骡马粪便打扫得干干净净才离去，被人们称为有道之士。建武年间，第五伦被京兆尹阎兴招为主簿，当时长安铸钱的人多耍奸弄巧，阎兴任命第五伦为督铸钱掾，管理长安的市场。第五伦深入市场巡察交易情况，调查了解问题所在，最后统一市场衡器，纠正斗斛量具，市上再没有弄虚作假、欺骗买主的事出现，百姓们很高兴，对他的才干表示叹服。

后来第五伦被举为孝廉，任淮阳国医工长。建武二十九年（公元53年），他随从淮阳王来到京城，与其他官属一同被皇帝接见，光武帝刘秀向他询问政事，第五伦趁机对奏为政之道，刘秀非常满意。第二天，又专门召他入宫，和他一直谈到天黑才罢。刘秀和第五伦开玩笑说：“听说爱卿曾殴打岳父、不让兄长来一起吃饭，有这种事吗？”第五伦回答说：“臣三次娶妻，妻子都没有父亲。少年时曾遭饥荒之苦，实在不敢随便请人吃饭。”刘秀大笑，于是拜第五伦为会稽太守。第五伦当了太守，身为二千石的高官，仍然亲自铡草喂马，妻子下厨做饭。所得俸禄也只留下一个月的口粮，其余的都低价卖给贫苦百姓。

会稽地区旧俗滥建神庙，百姓常常杀牛祭神，因此生活贫困、影响农业生产。以前的几任太守都不敢禁止杀牛祭祀的风俗。第五伦到任以后，在巡行中了解到这些情况，就给各属县发布文书，晓谕百姓：凡是假借鬼神，以诈术恐吓愚昧百姓的巫祝，一律捉拿问罪；胡乱杀牛的人，一律给予处罚。一段时间之后，歪风邪气逐渐消失，百姓的生活得以安定下来。

永平年间，第五伦担任蜀郡太守，后来任司空，位居三公。他正直无畏、不惧权贵，屡屡上书言事，指陈时弊，成为一代名臣。

第五种是第五伦的曾孙，第五种继承家风，年少时就胸怀大志，在地方做小吏时名冠州郡，后来到朝廷做了司徒掾。皇帝派遣第五种出使冀州，专职巡查地方情况。第五种来到冀州之后，经常亲自巡行各县，深入民间明察暗访。为了便于了解真实情况，他常常穿着便装，只带很少的贴身人员行走在大街小巷和乡间。所到之处的官府根本不知道朝廷派员正在自己的辖区巡查。通过这些细致深入的巡视，第五种察知了当地的天灾人祸，了解到民众的疾苦，向朝廷写出了奏章，弹劾了一大批贪墨官员，为百姓称赞。他完成任务后回到京城长安，由于出使巡视非常称职，被提拔为高密国的国相。

当时徐州和兖州的盗贼成群结伙，非常猖獗。徐州、兖州与高密国相邻，第五种未雨绸缪，大肆储备粮草，训练官兵，做好防范盗贼的准备。盗贼听到这些消息后都很害怕，没有人敢窜犯到高密地界，高密国平安无事，原来流亡在外的百姓也纷纷归来，一年中达到几千家。朝廷例行考核各地官吏时，第五种因为能干有业绩，被调任卫国国相。后来又升为兖州刺史。

第五种来到兖州，通过巡视得知济阴太守、中常侍单超的侄子单匡，倚仗着单超的权势，贪污纳贿，骄纵不法。第五种想把单匡逮捕并向朝廷举报，但一时没有得力的助手。恰好听说从事卫羽是一个耿直正义而作风严厉的人，就把卫羽召来，告诉他自己的心思，说：“听说你不畏强暴，今天我想把大事委托给你，你觉得怎么样？”卫羽回答：“我愿意一举割除这个大祸害！”卫羽告别出门后，立即带人快马飞奔到济阴府所在地定陶，闯进单匡的府邸，关起门来，把单匡的门客、爪牙和手下40余人全都抓捕归案。六七日内，搜查缴获单匡大宗的不义之财。

当时太山郡的大盗叔孙无忌等人暴横境内，州郡官府没有办法对付。卫羽劝说第五种：“国家长期安宁无事，人们忘记战斗也很久了；而太山地势险要，贼寇又狡猾多端，现在即使握有精兵，也难以战胜，请让我前去劝降他们吧。”第五种觉得他说得有理，就同意了。结果叔孙无忌等被卫羽说服，于是带领他们的党徒与匪众3000多人投降。（国瑞巡）