在萧何之后，刘邦一生中遇到的第二个贵人，就是他的未来岳父，单父人吕公。
吕公在史记中没有留下名字，不过据唐代史学家司马贞所著《史记索隐》一书引录相经的记载，吕公名文，字叔平。至于是不是真的，我们也没法子考证了。但是能在相经留名，说明吕公当时也是个小有名气的相士。而吕公正是凭借自己多年给人相面的经验，第一次见到刘邦，就认准刘邦将来是个了不得的人物，因此不顾妻子的反对，毫不犹豫的把女儿嫁给了刘邦。
吕公本不是沛县人，他原是魏国单父县人，后来因躲避仇家，不得已投奔和自己交好的沛县令，这才举家搬迁到沛县。在当时的官场有一种风气，假如有亲朋故旧来投靠地方长官，那这个官员通常要资助一笔。沛县令自然不舍得出钱，于是就想法子让属下的官吏给吕公凑这笔安家费。他就对外放出风，说吕公是我的贵客，我要在某日大摆宴席为他接风。下面的人也很识趣，对这些人来说有机会拍拍县令马屁绝对不是坏事。史载沛中豪桀吏闻令有重客，皆往贺。
因为来的人太多，堂上坐不下，所以主事的萧何想了个主意，出钱超过一千的坐堂上，不够一千坐堂下。这下惹到了一个人，谁呢？就是刘邦。本来刘邦对这种事也不感兴趣，可是听说出钱多才能坐堂上，刘邦来了气。我再强调一便，刘邦是有任侠气的，他最看不惯的就是这些鱼肉百姓的胥吏，所以平时就没少戏弄这些人。听说县令变着法子让众人多出钱，刘邦很生气，因为这些钱最终还是要从沛县父老的口袋里出。刘邦就故意捉弄县令，史载刘邦乃绐为谒曰“贺钱万”，实不持一钱。谒入，吕公大惊，起，迎之门。吕公者，好相人，见高祖状貌，因重敬之，引入坐。萧何曰：“刘季固多大言，少成事。”高祖因狎侮诸客，遂坐上坐，无所诎。
听说刘邦贺钱一万，吕公很吃惊，因为这在当时绝对算得上是巨款，他赶快起身来到门前迎接刘邦。吕公喜欢给人相面，看到刘邦的样貌后，就很敬重他，邀请刘邦入座。萧何担心刘邦会因此惹祸上身，于是就对吕公说，刘邦这个人就爱说大话，很少真的办成事，吕公听了也不当回事。刘邦也旁若无人的坐在上座，还借机戏弄身边的宾客，没有一点胆怯和不安。有些人觉得这就是刘邦脸皮厚的表现，对这种说法我还真是不敢苟同。刘邦此举得罪的可是县令和一大帮同僚，惹出的麻烦这可不是靠脸皮厚能解决的，没有过人的胆气和处事不慌的心理素质，一般人是做不出刘邦这样的举动的。前代学者就评论只从这一件事就可以看出刘邦这个人的气度，难怪后来他百折不挠，终成大业。
而吕公也正是为刘邦这股气度折服，这才没有追究刘邦。反而在宴席结束时，用目光暗示刘邦不要走，刘邦也心领神会，留在了最后。吕公曰：“臣少好相人，相人多矣，无如季相，愿季自爱。臣有息女，愿为季箕帚妾。”很多人对这个愿季自爱有误解，说这是吕公劝刘邦不要再像流氓一样干那些偷鸡摸狗的勾当。这种说法实在是大错特错，吕公才第一次见刘邦，他又不知道刘邦平时为人如何，怎么会这么劝刘邦呢？要是刘邦不自爱，到处耍流氓，吕公又怎么会把女儿嫁给他。
所以这四个字真的意思应该是君子不立危墙之下，吕公是想劝刘邦，你将来是要做大事的，要远离不必要的危险，以后不要像今天这样随意得罪人，这样容易招报复。吕公还把女儿嫁给刘邦，也就是后来佐助刘邦取天下的吕太后，吕家的儿子也为刘邦打天下出了不少力。萧何等人支持刘邦那是因为彼此交往多年，对刘邦有着充分了解。像吕公这样只见了一面就对刘邦大加赞赏并让全家都支持刘邦，这份眼光实在是够老辣，而且他还预见到刘邦瞧不惯歪风邪气的性格迟早会给自己带来麻烦，温言劝刘邦爱惜自身，所以我才说吕公是刘邦生命中的第二个贵人。
对于吕公的做法，网上还有一种说法是吕公家族势力很大，刘邦起事打天下全靠老丈人帮衬。更有甚者干脆就说刘邦只是个代理人，真正在幕后的操控者就是吕家，刘邦其实是在为吕家打天下。这些扯淡的说法，居然还有很多黑刘邦的人深信不疑。吕公家族那么有势力，至于被逼的投靠沛县令吗。而且刘邦刚起兵时才几百人，后来做了沛县义军的首领手下才有了一支两千多人的队伍，这位子还是萧何曹参让给他的，成员也大都是丰沛子弟，有吕家这个外来户什么事儿啊。
有人非说这些人帮刘邦还是因为吕家的关系，这些人为了黑刘邦也是没谁了，什么胡话都敢说。诚如斯言，那王陵为什么就不服刘邦，雍齿后来还背叛刘邦，吕家的影响这时候怎么不发挥作用了，说到底就是吕家的实力和影响力根本就是某些人臆想出来的。后来孝惠帝身死，吕后干哭却不落泪，原因就是担忧失去孝惠帝这个儿子，丰沛功臣集团有可能对自己不利，也证明了吕家和功臣集团的关系非常一般。
