房乔一生都让着夫人，可随着时间的推移，夫人在儿子前程的问题上步步紧逼。而房乔的态度也变得越来越强硬，这就使得老夫妇两个冲突越来越激烈。夫人霸道了一辈子，面对忽然强硬起来的夫君，她是接受不了的。于是她变得更加霸道，更加蛮横。心情好的时候，她就指着房乔的鼻子破口大骂，心情不好的时候她就大打出手。打得轻一些，能让房乔满脸是血，打重一些就会更加恐怖。不久之后这件事惊动了皇帝，为了保证房乔的安全，皇上派了两名大内侍卫对房乔进行贴身保护。所以每一次夫人来袭，侍卫都会第一时间挡在房乔的面前，这个时候侍卫是非常为难的，打伤了夫人是不妥的，让夫人打上了房乔更不妥，于是他们主动替房乔挨打。
就在这个时候，关于房乔的很多事情传到了皇上的耳朵里。在他看来，一个人如果连自己的女人都没有办法加以节制，他怎么能够执掌机要呢？于是经过反复思量，皇上做了一个非常大胆的决定，竟然把搁置了很长时间的房乔的辞呈拿了出来，在上边写了一个准字。执意下来之后房乔长长的吐了一口气，虽然一脸平静，心中却不停的在提醒自己失去权力之后，一定要保持内心的平静。好在这些年他的风评大致上是很不错的，所以在他离开长安之前，有很多人前来拜访。大多数人是来叙旧的，也有的人是来向他询问向皇帝推荐谁作为继任的人选。房乔说：“杜公要是还在的话，我一定要向皇上举荐他，现在他已经不在了，我就没有可以推荐给皇上的人了。”对方说：“这些年你推荐过那么多人，为什么对自己的继任人选却不愿意推荐呢？”
房乔说：“之前我不停的向陛下推荐人才，是因为我在其位谋其政。现如今我已经不是尚书左仆射了，如果我还向皇上举荐人才，特别是继任的人选，这不是拿公器当作自己的私产了吗？”对方说：“为什么杜公可以例外呢？”房乔说：“杜公是非常难得的人才，不用他是皇上的损失。”说到底就是真正被房乔看上的人没几个，这样的话传到长孙无忌的耳朵里，让他心里实在不舒坦。他想如果房乔愿意举荐他的话，他固然会把房乔留下来的种种遗迹抹得干干净净，但他至少会让房乔善终，如今你不愿意给老子抬轿子，一旦老子得了势你休想安稳。房乔走的时候，皇嗣奉皇帝的旨意率领文武百官前来送行，房乔拱手说：“殿下，请回吧！”皇嗣说：“父亲说了，回到老家之后不要忘了京城还有一个人在想你。”一听这话房乔忍不住流出了眼泪，哽咽着说：“陛下的知遇之恩，臣默齿难忘。”
房乔被仆人扶上马要走了，这个时候皇嗣上前拉住了缰绳，说：“房先生，我有一件事向你请教，从古至今皇嗣都是非常难做的，现如今魏王深得皇上厚爱，以先生之见，我该如何自处呢？”房乔在马上沉吟片刻说：“对待兄弟，殿下只需奉行一个字就可以了，叫做仁。侍奉陛下，殿下只需做到一个孝字就可以了。”皇嗣一脸不解，房乔耐着性子说：“无论是谋略还是勇气，殿下是不能跟陛下相比的，当然魏王也不能跟陛下相比。所以只要殿下让皇上看到你的仁孝，你就可以稳居储君之位。当然，魏王会以各种方式冲击储君的位置，我只有一个字送给殿下那就是忍，要让陛下看到你对兄弟的包容。”皇嗣说：“房先生不觉得这样对我太不公平了吗？”房乔说：“如果没有金殿之上的御座，陛下想要公平的对待你们兄弟是很容易的，有了这把御座就不同了，因为他只能传给你们当中的一个。你们当中谁能够奉行孝道，谁能够包容兄弟，谁就是那个位置的主人。”
皇嗣说：“我想当年的建成也是这么想的吧！”话说到这个份儿上房乔就不好再说什么了，而是打马就走。不久之后房乔对皇嗣说的话，就到了魏王的耳朵里。到了魏王的耳朵里距离到皇上的耳朵就不远了，果然没过多久皇上就知道了这件事，他笑着说：“房先生所言十分妥当。”魏王李泰说：“陛下他这分明是要改投到皇嗣的门下，为自己的将来谋划了。”一听这话皇上哈哈大笑，捋着胡须说：“你连编瞎话都这么不用心，房乔的年纪多大阵的？年纪多大？你觉得他会为了自己能有一个更长远的将来改投到皇嗣的门下吗？”魏王见谗言没有奏效，转而陪着灿烂的笑容说：“我就知道房先生是良臣是贤臣，之前我说那些，只是为了让陛下知道房乔虽然人已经走了，却仍旧为大唐的将来感到担心。”
再说房乔在还乡的途中，一路都有地方官迎接相送。这一点都不让人感到意外，因为他们当中很多人都是有房乔居间而获得任命的。尽管房乔自己不想惊扰地方，可他们觉得自己为房乔送行的机会并不多，觉得这一次他回了老家，再不会出来了。所以大家见到房乔之后都十分的动情。房乔说：“你们这些人不要弄得跟生离死别一样，我回老家要去过清静的日子了，这是我期盼已久的生活。老子曾经说过，名爵者公器也！不可久居。我在尚书左仆射的位置上待的太久了，如今终于卸下重任回归田园，正所谓功成不居天之道也！”终于回到了老家，地方上的官员时不时来拜访，一开始出于礼貌，房乔还见一见。久而久之他发现这些人前来拜见的目的很不单纯，他们想要通过房乔让自己获得晋升的机会。
于是闭门谢客，房乔换下了官衣，每天把自己打扮的像个农夫一样。一看他这一身打扮，夫人就气的浑身哆嗦，然而木已成舟，已经无可奈何了。儿子被迫安排去务农，房遗直、房遗爱兄弟两个到了农田里干活自然是各种不灵光，房遗直其实还好，而房遗爱每天各种牢骚怪话，说个不停。房乔说：“你们要记住，你们的老子这一生出的风头太过了，如果你们想平安的度过余生，就不要显露锋芒，我挣下的这一份家业可以让你们衣食无忧，你们不要觉得不满足，荣耀太过往往会有不测之祸降临。”房遗爱说：“父亲，当年你能怂恿陛下杀掉建成元吉夺取皇位，现在为何如此怯懦呢？父亲这是老了吗？”一听这话房乔气不打一处来，把拐杖丢过去，怒气冲冲的说：“房家迟早有一天败在你的身上。”
房遗爱却并没有被吓到，这个时候夫人出场了，对方房遗爱说：“我知道在你们的眼里，你们的父亲是非常无用的一个人，可我告诉你们，没有你们父亲，大唐就没有今天，以你们的眼力根本看不出真货色，你们要好好听父亲的话，不要惹他生气。”到了夜里，卢氏说：“夫君，你是真的老了吗？”房乔说：“我告诉你，我真的老了，折腾不起了，我知道你的两个儿子蠢蠢欲动，特别是那个房遗爱，一点儿都不安分，他们以为可以依葫芦画瓢，可以像他们的老子一样建立自己的功名，其实这么想大错特错，岂不闻时势造英雄！现如今天下太平，皇上圣明如镜，就凭他们几只蝼蚁在那里闹腾，只能是赔上全家人的性命。”卢氏说：“两个儿子成了今天的样子都怪你，你把精力都用来处理公务了，什么时候曾经为家里的人操过心？”房乔说：“我这不是已经把公务都卸下了吗？你就不要抱怨了。”
话说我在半途当中，听说房乔已经被革职回了老家。我赶紧改变了行程，来到了房乔的老家。还没有来到他家门前，就知道他闭门谢客了。到了目的地，果然看到一群人在那里排队。我一会儿看到房遗直从门里出来了，我赶紧凑上去说：“能否请你通报一声？就说因为从敦煌来的佛门居士前来拜访。”防一直竟然卖给我一个面子，调头回去通报了。过了约莫一个时辰，一个佣人走出了门，把我领了进去。过了几个穿堂来到了后花园，远远的看见房乔坐在亭子里。我走过去拱手说：“房先生，很久没见吧，听说你已经被免除了，尚书左仆射一直特来向你拜贺！”房乔说：“被丢官罢职，有什么可值得庆贺的呢？”我说：“不是庆贺你丢官罢职，而是庆贺你能够平安的回到老家，在这里安享晚年。”房乔笑着说：“你坐吧！”他的手指着面前的一个座位，我坐下说：“我是来找你闲聊的。”</div>