发现留守正在看着他，父亲立刻低下头，说：“小的拜见留守。”留守捋着胡须说：“我给你放7天的假，在这7天里你要沐浴斋戒，之后你就去二郎的麾下效力吧！”不等管家说话，留守说：“你找人补他留下的缺。”管家赶紧拱手说：“是。”在之后的7天里严格遵守斋戒的规则，7天之后留守派一个跟班把父亲领到了二公子世民的驾前，二公子身长七尺有余，龙眉凤目、光彩照人，身上罩着一件大红色的圆领袍，头戴束发紫金冠，腰中系着一条玄色碧玉带，足蹬粉底儿的朝靴。父亲立刻上去行礼，世民说：“我听说你每天做很脏很累的活儿，仍旧不失欢喜心，请问这是怎么做到的呢？”父亲说：“上等人做下等活，一定不会开心。下等人做中等活，心中自然欢喜。”世民一听这话，摇摇头说：“上等人做下等活，会有怀才不遇之感，当然不会开心。下等人做上等活，一定会力不从心，如何能够欢喜呢？”
父亲一下子不知道该说什么好了，世民说：“我听说府上不少人跟你称兄道弟？”父亲说：“我一个人来到府上当差，无亲无故，而与我境遇相同的人，难免会同病相怜，于是大家相互扶持，以便于让日子过得没有那么难。”世民说：“父亲把你派给了我，你要熟悉在我麾下当差的规矩。”父亲说：“小的一定竭尽所能当好这一份差事。”从那一天起，父亲就成了世民的跟班之一，世民这个人可谓是静若处子、动如兔兔，白天的时候或是习武，或是接待宾客、拜访亲友。整个人看起来非常的好动。每当入夜之后，他就手不释卷，认真读书。读书的时候，跟班不能打扰他，但也不敢自己放了羊，一旦他需要茶水点心什么的你要立刻送进去。世民的社交活动非常的丰富，我与他来往密切的人有一个共同的特征，就是都不安分。
世民这个人什么都敢想，什么都敢干。因此他的父母很为他感到担心，所以这些跟班还有一个职责，就是要把世民每天见什么人，与这些人聊过什么？通通汇报给留守。留守常常在夫人面前摇头叹息，说：“算命的都说世民是我的贵人，可我每天都为他提心吊胆，真不知道算命的是不是反着说的？”夫人自从生下四郎元吉之后，身体就一直欠安，听见留守这么说，她皱着眉头话接了过去，说：“世民这个人虽然胆子很大，也喜欢结交朋友，但我知道他是一个非常正直的好孩子，算命的不是说了吗？他20岁就能济世安民？一个胆小如鼠的人，一个没有正义感的人，一个没有朋友扶持的人，如何能够济世安民呢？”一听这话，留守长长的吐了一口气，说：“我这4个儿子之中，你就疼二郎，只因为他长得随你，性情也随你。”
夫人一听这话挑起了双眉，说：“二郎日后，若是真能济世安民，难道不是随了你吗？当初你跟着晋王一起南下灭陈，使得宇内一统、四海陈平，二郎做的事情大概与你相似。”留守站起来说：“我担心的就是这个，如果真的需要二郎来济世安民，岂不是先要天下大乱？”夫人说：“凡事自有定数，人只要顺时而动即可，不必杞人忧天、自寻烦恼。”当时高士廉与留守关系交好，世民也常常去府上拜访，当时高士廉的外甥长孙无忌寄居在那里。长孙无忌也是一个极不安分的人，与世民一见如故。于是两个人经常在高府密会，世民不知道的是，每当他与长孙无忌在一起商量事情的时候，妹妹长孙观音婢就躲在屏风后面，第1次目睹了世民的风采，就倾心不已。
后来观音婢就请求哥哥带着她一起去见世民，长孙无忌一口回绝，说：“我与二公子在一起谈论机密大事，你一介女流去干什么？”观音婢说：“我可以女扮男装。”长孙无忌说：“你实话告诉我，是不是看上他了。”观音婢红着脸不言语，长孙无忌说：“不是哥哥驳你的面子，如今留守正在得势，而我们长孙家家道中落，门不当户不对，你要是真嫁过去了，我也担心你在那边受委屈。而且我能够感觉得出来，世民这个人心高气傲，她未必瞧得上你。咱们不必自取其辱，你还是死了这条心吧！”话音未落，舅舅高士廉坐屏风后面走了出来，一边捏着胡须一边坐下来说：“世民的确出身高贵，他的父亲是当今皇上的表哥，母亲也是名门之后。在汉朝的时候，窦家显赫一时。长孙氏虽然衰落，可作为我高某人的外甥女，就算是嫁到了留守府，未必会被瞧不起。”
看见舅舅出来撑腰，长孙无忌一下子不知道该说什么好了。高世廉接着说：“曾经有相面的告诉我，李家的二公子贵不可言。我也粗通相术，我的这位外甥女日后很可能会母仪天下。”此言一出观音婢和长孙无忌都惊出一身冷汗。高士廉接着说：“你与世民每天在聊些什么我就是猜也能猜得到，无非是看到主上失德、社稷动摇，打算顺时而动、有所作为。二公子若是得了观音婢作为贤内助，将来一定会是明君圣主。不过这件事情要慢慢筹划，你们切不可操之过急。”于是在之后的日子里，世民在高府享受的接待规格越来越高，他不仅经常在前厅被设宴款待，而且还被邀请进入内室拜见高府的女眷，一来二去，世民与观音婢也就混熟了。一天高士廉将世民请到书房，说：“二公子，你认为观音婢如何？”世民说：“窈窕淑女、十分难得。”高士廉说：“如果让你娶她为妻，你会觉得委屈吗？”
世民说：“如果真的娶她为妻，将是平生第一等幸事。”话音未落，观音婢就从屏风后面走了出来，二人十分羞涩，高士廉说：“你且回去，我会替你们做媒，留守和夫人都是非常开明的人，他们一定会祝福你们的。”世民回府之后，万万没有想到等待他的是极坏的消息，母亲奄奄一息，而父亲却不知道在何处？当时建成、世民、玄霸、元吉4个人整齐的跪在面前，病榻旁边坐着她的妹妹，也就是给4个儿子的姨母。母亲说：“我这4个孩子都是好孩子，他们胸怀大志，将来一定能各自成就一番事业。”这个时候她抓着妹妹的手说：“你姐夫回来之后要告诉他，切不可让这4个人相互争斗。若是伤了兄弟和气，彼此骨肉相残。如此，我在酒泉之下也没有办法安心。”妹妹含泪点头答应，夫人对4个儿子说：“你们要好好辅佐你们的父亲，要尽孝心，守孝道，千万不要让他伤心。”
就在这个时候，夫人的身体已经虚弱到了极点，可她还是挣扎着把世民叫到身边，说：“世民，观音婢是一个好孩子，你们之间的婚事我答应了，婚后你们要相敬如宾，恪尽夫妇之道，为了李家延续香火。”不等世民说话母亲就已经咽了气，之后4个人还是守灵，三天之后留守才回到府上。听说夫人过世，他真是痛不欲生。因为当时流传着李家将要得天下的传言，所以留守府里面自然少不了皇上的眼线，为了避嫌，夫人的丧事只能草草了结。正所谓福无双至祸不单行，丧事结束之后，4个儿子之中最不让夫人省心的李玄霸算是放了羊，每天醉心于练武，经常忘记饮食。世民向来是一个心眼儿很多的人，看到李玄霸力大无穷，便觉得这位兄弟日后大有用处，所以在母亲过世之后，他偶尔分出身来关照这位兄弟。
一天晌午，李玄霸又在院子里练武。练到性起一下子将手中的铜锤抛向天空，等了很久也不见落下来，便觉得自己已经把铜锤抛到了天上，于是摇头叹息往回走，就在这个时候冷不防铜锤从天而降，李玄霸固然武功高强，却也经受不住这一锤，当时两眼一翻就呜呼哀哉了。世民得知消息之后十分自责，趴在李玄霸的尸体之上痛哭不已，有之后，建成、元吉都赶了过来，也都在那里抹眼泪。留守听到这个消息之后，瞬间就昏了过去，李玄霸是他儿子当中武力最强的一个，这也是智力最弱的一个。有记得当年留守府接触告示，有谁能教会李玄霸认得一个字，赏赐千金。有一位先生前来应征，教了一个丁字，考核之前，先生给李玄霸的手里塞了一枚钉子，说：“如果当时你想不起来那个字怎么念？你就捏一捏手里的东西。”当留守问儿子那个字怎么念的时候？李玄霸捏了捏手里的东西，说：“这个字念铁。”</div>