大军围剿赵煜之时，徐庶母亲得知此事，在徐庶战事结束回家之后将其大骂一通并赶出家门，甚至以死相逼。以大孝为先的徐庶，当然不会与母亲唱反调，在经过母亲的一番说教后，也自然是清醒了许多，当今天下诸侯可谓是一般黑，惟独那赵煜独树一帜。
随后徐庶在心里决定在给刘备一次机会，跟随着刘备一起南下，眼看着刘备的帝王之业忽然风水回旋，一连拿下长沙、零陵、桂阳、武陵四郡。但是刘备的所作所为再一次让徐庶心寒，轻而易举的占取了长沙，对于原长沙太守韩玄的离去，刘备竟然不予阻拦，而后韩玄被人枉杀，刘备虽然表面严惩，但心中却是暗中偷乐，将韩玄的那些心腹全部收为己用。
这不是要事，更让徐庶心寒的是，刘备占据四郡后，未免手下人叛变，竟然暗中扣押几郡之子，完全架空几郡太守，抽空所有兵马，就连其家人也每日生活在监视之中。稍有个不对劲便可能就会落个人头落地的下场，不怕你反就怕你不反，一旦你反就有足够理由来杀你，实在是卑鄙之举，小人之心。
实力陡升，刘备为人发展也起了变化，每天吃喝多餐必须大酒大肉，还得有丫鬟舞女陪同才可，所占的土地也随意赏赐给麾下将士，四郡百姓也只是刚刚过上温饱的生活。如今的刘备已不是当年的那个意气风发的刘备了，虽然心中抱有雄心，但却是踩着百姓的肩膀起来的，早已经失去了仁心。这是一个诸侯的现实，徐庶当然知道，不过人各有志，这样的君主不是徐庶所要追求的。
不管怎样，徐庶尽到自己的职责，坚持辅助刘备将四郡的繁琐碎事给处理妥当之后，这才准备告别母亲准备离开荆州之地，前往赵煜的州城之地而去。
临出发之际，徐庶对着母亲说道：“母亲，您跟孩儿一起走吧，虽然赵煜之地较远，但是一路上孩儿会好生照顾母亲的。”
徐庶母亲摇摇头苦笑道：“元直啊，不是母亲不想跟你一起走，而是走不得。”
徐庶慌忙说道：“母亲为何与我走不得，母亲如今身子硬朗，行走也是没有问题，如果母亲担心路途遥远，元直可以安排最好最舒适的马车载着母亲一起离开啊。”
徐庶母亲笑道：“我的傻儿啊，你真是聪明一世糊涂一时啊，你在刘备军中地位可谓不低。如今我们全家数口要是突然离去定会引起他人的怀疑的，你只管引着你的妻儿借口离去，若是有人来问，为母便借口说你是回乡探亲便可。就算是有人起疑，事后有人发觉，也不会拿我这老太婆怎样的。”