后来车马店的生意越来越差，原因有多方面的。第一，车马店的老板内部出了问题。老板的儿子也就是老许的小舅子娶了一个厉害老婆，这个少奶奶一进门就要夺权。老板认为这个车马店是自己的命根子，当然不愿意这么快就交给儿子媳妇管理。所以双方为了经营权的事情，可以说是闹得十分不愉快。第二，是因为车马店外来的影响。由于海上出现的海盗和倭寇越来越多，导致出海的生意越来越难做。一些生意人渐渐开始减少或者直截了当不干了。生意少了来往的买卖人也少了，车马店的生意就不可能一直好下去。生意难做导致一些生意不好的车马店不是关张了就是改行了。第三，车马店的竞争太激烈。买卖人少了，车马店的生意当然也收到了影响。本来已经供大于求的车马店市场，因为这个原因只好加大服务力度，推出各种优惠才能招揽生意。老许家的车马店虽然比较老资格，但是不是这里的最大车马店。其他车马店不是改行了就是有了新的服务项目，当然也影响到了老许车马店的生意。本来老许家的车马店也可以推出新的服务项目，起码和一些中档的车马店抢一些生意的。可是车马店里面的老板和少奶奶打擂台，失去了不少赚钱的机会。
就在老许犹豫要不要劝说老丈人和弟妹的时候，意外发生了。老许之所以不愿意插手老板和少奶奶的事情，因为这些人并没有把老许真的当自己人。老板只把老许当一个不要工钱的伙计，并没有拿老许当自己的女婿。少奶奶更是不把老许夫妻档自己人，甚至于怀疑老许夫妻暗中支持公公和自己作对。为此老许无论是在前面的车马店也好，还是在后面自己家里也好，他都十分安分不插手不多话。就算这样他也依然经常受夹板气，两头都不讨好。老许是在看不下去了，在这么下去车马店就会彻底垮了的。就在老许准备鼓起最大勇气和自己老丈人说这件事情的时候，一场灾难来了。
老许记得那是十七年前的那一天，老许刚起床准备和老丈人说车马店的未来的事情的时候，他的弟妹也就是车马店的少奶奶找上了老许。车马店为了拉拢一些老客户，所以总会允许一些老客户赊欠一些款项的。可是自从少奶奶管账之后，改了这条规矩，不允许新老客户拖欠款项。为此已经得罪了一些客户，导致一些客户去了其他车马店了。但是少奶奶还是不满足，要求店里的老伙计去客户家里催讨款项。这一次少奶奶把追讨款项的任务交给了老许，要求老许马上去三十里外马家庄催债。少奶奶下了死命令，说老许要不回钱的话就不用回来了。为此老许只好去要债，而且不得不在外面过了一个晚上。
老许虽然没有要回所有的欠款，但是也算要回来一些了，老许以为可以交代了所以就回来了。没想到少奶奶大吵大闹起来，说是老许私下克扣了欠款，一定要老许交出来。老板这个老丈人和老许的老婆本来可以帮老许说话的，可是他们父女并没有帮老许说话。这就导致老许正面遭受少奶奶的炮火，逼得老实的留下发了火。这一发火不要紧，把老许彻底害惨了。老板一家人不但没有帮老许，而且把所有的责任都怪罪到了老许身上，老板的儿子索性把老许赶出了家门。老许带着一肚子的怒火，几乎净身被赶出了家门。
老许因为没地方去，只好在其他的车马店当临时工。一次出远门赶车的生意做完回来，才发现原来的车马店出事了。出事的原因就是因为少奶奶太爱现了。少奶奶在赶走老许后，通过自己丈夫和小姑子的帮助下，终于接管了车马店的大部分生意。掌权的少奶奶这才发现车马店的家产原来比自己估计的还要多得多。为此她拿出一部分的钱打造了一大批的金首饰，把自己装扮起来。少奶奶还出手买了许多的高档的日用品，让全镇的人都知道了自己家有钱的事情。“财不露白”是一个老道理，少奶奶却一点也不在乎。结果车马店有钱的事情马上被附近一群强盗知道了，结果就在老许不在家的时候，强盗洗劫了车马店。
老许老丈人一家人就这么都死光了，不但人死了二所有的钱财也都没有了，就连马匹也被牵走了。全镇的人也收到了影响，不少壮丁被杀，许多妇女遭了难。后来一些有经验的人告诉老许，这伙强盗可能不是一般的强盗，极有可能是倭寇假扮的强盗。只有倭寇才会这么赶尽杀绝，只有倭寇才会对全镇的人这么下死手。一般的强盗不会这么没人性，更加不会做的这么绝。
老许虽然没有得到过老丈人家一点好处，而且经常被他们一家人欺负。他曾经不止一次听自己的老婆和老丈人说过，他只不过是他们家养的一条狗而已。在这个家里他不但没有地位而且连一点点的尊严也没有。不过老许并没有过分记恨这家人，特别是他的老丈人和老婆。老丈人再怎么样当初救助过他，要不是这个老板的话，老许可能活不到现在。那个一直以来看不起自己的老婆，老许虽然和她没有感情，但是老许真的把她当自己的老婆。小舅子一家人虽然对他不好，那是叫过他几声姐夫也算是亲人了。所以最后还是老许，劝说大家为这一家人简单地办理了后事。不是老许不想办得隆重些，第一是因为老许没钱，第二是因为这家人在这里人缘不是很好，大家谁也不愿意帮他们，第三是因为这场祸事是这家人显摆引起的，大家心里都怨恨