不久之后小伙子扶着一个七十多岁的老人出来，他就是这个院子的主人张义张老爷子。可不要小看这个老人家，虽然他现在已经腿脚不方便，除了听力还正常其他都已经不行的老人，他可是一个相当重要和厉害的人物。张义原来不姓张而是姓刘，是锦衣卫一个军户家的小儿子。锦衣卫和大明其他军户一样，也存在着人口危机。军户顾名思义是当大明军队士兵的人家，不但是军户军属更是兵源的主要来源。按照大明军户的规定每一户军户必须至少有一个现役的军人，不然不能算是军户。军户除了军人负责保卫国家之外，其他的人享受不用征税纳粮的福利。所以一些老百姓十分羡慕军户，希望成为军户。可是军户也有军户的难处，第一家里的男人需要当兵，当兵不但不能在家干活而且随时有生命危险。第二，要是军人死了或者老了就需要家里另外一个男人顶上去。有时候一场战役下来不耽死了丈夫还要死儿子，死了儿子要是没有其他儿子孙子的话，还要担心被取消军户资格。像江南军户就这样，短短十多年之间军户少了近一半，都是因为家里没有成年男人当兵被取消军户资格的。第三，就是家里的孩子多也发愁。在京城附近的军户就遇上这种问题。军户家只有一个男丁可以继承军人地位，军人不但有军饷而且不用担心肚子问题。所以在没有战事的情况下军户家的孩子都希望当兵。可是名额只有一个，所以导致其他的孩子就要自己找出路。按照军户规定成年男子要是不是军人的话就可从军户户籍里面分出去，成为老百姓。成为了老百姓就需要服役征税，而且不能租用军户的土地，生活就成为了大问题。所以一般的军户家的孩子不是给其他人家当上门女婿，就是找一个相对富裕的亲家生活。
张义家里也一样，他是家里最小的孩子没有资格继承父亲的军户地位成为锦衣卫军户。锦衣卫比一般的军户好一点，一些孩子可以在锦衣卫当没有编制的锦衣卫帮闲。可是张义的父亲却要张义从小读书，希望张义有所出息。可是锦衣卫的子弟不能参加科举，这是文武百官制约锦衣卫的一种手段。张义就算学会了文化也不能当官，只能给大户人家当账房或者是衙门当书吏。张义运气不错遇上了一个好机会，成为了一个大户人家的账房先生，从此过上了令人羡慕的平静生活。主人家不但十分器重张义，而且开始拉拢张义，夫人把自己的陪嫁丫鬟送给张义当老婆。不久之后张义有了自己的儿子，她以为自己会这么平静又幸福过下去。没想到大户得罪了权贵，被人诬陷虚报田亩偷税漏税。这可是当时极为严重的罪行，因为当时大明是农业大国，主要的税收就是靠农业税。大户人家偷税漏税已经成为了朝廷最头大的事情，可是这些大户都有后台，不是一般衙门得罪的起的。朝廷也不想一下子得罪太多的士绅所以经常知道当不知道处理。当然遇上一些没有后台的大户发生这种事情，刚好拿来当典型不但可以杀一儆百而且可以平息一部分民怨。张义主人家就成为了这个杀鸡儆猴的那只鸡。张义也受到牵连，一家人被抓了起来，听说要遗弃陪绑受罚。为了儿子的安全，也为了留有希望，张义哀求自己的哥哥也就是继承父亲锦衣卫职位的那个亲哥哥把孩子带走。张义的哥哥没有权力救出张义，但是带走一个婴儿还是可以的，从此这个孩子成为了张义哥哥家的孩子。
本来张义不算是主人家的奴才，最多不过是聘用来的账房先生而已。可是他娶了主人家夫人的陪嫁丫鬟，为了表示忠心自愿加入了主人家，就成为了主人家的奴才。根据朝廷的规矩主人家和奴才一起受罚，张义主人家被查抄家产，所有的人被官卖，其中也包括张义和他的老婆。每天他们被拉到人市像货物一样任由大家观看讨价还价，不久之后思念孩子的张义老婆死了。再后来张义被一个外地的商人买走了，成为了真正的奴才，一个没有自由的人。买走张义的商人还算好心，知道张义老婆死了，就把尸体要了过来找了一个地方埋了。张义从此跟这个商人姓张，为了发誓效忠张义把自己的名字改为张义。这个商人就是张居正的叔叔，他把张义买下来送给有前途捡来可能当官的张居正，从此张义成为了张居正的奴才。
张居正出来当官后，家里的人担心张居正照顾不好自己，所以让张居正带了三个奴才来上饪。一个就是张义，还有一个就是现在在张居正家里几乎可以一手遮天的大管家游七，当时是张居正的小跟班小书童，另外一个就是负责张居正饮食的厨娘莫娘。这三个人分工不同，张义看大门兼管理治安，游七负责贴身照顾张居正，莫娘负责做饭打扫兼财务管理。
张居正出任裕王侍读后，锦衣卫派人再张居正家里坐班。本来像张居正这种五六品小官是不需要锦衣卫坐班的，可是张居正不是一般的五六品小官，是裕王的亲信，再加上上头想抓住张居正或者裕王的把柄，所以派出锦衣卫在张居正家里坐班。所谓的坐班其实就是二十四小时监视，每班两个人一个人跟在张居正身后，一个就在张居正家里监视张居正家里的一举一动，特别是有什么人经常来张居正家。坐班的锦衣卫不能和张居正家里的人有接触，吃的喝的都要自己带，这是锦衣卫的规矩。可是来这里坐班的锦衣卫都是受锦衣卫内部排挤的人，所以他们并不