陆炳和吕芳的关系，因为嘉靖皇帝朱厚熜这层联系，变得很微妙。两个人在外面人看来，是嘉靖皇帝朱厚熜的左膀右臂而已，但是他们自己知道两人不是亲兄弟，却比亲兄弟还要亲。按照陆炳的原话的意思，要是吕芳是个女人的话，陆炳绝对会娶来当老婆。要是吕芳有生育能力的话，他们两人将来的儿女一定是成双成对的。为此吕芳早在陆炳的老婆怀孕的时候，就约定好了名分，无论陆炳将来有多少个孩子，无论是男是女，吕芳都是他们的干爹。也因为这个原因，厚脸无耻的陆炳经常以“你干儿子饿了要钱买吃的”、“你干女儿长大了要做新衣服”等等为理由，隔三岔五去吕芳那里搬东西。大到比人高的花瓶，小到针头线脑，陆炳只要看上了眼，就往自己家里搬。可适当吕芳向陆炳要钱或者借钱的时候，陆炳就摆出一副“要钱没有，要命有一条。”的样子。气的吕芳在人前人后大骂陆炳“吝啬鬼”、“死要钱”、“没义气”。
可是随着嘉靖皇帝朱厚熜站稳了脚跟，逐渐控制了大局之后。吕芳发现陆炳发生了一些变化，并不是说陆炳向背叛嘉靖皇帝朱厚熜。但是吕芳觉得陆炳多了一些私心，多了一种隔阂。后来才知道陆炳受了一些手下人的影响，开始为自己打算起来。锦衣卫是一个和皇室数代关系的组织，他们之所以能存在下去，不光是因为对历代皇帝绝对的忠心，更是因为他们和当权的太监之间若即若离的关系。也就是说锦衣卫是皇帝暗中牵制太监势力的工具，更是平衡臣工和皇室之间关系的组织。表面上看上去锦衣卫被锋芒毕露的东厂所压制着，其实每当皇帝有事的时候，最为强而有力的支持者不是大臣，也不是皇室其他成员，更不是什么太监，而是数代为皇帝默默付出的锦衣卫世家成员。这些人平时做人做事很低调，但是一有事的时候，他们的权力和手段层出不穷。陆炳全面控制锦衣卫的时候，渐渐了解了这件机密，同时也接触了一些这种人。这些人或是明说，或是暗示，要陆炳和太监，特别是吕芳这种有实权的太监保持关系的同时，也要保持一定的距离。陆炳也是为了自己的地位，还有将来子孙的富贵，才开始有意无意地和吕芳保持一定的距离，甚至于在一些事情上提出不同的意见。
吕芳和陆炳的第一次正面冲突，发生在嘉靖皇帝朱厚熜当政的十二年。嘉靖皇帝朱厚熜认为大局已经收到了控制，为了便于管理，决定收回锦衣卫的权力，还归司礼监管理。但是司礼监掌印太监已经换上了吕芳，吕芳已经控制了司礼监，无论谁出任兼管锦衣卫的司礼监秉笔太监，都不会受到影响。嘉靖皇帝朱厚熜想把陆炳安排到更重要的位置，帮陆炳实现出将入相的梦想。吕芳事先知道了一点点，以为陆炳也会同意嘉靖皇帝朱厚熜的决定。没想到陆炳不但没有答应嘉靖皇帝朱厚熜的决定，而且希望嘉靖皇帝朱厚熜彻底将锦衣卫从司礼监分离出去，单独成立一个只属于皇帝一个人直接领导的部门。嘉靖皇帝朱厚熜一时想不过来，吕芳却知道了陆炳的意思，陆炳想让锦衣卫和司礼监分庭抗礼，这样一来不要说东厂了，就是司礼监寄过来也或许会受到锦衣卫的牵制。这是绝对不可能的事情，作为司礼监掌印太监，吕芳也绝对不会不允许这种事情存在和发生。嘉靖皇帝朱厚熜没有表态之前，陆炳和吕芳已经为了这件事情在嘉靖皇帝朱厚熜面前吵了起来。三个人第一次同时觉得三个人一条心的时代过去了，嘉靖皇帝朱厚熜对吕芳和陆炳很失望。吕芳也看出了陆炳的野心，还有陆炳想完全控制锦衣卫的用心。为此所有的安排无限期被搁置，锦衣卫依然在陆炳手里，司礼监一样有权力监管锦衣卫。因为陆炳没有交出锦衣卫的实权，所以所谓的兼管锦衣卫的司礼监秉笔太监只是一个有名无实的虚名。也因为这样，陆炳想出将入相的梦想，一直没有实现。
陆炳在锦衣卫一呆就是三十多年，势力盘根错节，可以说是完全控制了锦衣卫。不但陆炳长期出任锦衣卫最高指挥官，就连陆炳的兄弟还有儿子们也都在锦衣卫。吕芳多次提醒陆炳，不能这么明目张胆的做，可是陆炳一点也听不进去。后来导致除了陆家之外，就连宫里的太监也指挥不动锦衣卫。当嘉靖皇帝朱厚熜有一次出了“锦衣卫是陆家的。他们只认识陆炳。”的时候，吕芳知道陆炳坏事了。多疑又爱大权独揽的嘉靖皇帝朱厚熜，不会无的放矢，看来嘉靖皇帝朱厚熜已经对陆炳起了戒心。正当吕芳准备找个机会亲自秘密会见陆炳，当面把这件事情告诉陆炳的时候，什么都已经晚了。嘉靖皇帝朱厚熜以陆炳劳苦功高为理由，赏下一颗新研制的金丹。嘉靖皇帝朱厚熜赏赐亲信金丹有两个目的，第一表示对亲信手下的宠爱，第二就是用这些亲信手下试药。陆炳已经多次得到这种殊荣，所以并不在意。当刚刚得知这个消息的吕芳失态地赶到陆家，企图阻止陆炳的时候，陆炳已经服下了这颗金丹。吕芳也顾不得外人在场，也不再顾忌会不会事后被嘉靖皇帝朱厚熜责骂，马上拿起一边的一大壶清水往陆炳嘴里灌。并下令自己的亲信马上去陆家厨房，熬一锅的绿豆汤。可是因为大家手忙脚乱，也因为陆家人并不相信吕芳，以为吕芳的人会在绿豆汤下毒，所以拖拖拉拉的。当绿豆汤送来的时候，陆炳已经不行了。陆炳已经不能