他自认才智、容貌强过兄长家光，因此哪怕明知对方将要继承将军大位成为自己的主公，也不改轻视家光的态度，两兄弟之间的矛盾也由此越积越深，变得形同陌路。
元和六年，德川秀忠仿照父亲的先例，将将军大位让给了竹千代自己成为大御所，而竹千代也正式选用了家光作为自己的名讳，成为了幕府的第三代将军。因为自幼就憎恨弟弟忠长，所以他将打压这个弟弟也当成了自己重要的事务来办。
本来在秀忠在位的时候，他还算是得到了优待，按照德川家的惯例他领受了封地成为幕府的亲藩。他被封于骏河国，经过几次加封最后领有五十五万石的领地，官位至大纳言，也算是亲藩当中的佼佼者。
可是家光开始掌权之后，对他的打击和迫害就纷至沓来了，家光借口幕府在骏河国的眼线报告了忠长的种种不法劣迹，指责忠长迫害领地内的人民，并且不听家臣的劝谏。用这一系列的罪名，他将德川忠长的领地没收，然后流放到了甲府，勒令他闭门思过。
更有甚者，在父亲德川秀忠去世的时候，他还禁止德川忠长回去为父亲奔丧，只能继续呆在软禁地。就这样，德川忠长失去了一切领地和尊荣，就连见挚爱的父亲最后一面都不被允许。
这种莫大的羞辱，更加让德川忠长对自己的这个哥哥充满了忿恨之情，可是德川家光现在已经稳固了统治，父亲死后又没有人能够为自己而向他求情，他也只能无可奈何地接受现实。
可是，哥哥家光的怒气，似乎还是没有发泄干净。在秀忠死后没有多久，家光就借口弟弟忠长在闭门思过期间还是没有幡然醒悟，依旧劣迹不断，于是下令将他再度流放到条件更加恶劣的上野国高崎城，将他禁闭在这里。
而这也不是他迫害的终点。
德川忠长被流放到高崎城之后不久，家光就将自己从小身边服侍的亲信、现任幕府老中的稻叶正胜给指派了过来，负责处置德川忠长一事。
而自从老中稻叶正胜来到了高崎城之后，城外原本就十分严密的监视变得愈发紧密，他下令用白竹栅栏把整个高崎城都围起来，不允许任何人随意出入，而且还下令将输入城中的供应物品仅限于食物和日常用品，再不允许他使用原本的器物，就连消息也被隔绝。
用白竹栅栏隔离起来，简直就像是中原王朝用高墙圈禁犯有不法行为的亲藩一样，只不过德川忠长的活动范围要比那些藩王稍微大上一点点而已，但是本质上是同样的意思。
从原本优越于所有人的地位，跌落到如今这种处境，德川忠长心中的失落和痛苦自然很容易想象得到。他明白哥哥德川家光是想要用这种方式来羞辱自己，逼迫自己自杀，可是这种日子实在太过于难受了，他几次都想要干脆以自杀的方式逃离这种处境，遂了哥哥的心愿。
可是，虽然他多次下定了决心，但是每次走到最后一步的时候，还是因为对人世的留恋而停下了手。
呆呆地坐了片刻之后，他慢慢地从地上捡起佩刀，然后又长叹了口气。
只要日子持续下去，总有一天自己终于还是会忍不住动手的，也不用着急这一天吧。
“大人！不要做傻事！”就在这时，门外传来了惶急的喊声。
随着这声喊声，一个穿着裃装、做武士打扮的年轻人也冲了进来，然后跪倒在了地上，诚挚地劝解着忠长。
“将军大人叫我去死，我怎么能够不去死？就算今天不死，总有一天还是会死的。”德川忠长苦笑了起来，把玩着手中的刀柄，“我死了，对你们来说不也是好事吗？你们可以解脱了，不用留在这里和我一起受罪，只要离开了我，你的哥哥是不会为难你的。”
“大人……我一心只服从大人，只为大人着想，哪里还有什么哥哥！”这个年轻人以头触地，“此生我只追随大人，绝不会向他人摇尾乞怜！”
他是稻叶正利，是外面那位老中稻叶正胜的弟弟，不过和从小就被安排为德川家光侧近侍从的哥哥不同，他被安排到了德川忠长的身边，并且很得德川忠长的信任。于是从小时候开始，因为德川两兄弟之间的争执，稻叶家两兄弟也同样开始反目，彼此的积怨和矛盾都很深。
在德川忠长被幕府授予封地、成为幕府亲藩之后，稻叶正利也顺理成章地成为德川忠长的家臣，而在德川家光流放弟弟的时候，稻叶正利也作为罪人的一员，随同德川忠长一起被辗转流放，最后来到了高崎城当中，倒也算是荣辱与共。
看到稻叶正利如此诚恳的样子，德川忠长心里也有些感动，他轻轻地将佩刀放回到了刚才的案几上，然后闭上了眼睛。“这种日子，我也不知道能够忍受到什么时候……过不了多久，你就能够自由了。”
“大人，今天我正是来跟你报告的，刚刚听到了的，一个天大的消息！”稻叶正胜的脸色有些发红，显然还是没有从刚刚得知消息的兴奋当中走出来，“大人你有救了！”
“什么？”德川忠长迷惑不解。“什么有救了？”
“大汉和幕府交恶，并且已经对日本出兵了，宣称要讨伐幕府恢复日本国内的纲纪，现在他们已经打下了九州岛，并且准备进一步进兵！”稻叶正利一口气将自己得到的消息告诉给了德川忠长，“现在幕府已经是一片大乱