李续宾同意和曾国华一起率军进攻庐州，也就是今天的合肥，并非只是一味贪功，他有自己的判断。四十岁的李续宾，是湘军名将，九江就是他攻下的。在三河战役之前，李续宾更是身经百战，步步升迁，是湘勇里继胡林翼、江忠源之后的又一个巡抚官职的猛将！
李续宾也是穷苦人家出身，湖南湘乡人，生于敦行四十四都，年轻时他和项羽一样，膂力过人，但他好读书。因家境贫寒，靠贩煤养活家人，并全力供胞弟李续宜读书。同是湘乡人的湘军大将罗泽南非常欣赏他，把他和他的兄弟都收为弟子，不仅免其学费，还拿出自己收入的一部分，帮他供养家人。
咸丰二年，太平军从广西打到湖南，清廷急忙命令两湖地方官，尤其是湖南官员举办团练，协助绿营兵堵剿太平长毛。那一年，李续宾便在家乡协助罗泽南办团练。李续宾能以兵法约束子弟，明耻教战，训练尤精，深得罗泽南的赏识。此后，曾国藩出山，他跟随罗泽南一起加入湘勇，与太平军作战，开始了军旅生涯。
李续宾与太平军的首战是1853年。当年夏天，太平军在夏官副丞相赖汉英率领下围攻南昌。江西巡抚张芾和湖北按察使江忠源守南昌，因城中兵力单薄，请求增援。曾国藩便遣湘乡知县朱孙诒率训导罗泽南所募湘勇赴援，李续宾随军而行。
1854年，西征太平军逼近长沙。曾国藩所练湘军誓师出战，在湘潭大败太平军。自此开始，向西征太平军进行反攻，接连取得胜利，连克岳州等地，在岳州高桥，城陵矶等战斗中，李续宾作战勇敢，因功擢升为知县。
1854年10月初，湘军陆续抵达武昌外围，曾国藩指挥湘军分多路进攻武昌。罗泽南，李续宾率部4000余人，由金口攻花园。
花园位于武昌城西二十里处，驻有太平军精锐部队万余人。在江边，堤上、青林湖畔设有大营三座，是防守武昌的重要据点。
战斗的当天，李续宾就率部攻下花园太平军大营。次日，他带入又连下鲇鱼套附近太平军6座营垒，兵临武昌城下。
当时，负责守卫武昌的太平军将领石凤魁、黄再兴等人，都是文官出身，不懂军事。他们见湘军气势汹汹地攻到城下，便于夜间率军弃城逃往田家镇。武昌这个华中重镇，就这样被湘军占领。跟着曾国藩，李续宾自岳州东下以来，常为先锋，沿途七战皆捷。攻占武昌后，曾国藩保奏他升为知州。
湘军攻占武昌后，兵分三路，夹江东下，水陆并进，直指半壁山，田家镇。李续宾随知府罗泽南走南路，由金牛镇攻兴国，他率部首先赶到半壁山，与太平军连日展开激战。秦日纲亲率两万余太平军分作两路向湘军进攻。李续宾率两千余湘军与之激战整日。战斗中，李续宾手刃三名怯阵的湘军士兵，率部拚死抵拒，并将太平军击溃，后又派出百余人缒崖而下，协同湘军水师斫断横江铁链，半壁山要隘遂为湘军所得。那一仗，湘军水师突破太平军水上防线，顺流东下，焚毁太平军船只数千艘。李续宾在南岸助攻。
田家镇一战的关键虽在水战，但李续宾最先赶到半壁山，首战告捷，又挫败了太平军反攻计划，控制半壁山，使田家镇失去依托，立了大功。这次战斗后，他因功被加赏“挚勇巴图鲁”名号，他升为安庆知府。
而历时数年，攻下九江，干掉太平军的名将林启容，是李续宾取得的最艰苦也是最辉煌的胜利。这硬仗打得十分出色。
当湘军攻占田家镇之后，曾国藩计划夺取九江，然后利用水师优势，直逼金陵。湘军水师进至九江江面，陆师进抵九江城外。
镇守九江的林启容是太平军的著名骁将，能攻善守。湘军进攻九江西门，三战皆败，死伤甚众。湘军对九江实施全面进攻，罗泽南、李续宾率部猛攻东门，因城上枪炮木石交施，屡次抢登，不能得手。曾国藩见硬攻不能奏效，便改取“舍坚而攻瑕”的方针，留塔齐布等继续围攻九江，调胡林翼，罗泽南、李续宾等进攻梅家洲，企图占领九江外围要点，切断九江与湖口的联系。
守卫梅家洲的罗大纲于城外立木城二座，高与城等，炮眼三层，周围密排，营外木桩、竹签广布十余丈，较之武昌、田镇更为严密；掘壕数重，内安地雷，上用大木，横斜搭架，钉铁蒺藜其上。胡林翼、罗泽南、李续宾等分路向梅家洲发动进攻，遇到太平军奋力抗击，死伤数百人。
夺取九江的计划受挫，曾国藩退守南昌。除留塔齐布继续围困九江外，罗泽南部奉调充作游击之师南援赣中，李续宾随队与太平军作战，连续攻占弋阳。广信、德兴、义宁等府县，因功升为记名道员。
1856年，李续宾配合正在武昌外围作战的胡林翼所部攻取武昌。那一年，李续宾基本上是在武昌城下渡过的，率部与湖北巡抚胡林翼、湖北提督杨岳斌等与太平军相持于武昌城外。太平天国发生天京内讧，翼五石达开从武昌前线赶回天京。李续宾乘势攻占了鲁家巷太平军营垒13座，进占武昌。接著，他率军乘势东下，在杨载福水师配合下，又攻下了武昌县（今鄂州市），大冶、兴国，再次因功升为记名按察使。
1857年1月初，李续宾率所部万人顺江而下进入江西，再攻九江城。九江自1853年9月被太平军占领后，一直在太平军手中。林启容在武昌将陷之时，就督军日夜缮守具，屯米