靖康（1126年～1127年）初年，张浚被任命为太常寺主簿。太常寺是管礼乐的，典型的清水衙门，张浚来这里不过是镀金。
名臣李纲在金国第一次伐宋晚期和姚平仲合作，与种师道等人之间有争功之嫌。姚平仲劫完颜宗望之营寨而大败，作为主要支持者的李纲被张浚以专权之名弹劾。
靖康之变、开封陷落后，少宰张邦昌在金国的扶持下建立伪楚，张浚不愿仕于伪楚，逃入太学中。之后，他听说康王赵构在应天府（今河南商丘）继位，建立南宋政权，于是驰赴应天府，被除授枢密院编修官，改虞部郎中，擢升为殿中侍御史。
这是张浚人生中的一次绝妙选择，跟对了老板，为他日后的升官奠定了基础。
殿中侍御史还是个七品官，不过有监察之职，掌管纠弹百官朝会时失仪者，和皇帝的距离拉近了很多。
金军南侵，赵构往东南逃跑，后军统制韩世忠部下逼逐谏臣坠水死，张浚奏夺韩世忠观察使之职，举朝上下才知晓有国法。
从这件事，可以看出文官的权力完全碾压武将，张浚当时一个小小的七品殿中侍御史，能够搞得韩世忠丢盔弃甲，随后迁官侍御史。
侍御史比殿中侍御史又权力大一点，不只管上殿的礼仪了，可以弹劾百官。
这时，高宗在扬州，张浚进言说：“中原是天下的根本，希望修葺东京、关陕、襄邓以待巡幸。”
朝廷见他如此忠心为国，于是授任集英殿修撰、知兴元府。尚未出发，升任礼部侍郎，赵构召见对他说：“你知无不言，言无不尽，朕将要有所作为，正如想一飞冲天而无羽翼，你留下来辅助朕吧。”
于是他又被授任御营使司参赞军事。张浚预计金人必来攻，而宋廷晏然自得，殊不防备，所以力劝宰相黄潜善、汪伯彦，但二人都笑张浚过虑。