，岳飞却不管，让本军事务官张宪摄军事，自己撂下挑子径直上庐山了。
岳飞走后张浚即命兵部侍郎张宗元权湖北、京西宣抚判官，前往鄂州监岳飞军。无奈岳家军并不服他管，兵卒日日沮丧叹息：“张侍郎已来，岳将军大概不会回来了！”既怀念岳飞，对张宗元便越发抵触，士气低落，渐渐不大听号令。
赵构对岳飞擅自上山守丧已是十分不满，听到这些事更是极度震怒。张浚入见，建议赵构就此罢去
岳飞兵权，让张宗元正式取而代之。赵构负手低首在殿内大步疾行，良久，停在张浚面前，两眉深锁面色冷峻：“不，现在时机未到。”
随即重新落座于御案边，亲自提笔写下手诏：“许卿以恢复之事。”命张浚遣人传给岳飞，促他早日下山统军。
张浚展开一看，见他写诏书之时分明满面怒色，但写下的字仍沉着浑厚、宽稳疏朗，洒脱清逸中不透半点恶劣情绪，当下佩服之余亦暗暗心惊。
张浚让参议官李若虚与统制官王贵带着诏书前往江州，敦请岳飞归来管军。二人在东林寺见到岳飞，传达了赵构旨意，岳飞才受诏赶赴行在。
至行在建康后，岳飞具表待罪，赵构却似毫不恼怒，心平气和地加以抚慰劝导。岳飞启程回去统军那日，赵构亲自出宫送他，温言对他说：“卿前日奏陈稍显轻率，但朕并未因此发怒。若真怒了，必会怪罪责罚于卿。正如艺祖所说的那样，‘犯吾法者，唯有剑耳’。现在朕复令卿统军，任卿以恢复中原之事，可知朕确无怒卿之意。”
岳飞听了此话，遂放下心来，再度表明忠君爱国之心，才辞别赵构回归军营。
岳飞以前对郦琼与王德关系的分析没错，王德升为都统制后郦琼每每与其作对，终日联合部将在吕祉面前诬告控诉王德，吕祉忍无可忍，于是密奏张浚，乞罢郦琼兵权。张浚得知后遂决定召回郦琼，夺其兵权，并处其死罪。不料消息走漏，郦琼先于八月发动兵变，杀死吕祉，率四万多淮西军投降了伪齐帝刘豫。
此次叛变震惊朝野，张浚立时成了众矢之的，朝臣们都认为是他在淮西军问题上处理不当才导致今日之祸。赵构亦被此事弄得焦头烂额，对张浚虽未加指责，但很快手诏命令：“观文殿大学士、两浙东路安抚制置大使，兼知绍兴府赵鼎充万寿观使兼侍读，疾速赴行在。”
是日，张浚入宫见驾。进到殿中亦不多言，在赵构面前跪下，伸手于顶徐徐取下乌纱，端端正正地搁于身前，俯首再拜，一举一动恭敬而严肃。
赵构知是他主动请辞，又见他形容憔