所以必须加强对武将的控制，至于办法，潜藏在他与监察御史张戒的一段对话里。
张戒：“诸将权太重。”
赵构：“若言跋扈则无迹。兵虽多，然聚则强，分则弱，虽然分，未可也。”
张戒：“去岁罢刘光世，以致淮西之变。今虽有善为计者，陛下必不信。然要须有术。”
赵构：“朕今有术，惟抚御偏禆耳。”
张戒：“陛下得之矣，得偏禆心，则大将之势分。”
赵构：“二年间自可了。”
这是一个非常阴毒的办法，针对现状，没法收编，更没法往分其兵，那么就提拔各大将的亲信部下，比如岳飞手下的张宪、王贵等人。这些人升官得权自立山头之日，岳飞的实力自然缩水。
这并不是赵构等人的独创，原型是汉朝的推恩令。
汉朝初年分封的诸侯国往往连城数十，势大雄强，经晁错削藩之后仍然尾大不掉，比如汉武帝的叔叔梁王出行时千乘万骑，与天子无异。私造弓箭、府库，“珠玉宝器，多于京师”。汉武帝采纳主父偃的建议，颁布推恩令，命令诸王将封地不问嫡庶分封诸子，建立大小不一的侯国。从此诸侯国越分越小，再无威胁。
基本上这就是对张浚责任的定性。
御史台长官周秘的弹劾轰动一时，对张浚这些年的作为归纳总结得透彻解恨。
“浚轻而寡谋，愚而自用。德不足以服人，而惟恃其权；诚不足以用众，而专任其数。若喜而怒，若怒而喜，虽本无疑贰者，皆使之有疑贰之心。予而阴夺，夺而阴予；虽本无怨望者，皆使之有怨望之意。无事则张威恃势，使上下有暌隔之情；有急则甘言美辞，使将士有轻侮之意。”
众言官要求把淮西军变与富平之败联系在一起追究张浚的责任，这两件决定国家命运走向的大决战、大事件都被张浚败坏，此人万死不足以辞其咎！
赵构亲自下令，解除张浚一切职务，降为散官，流放岭南。这在宋朝对张浚级别的高官是最严重的处罚了。而这并不会影响宋朝君臣之间永恒不变的清雅礼仪状态，赵构把张浚单独召进皇宫，给予张浚最后一次行使相权的权力。
要他指定由谁继承相位。
张浚沉默不语，外界的指责打击远不如他自责的力度。以他的志向，出现如此疏漏，死的心都有。
赵构继续问，秦桧如何？
张浚心如刀割，秦桧是他举荐的，却在背后捅他刀子，这时再问秦桧可否当首相是何等巨大的讽刺。而他必须做出回答。
张浚答道：“近与共事，始知其暗。”
赵构认可，那就选赵鼎吧，同时命令由张浚主笔去都堂写赵鼎的拜相制。当天深夜，在都堂发生了很多有趣的事。首先，张浚绞尽脑汁，按捺住悲苦烦郁的心情，用最优美的语句书写对赵鼎的赞美之词。
拜相制堂皇古雅，用来肯定歌颂举国一人的德操才能，来治理亿万黎民，是封建时代最神圣伟大繁杂的事业。所谓宣麻拜相就是这样了，可怜张浚百般谋划，到头来竟然要受此折磨。
这是赵构对他的惩罚，你不是要官、要功业吗？就由你亲手写别人上位的诏书，以最近的距离看别人得到你失去的。
张浚做这些时，身边一直有人陪着。这人仿佛还在像面对军政合一，处在权力之巅时的张浚，仪态恭敬，言辞谦逊，彻夜长谈，好像世上没有人走茶凉这回事。
秦桧消息灵通，知道赵构宣召张浚入宫一定是咨询下一任首相人选，张浚果然在都堂书写拜相制。秦桧心想，一定要站好这最后一班岗，给张浚留下完美印象，好持制上位当首相。然而事与愿违，张浚写得时间太长了，赵构派人催促张浚草拟御批，秦桧才知道选的并不是自己。一时间哪怕秦桧再老奸巨猾，也“色变愈甚”，不受控制地露出了本相。
这时要说一下刘光世了。大衙内的离去悄无声息，仿佛南宋王朝从来就没有过这个身膺淮西防线重任，曾经位列所有将军之首的大将。
联系到岳飞屡次主动向张俊、韩世忠示好，却自始至终无视刘光世，似乎他也没有得到过什么尊重。他“养威避事”，以劫掠杀戮本民族百姓为能事，在对外战场上百无一用，严格地说连个好人都算不上，更无从谈起此人有什么风骨了。可现在我要谈的就是刘光世的风骨，就以他的部下郦琼等人为参照。
想来世间早就有一种嘲讽，郦琼都能率军投奔敌国，来反抗南宋王朝的不公，刘光世却连自己的部下都不如。其实根本就不需要由赵构亲自率领岳飞、韩世忠去解除刘光世的军职，刘衙内绝对不敢反抗的。
这不对，要换个思路想。
郦琼叛国，刘豫待为上宾，那么刘光世叛国呢？也许刘豫根本就不敢接受。刘光世的资历、实力会让伪齐国皇帝寝食难安！但是他完全可以向金国投降，届时荣华富贵无可比拟。处在刘光世的位置上，这些是他长年累月思考的东西，不可能不知道。
而他什么都没有做。
史书里给出的答案是刘光世贪图享乐，胸无大志，多年节镇一方攒出了金山银海，在整个世界里唯有最繁华的南宋才能让这些财富转换成美妙的生活，所以他像扔掉烫手的山芋一样抛弃了军权。
所以才什么都没有做。
这样说的话郦琼也不必叛国，郦琼的财富比刘光世少，却比绝大多数人都多，留下来享受生活就是了。毕竟没有谁想杀他，只是想往分其兵而已。而刘光世绝不是什么草包，不然的话这些虎狼之辈又怎能甘心俯首听命，从无二心？
更何况刘光世与韩世忠缠斗半生，数次刀兵相见，韩世忠这样的也拿他没有办法，大衙内的实力可见一斑。
综上所述，刘光世之所以选择安静地离开，是他不愿叛国，不愿史册上留下骂名，即便不能成为岳飞那样的中流砥柱，也绝不愿渡淮屈膝投齐或者降金。刘光世哪怕没有十分的忠勇，至少有三分的气节。