不起用人望很高的李纲，颇失民心，遭人诟病，赵构亦越来越对其不满。绍兴三年九月，侍御史辛炳上疏弹劾吕颐浩不恭不忠，败坏法度。吕颐浩一气之下称病辞官，而殿中侍御史常同接着对其穷追猛打，列出循蔡京、王黼故辙，重立茶盐法，专为谋利，不于荆、淮立进取规模，惟务偷安，所引用非贪鄙俗士即其亲旧等十项罪状，赵构便顺势将吕颐浩罢为镇南军节度、开府仪同三司、提举临安府dòng霄宫。
吕颐浩一倒，朱胜非孤掌难鸣。绍兴四年秋江南霪雨连绵，赵构诏求直言，侍御史魏矼趁机向赵构劾奏，说朱胜非蒙蔽主聪，致gān天谴，朱胜非遂自请去职。绍兴四年九月赵构将朱胜非免官。随后赵构重用政绩卓著的参知政事赵鼎，先任其为知枢密院事、都督川、陕、荆、襄诸军事，不久后又进为左通议大夫、守尚书左仆she、同中书门下平章事兼知枢密院事。
张浚被召回临安后一度被免职，谪福州居住。赵鼎较为赏识张浚才能，任相后奏请赵构复用张浚。赵构准奏，召张浚为资政殿学士。张浚奉旨入朝，赵构与其议谈当前国策战事，张浚许多见解颇合赵构心意，于是赵构立即手诏为张浚辩诬，复命其知枢密院事，视师江上。绍兴五年二月，赵构再命尚书右仆she、同中书