与他对弈一局才放他回去。
令他大感诧异的是回到府时柔福居然还没睡，坐在灯火通明的正厅中，看他进来，凝眸看他，说：“你回来了。”
“嗯。”他忙点点头，有些惊喜地问：“长公主在等我？”
“不，”她若有所思地说：“我只是
想看看他会留你到什么时候。”
他失望地低头，尽量拉出个笑容：“皇上大概是爱屋及乌，所以常召我入宫面圣，以示对长公主的恩宠重视。”
“他召你你便都去么？”柔福冷道，“他不过是召你陪他游乐，让你教他的马球队打球，算哪门子的恩宠重视？好端端的驸马，不知道关心天下事，倒变成了个马球教头。”
“长公主，”高世荣睁目，语中带了一丝怒气，“你以为我不关心天下事么？是今上把我的所有实权都撤去了，现下我这防御使是全然的虚职，我根本无资格过问政事。”
柔福笑了：“当然，他当然会这么做，我早就跟你说过。你后悔了么？”
高世荣一声叹息，道：“不，我至今不悔。”
“好。”柔福道，“以后我九哥再召你去干这些事，你可以婉言拒绝，就说是我的意思，我不想看你这么晚回家。至于政事，你不必过问，但你要懂得看、懂得听。与同僚相处时小心一些，别与权臣或武将来往，尤其是秦桧，离他远点。”
高世荣闻言道：“长公主还不知道么？昨日皇上已罢去秦桧尚书右仆射、同中书门下平章事兼知枢密院事之职，降为为观文殿学士、提举江州太平观。”
柔福双目一亮，略有喜色：“他终于弃用此人了！”
秦桧去年为相以后，因欲与左仆射吕颐浩争衡，便伺机拉拢名士以植人望，组织自己的党羽。吕颐浩亦发现秦桧在排挤自己，遂举荐前宰相朱胜非出任同都督，以联手对付秦桧。赵构对秦桧植党揽权之事亦心知肚明，对他“南人归南，北人归北”的论调大为不满，早有弃用之心，听了吕颐浩的建议，便将朱胜非召回行在赴朝堂议事。
“殿中侍御史黄龟年前些日子曾弹劾秦桧专主和议，阻止国家恢复远图，并且植党专权，倾轧朝臣。秦桧惶恐之下便上章辞位，但皇上当时没有答应。”高世荣继续对柔福道，“据说后来吕颐浩与参知政事权邦彦私下又向皇上进言，列出秦桧任相以来种种错处。皇上听后召兵部侍郎兼直学士院綦崈礼入对，告诉他秦桧所献二策，大意是欲以河北人还金，中原人还刘豫，如此而已。又说：‘秦桧当时说为相数日便可以耸动天下，如今完全不见其效。’当下便御笔