袁世凯其实并不想对唐绍仪下手，但是唐绍仪多次拂了他的意思，并且还加入了国民党，使得一部分前清官员都加入国民党，追求那所谓的政党政治，逼得袁世凯不得不将李安生引入共和党，以此来对抗革命党人在政党政治上的天然优势。
自从唐绍仪正式就任内阁总理后，很有意依照《约法》规定，成为责任内阁，这一来更加使得段祺瑞等一干看不起他的北洋系开始排挤他，愈发在袁世凯面前攻击他，说他挟革命党以自重，有独树一帜之意。
袁世凯对唐绍仪起了疑心，并且对唐绍仪“狭革命党以自重”的行为异常痛恨，还是要归结到赵秉钧与段芝贵等人身上，这些人是袁世凯总揽大权的急先锋，也正是他们不断的破坏《临时约法》的举动，才使得宋教仁忍无可忍，改组同盟会。
内务总长赵秉钧从来不出席国务院会议，凡遇重大问题都直接向袁世凯请示，根本不把总理放在眼内，而内务部也像一个不属于内阁而直接承总统命令的一个部。
而段芝贵，当年跟李安生争雄失利，仿佛这两年要将当年的失意加倍的弥补过来，不仅飞扬跋扈，而且还贪污腐败，无恶不作。
有一次唐绍仪乘坐马车由办公室回家，忽然迎面来了两个开道的士兵，手中挥舞着鞭子，唐总理的御者几乎挨了他们一鞭。唐绍仪急忙吩咐把马车让到路旁，注意一看，一辆漂亮的马车里，坐的不是别人，正是总统府拱卫军统领段芝贵。待到这辆车子过去了，总理的马车才缓缓前驶，唐绍仪事后对人说：“好大的威风，只有前清摄政王才够得上这样威风呢。”
李安生与袁世凯互相妥协，让段祺瑞上台也是有原因的，正是出于老袁身边有一大批无法无天之辈，如此考虑，才需要有段祺瑞这样的强权人物上台。
若是按照袁世凯一开始的提议，由他的老朋友，德高望重的徐世昌来组阁，那么对于李安生来说也是一种压制。
段祺瑞秉性刚硬耿直，清廉自省，这样的人要比徐世昌这种老狐狸好多了，徐世昌上台，赵秉钧与段芝贵等这干跳梁小丑只会愈加的权重，如此一来，李安生还真成了时代倒退者。
这次段芝贵等人也起到了不小的作用，至少到处造谣唐绍仪代表国民党前往日本签订卖国密约一事，就传的有板有眼，很是混淆了视听。
既然你唐绍仪与国民党互相倚重，那么就一起去背黑锅吧。
在这样的情况下，唐绍仪即便想要跟日本签署什么，也是万万不能的了，随便签署什么协议，都是卖国的，至少舆论盖棺定论，不会轻易更改