郭老头儿虽然已八十多岁了，依然左拥右抱，他正跟几位美人调笑呢，忽然听到卢杞来访，从来不避嫌的郭子仪慌忙命令几位美人都退了下去，他整顿衣冠，一个人静静坐在茶桌边等候这位丑八怪客人。

郭子仪客客气气跟卢杞周旋半天。丑八怪走后，家人奇怪地询问郭子仪今日为何这样隆重正式，还让美人们都退了下去。郭子仪回答说：“卢杞容貌丑陋、心地险恶，女人们见了他难免忍不住嘲笑，皇上这样重用卢杞，我如果今天不小心让这些小女人得罪了他，此人一旦掌权，我们郭氏就有灭族的灾难了，所以我让她们都躲开，以免出事。”郭子仪的眼睛也真够毒的，当时卢杞刚刚进京，世人都以为他会是第二个卢怀慎，唯独郭子仪却看出此人心地险恶，决不会像他祖父卢怀慎那样清廉正直。

卢杞和杨炎同朝为相，那简直一个天上一个地下，杨炎英俊潇洒风流倜傥，跟卢杞站到一块，那就是凤凰跟落毛鸡一起跳舞。杨炎打心底厌恶这个丑八怪，虽然抬头不见低头见，两人经常在一起处理政事，中午杨炎绝对不跟卢杞同桌吃饭，以往宰相是经常在政事堂同桌共进午餐的。

卢杞跟当年的奸相李林甫一样口蜜腹剑，表面上虽然谈笑自若似乎毫不在意，心底早将杨炎恨入骨髓一心想除之而后快。

皇帝向两位宰相求贤，询问朝廷大臣中有哪些人可以大用。杨炎举荐崔昭、赵惠伯，卢杞举荐张镒、严郢。卢杞其实也不喜欢他自己所举荐的这两个人，他最讨厌的就是这种真正有才能的人士。他只是发现这两个人都跟杨炎有矛盾。特别是威名渐著的严郢，因为京城老百姓对他欣赏得不得了，杨炎担心自己的相位会被严郢取而代之，他曾故意找岔子将严郢降为大理卿，结果京城百姓上千人拦路抗议，可见严郢名气之大影响之深。

卢杞想借严郢、张镒的手除掉杨炎，皇帝心里也早就不喜欢杨炎了。两位宰相同时举贤，他只任用了卢杞举荐的人。皇帝提拔严郢为御史大夫，不久又改任杨炎为尚书左仆射，就此罢掉了杨炎的宰相之权。从魏晋到初唐，尚书仆射一直都是国家宰相，盛唐开元之后逐渐沦为一个尊崇无比的荣誉头衡，尚书仆射不再过问政事，玄宗皇帝的宰相宋璟、张说等人被罢掉宰相职权后，都曾担任过尚书仆射的闲职。皇帝罢掉杨炎后，就让卢杞为中书侍郎、同平章事，再任命张镒为门下侍郎、同平章事。杨炎虽然被罢了相，依然清高无比对卢杞不理不睬，卢杞因此更恨他了。

杨炎的儿子杨弘业不成才，在杨炎当宰相期间，杨弘业曾多次接受贿赂，结果被他父亲的政敌，也就是刚提为御史台之首的御史大夫严郢抓住了把柄。严郢逮捕杨弘业严加审讯，居然又查出新的案子来。原来河南尹赵惠伯在为官府买房子做办公场所时，借着职务上的便利，赵惠伯高价买了杨炎家的房子。严郢上奏皇帝逮捕河南尹赵惠伯彻查这个案子。

御史台最后的审讯结果：赵惠伯借公济私，高价为官家买房，损害官府利益来讨好宰相杨炎，应当革职夺爵。

卢杞对御史台的判决结果相当不满意，他就启奏皇帝把案子移交给大理寺处理。大理寺迎合卢杞，将借公济私的赵惠伯判成死刑。这个案子当然也连累了杨炎，皇帝下旨将杨炎流放崖州，卢杞还不满意，又不断中伤杨炎，在皇帝面前诬陷杨炎有谋反之心，直至杨炎被赐死在流放的路上卢杞才罢休。

卢杞好不容易弄死了杨炎，他又担心自己会被严郢取代掉，于是拚命寻找严郢的过失。老天也特别照顾他，不久就给了他机会。

卢龙节度使朱泚入朝后，他的弟弟卢龙节度留后朱滔开始拥兵自重，朱滔将哥哥朱泚留在卢龙的心腹一一铲除，朱泚的一位判官蔡廷玉见势不妙，他逃出幽州，赶到京城状告朱滔阴谋不轨。几乎在同时，朱滔也上奏指责蔡廷玉离间他们骨肉