杨国忠知道吉温、王鉷与罗希奭实为李林甫最为倚重之人。吉温此次被调职，让杨国忠觑出了吉温似在李林甫面前受到冷遇的倾向，若将罗希奭再调到一个无关紧要的职位，则可除去李林甫的两个得力爪牙。至于王鉷，杨国忠与其共同署事，就有了观察的机会。
李林甫一生最会算计人，他没有想到，在他眼中无关紧要的杨国忠已在暗中默默算计他了。
第十八回　安禄山迭立边功　杨国忠扳倒王
安禄山如今在京城的眼线甚多，他身在范阳，朝中的一举一动都能了如指掌。近时王忠嗣案与杜有邻案，乃至新贵杨国忠的详细情况对他触动很大，这一日就召来高尚、严庄悄悄商谈。安禄山直接说道：“近来京城事儿挺多，令人有些眼花缭乱，二位先生不知有何观感呀？”
高尚微微一笑道：“事儿虽多，若追根溯源，无非几个老相识之间的事儿。不过现在杨国忠横空出世，朝局似为之一变呢。”
安禄山道：“对呀，杨国忠此前默默无闻，近来却颇得圣上宠信，身兼度支郎中、太府卿与御史中丞之职。近来章仇兼琼入京，圣上竟然将剑南节度使一职交付其遥制。杨国忠若以此种势头走下去，将来不可小觑啊。”
高尚道：“安大使所言甚是。杨国忠为贵妃之兄，确实无人可比。”