第二天早晨李隆基上朝，当面对几个宰相说：
“朕打算废黜太子李瑛、鄂王李瑶、 光王李琚，把他们贬为庶人。”
张九龄反对说：
“陛下您即位近三十年，太子和各位王子，他们不离深宫，天天勤学接受圣贤教诲。
天下人都庆幸陛下享国长久，子孙繁盛。
如今这三个皇子都已成人，没听说他们犯了大错，陛下为什么轻信谗言，打算废黜他们呢？
从前晋献公听信骊姬，杀了太子申生，引起大乱。
汉武帝信江充的话，降罪太子，京城流血。
晋惠帝信贾后谗言，废了太子，中原大乱。
隋文帝听信独孤皇后的话，废了太子杨勇，改立杨广，天下都丢了。
前面的车翻沟里了，后面的车引以为鉴。”
李隆基听了沉默不说话，一脸愤怒。
张九龄一点都不怕，说完慢慢退出。
到散朝后，武惠妃秘密派宫中太监牛贵儿，追上张九龄说：
“有废必有兴，您这次如果肯出手帮助惠妃，立寿王为太子，您的宰相官位可以长久。”
张九龄愤怒地说：
“后宫的人怎么干涉朝内的事？
你别跟我废话，赶紧滚一边去！”
牛贵儿走开后，张九龄又返回来找到李隆基说：
“就在刚才，武惠妃派太监牛贵儿找到我，让我帮助武惠妃排挤掉太子。”
李隆基一听就明白了，搁置了废太子的盘算。
武惠妃从此憎恨张九龄，和李林甫串通一气，内外一齐排挤他。
李隆基本来因为张九龄是学富五车的文人雅士，大为欣赏。
至此宠妃武惠妃、奸相李林甫一起进谄言，李隆基对张九龄渐渐冷淡。
平卢讨击使安禄山，为张守珪所派遣，讨伐契丹叛党。
安禄山自恃勇武，违反军令冒进，被契丹兵打败。
张守珪奏请皇帝批准，将安禄山斩首。
安禄山临刑大喊：
“您想消灭奚契丹，为什么杀死壮士？”
王守珪为他的气魄感到惊奇，先不斩他了，派人押送他长安，听候皇帝发落。
张九龄看完张守珪的移送文书，在上面批示说：
“过去穰苴杀庄贾，孙武杀嫔妃，军法如山。
安禄山不应免死。”
李隆基亲自察审囚犯，见安禄山身材高大魁梧，不忍心杀他，竟下诏赦免。
张九龄说：
“安禄山违犯军纪，丧失军队，不可不杀。
并且安禄山脸上带着不服气的反叛脸相，不杀必为后患。”
李隆基冷笑一声说：
“你不要以为你像王夷简看透了石勒，让朕冤杀忠良。”
张九龄知道无法劝说皇帝改主意，方才退出。
朔方节度使牛仙客，一次次升官。
李林甫想把他扶植成自己的党羽，多次向李隆基举荐牛仙客。
李隆基想升牛仙客为尚书，张九龄劝阻说：
“尚书是古时候的纳言，不能轻易任命。牛仙客几乎就是文盲怎么担当此任？”
李林甫说：
“牛仙客有宰相之才，何止当个尚书。”
李隆基先加封牛仙客为陇西县公，准备重用。
李林甫自己没有才学，也不喜欢有学问的人。他又推荐萧炅为户部侍郎。
萧炅不学无术，总是把把“打猎（lie）”读成“打猪（zhu）。”
比如我们去打猎，他念就是“我们去打猪”。
中书省郎严挺之，对张九龄说：
“哪里来的打猪山大王，混进中书省冒充妙文郎？”
张九龄因此弹劾萧炅没有学问，李隆基把萧炅贬为岐州刺史。
他的私党被贬走，李林甫怨恨张九龄、严挺之。
严挺之夫妻不和，他不爱了也不要他的老婆了。他老婆就改嫁给蔚州刺史王元琰。
王元琰犯了贪污罪，被御史台审问。
严挺之就想办法为他减罪营救。
李林甫对李隆基说：
”“严挺之私下袒护贪污犯王元琰，应该连坐，请求把严挺之逮捕下狱。”
李隆基问张九龄，张九龄说：
“王元琰娶了严挺之抛弃不要了的老婆，严、王之间能有什么情谊？
肯定是王元琰贪污罪没有查实,严挺之出于公心，他营救王元琰是避免他被人诬陷。”
李隆基微笑着说：
“人世间恐怕没有这样的好心人。朕听说严挺之虽然离了婚，近来又与前妻有私情，因此出来帮忙。”
这话肯定是李林甫捏造出来给李隆基听的，张九龄不便再劝说。
只好转而请求裴耀卿，营救严挺之。
裴耀卿也为严挺之求情。
李林甫对李隆基说：
“裴耀卿和张九龄是同伙。他俩走路都恨不得穿一条裤。”
李隆基于是诏令：
裴耀卿调离左丞相位，
张九龄调离右丞相位。
严挺之贬为洛州刺史。
王元琰流放岭南服刑。
任牛仙客为工部尚书。
升任李林甫为中书令。
诏令即颁布，李林甫对属下说：
“你们看张九龄还能当右丞相么？当不成了吧。”
他又对朝廷谏官们说：
“英明国君在朝堂，群臣顺从乐洋洋，何苦多言找不祥？”
各位没见到仪仗队的马么？
它拥有好的待遇、吃的上好的炒豆马料，普通马儿吃不到。
可是不懂事的马儿一鸣叫，它就被淘汰掉，被赶出马队，它后悔也晚了。
懂事的马不鸣叫，你们也得学学管住嘴巴，当安享富贵的马！”
众官员听了，也都不给皇帝提意见了。
只有补阙杜近，上奏书言事，被贬为下邽县令。
从此没人敢进言，谁进言谁就变成倒霉蛋。