牛仙客担负河西节度使时，政绩明显。玄宗很赏识，想给牛仙客加官为尚书。张九龄分歧意，他说：“尚书是古代负责向皇帝提建议的年夜臣，牛仙客出生河湟小吏，一会儿选拔为朝廷要职，会影响朝廷的荣誉。”玄宗又问：“只给牛仙客加个爵位可以吗？”张九龄仍然否决，说：“爵位是对峙功者的勉励，作为边将使仓库充分，器械修整，都是分内事，不算建功。假如陛下以为他工作勤奋，可以犒赏金帛，而分封地盘，赐给爵位，极不适合。”玄宗心里十分不舒畅。李林甫跟玄宗说：“牛仙客有宰相之才，给他个尚书称号有何弗成！张九龄所说满是墨客之见。”玄宗认为李林甫说得对。
第二天，玄宗又提起封牛仙客爵位，张九龄仍然死力否决。玄宗说：“你嫌牛仙客出生寒微，你的家世也不高啊！”张九龄说：“我家在岭南，出生卑贱。然则我收支朝廷，职掌诰命已经多年。牛仙客出生边疆小吏，年夜字不识，假如一会儿选拔为高官，世人会歧视朝廷。”
李林甫又跟玄宗说：“只要有能力见识，要什么学问才干！皇帝用人，什么样的人不克不及用！”有了李林甫的赞成，玄宗掉臂张九龄的否决，赐给牛仙客陇西县公的爵位。
张九龄与严挺之关系好，想举荐严挺之为宰相，曾经告知严挺之，跟李林甫搞好关系。严挺之为人高傲率性，从不到李林甫门上去。这些都使李林甫怀恨在心。
严挺之前妻嫁蔚州刺史王元琰，王元琰犯了贪污罪，朝廷交刑部、御史台和年夜理寺会审。严挺之看在前妻的情分上，为王元琰托人讨情，愿望能广大处置。李林甫抓住了把柄，让手下的人密告此事。
玄宗认为既然严挺之为王元琰讨情是事实，那么张九龄显著是袒护严挺之。斟酌到张九龄、裴耀卿和严挺之经常互相支援，认定他们结成了朋党。开元二十四年(736年)十一月，玄宗免职了裴耀卿和张九龄的宰相职位。张九龄曾推举周子谅任监察御史。张九龄罢相后，周子谅弹劾牛仙客不堪任宰相，但来由荒谬。玄宗亲自鞠问，把他流放。张九龄也因用人欠妥而受到连累。于是，张九龄被贬为荆州年夜都督府长史，他的政治性命根本停止。