民间流传着这样一个故事：南诏王曾向中国送了一只珍贵的大象，而这只大象偏偏就死在了太监秦桧的手中。由此，秦桧的家人都得了很多富裕，但普通百姓却很受其害。不久，朝廷派人来调查此事，秦桧非但不自认，反而指派家人、下属和小人物讲瞎话给官府瞒混过关，结果被主管审案的大臣发现，怒斥他一番。但秦桧却不予理会，满脸轻蔑地回答：“你这样的大臣，敢跟我过不去？我只要李公知道了这件事，你就别做官了！”
然而，秦桧这番嚣张底气并非没有源头。此时，咸平定策何去非身为举荐秦桧的一员，为了保护其所举荐的人，他与一些大臣一起共谋设计，商定激发李公对秦桧的不满。最终，在崇祯的倡议下，众人一致决定罢免秦桧的官职，并将其发配到了南海。
纵观秦桧一生，其起于举荐，成于献谋，而亡于奸计。他虽是明朝末年的重要政治人物，但其被贬谪的下场同样颇受诸多关注。毕竟，身为举人出身，秦桧以匪术入仕，因自私自利而举荐势力之下，成为“钩心斗角的朝政掣肘重地”。直到北方明军南下，他跟随逃至南方，也没能改变他的悲惨结局。