因為當時沒有為皇帝生兒子，他們只有壹個女兒，名叫常德公主，所以孫貴妃和明宣宗找了個借口，以皇後無子多病為由，讓皇後辭去皇後職務，胡只能退居長安宮。明宣宗的母親張太後見胡很賢惠，就叫她住在清寧宮。設宴時，她還把胡的地位排在孫皇後之上。
張太後死後，胡極度痛苦，幾年後也去世了。當時，人們都知道胡皇後沒有過錯，但他被廢除了女王的地位。人們非常同情女王。據說玄宗晚年也認為此舉有點過分，因此非常後悔，認為自己少年時太沖動了。孫皇後死後，明英宗恢復了胡皇後的地位。
在明朝200多年的歷史中，胡皇後是第壹個沒有任何過錯就被廢除的人。她的人生可以說是悲喜交加。可悲的是，她沒有生下兒子，所以她很幸運地遇到了善良的皇後張。事實上，從治國安邦的角度來看，明玄宗確實有所作為，但他在胡皇後問題上做出了糊塗的決定。