“权重一去,收之极难”八个字,可谓踩到了武则天的痛脚,历来最高统治者,最怕的就是大权旁落,最忌惮的,就是试图夺权者,丘愔的弹劾,可谓弹到了点子上。而且,丘愔不是一个人在战斗,紧接着,长上果毅(官职)邓注写了一篇《硕论》,详细地列举了李昭德专权的事实,凤阁舍人逄弘敏也不失时机地落井下石,将其上奏给武则天。
当时还有一个名叫姚璹的宰相,深得武则天信任,武则天对姚璹说,如果事情真如群臣所言,李昭德确实对不起国家。
延载元年九月,把李昭德贬为今广西灵山县尉后,武则天责怪豆卢钦望等其他五个宰相当睁眼瞎、对李昭德的擅权听之任之,把他们统统贬为州刺史。三年后,武则天想到李昭德还有用,就把他召回朝廷,让他当监察御史,利用他的优点,帮他管理官员。李昭德也满以为从此苦尽甘来,咸鱼翻身,不料却落到酷吏来俊臣手里,来俊臣诬告他谋反。