太上皇迁到西内以后，原来侍奉太上皇的陈玄礼、高力士等人都不准留在左右，另外派几十名老兵护卫，从此把太上皇幽禁起来。
过了几天，李辅国宣肃宗旨意：“(高)力士潜通逆党，曲附凶徒，隐怀枭搅之心，合就鲸鲵之戮。以其久侍帷幄，颇效勤劳，目舍殊死，可除名，长流巫州。”陈玄礼被迫“致仕”,肃宗另选一百余名宫女负责西内洒扫，命太上皇两个女儿万安公主、咸宜公主侍候服膳。
肃宗幽禁太上皇，首先出于政局的变化。乾元元年(758)六月，史思明杀了朝廷在范阳的代表，重新叛唐。第二年九月，叛军第二次攻占东都，使肃宗深感不安，当时肃宗的处境和两年前太上皇处境相似，他怕太上皇乘机夺权，从而把他父亲隔离起来。
第二，在改葬杨贵妃问题方面，肃宗父子间矛盾扩大，联系其他事把关系复杂化。太上皇在兴庆宫，有时被行路百姓朝拜，还有人喊“万岁”。太上皇有时在兴庆宫宴请长安父老。在战局紧张以后便引起肃宗的猜疑，特别是与羽林大将军郭英义的来往，更引起肃宗关切。
