高帝十一年，英布起兵造反，刘邦便属意让太子代己出征，平定叛乱。四人急忙向吕泽建议：“太子此番出征，若建功勋，并不能改变如意受宠的局面；稍有差池，则必招祸殃。再者，军中诸将随主上平定天下，常年征战，骁勇过人，必不服太子指挥。此去无异于以羊率虎，必定无功而返。何况太子领兵在外，如意长侍主上左右，一涨一消，如意更得主上喜爱。今有传言，主上常叹，‘怎能让不肖之子居于爱子之上’，可见废太子之心日盛。唯今之计，还是请吕后向主上恳求，请主上率军亲征。”吕后依计行事，刘邦以为太子之力不足以领兵，只好决定亲征。随后，刘邦向张良询问此事，张良知其中利害，便说：“太子毕竟征战经验不足，封太子为将军，监管关中军马即可。”刘邦于是亲自领兵，攻打英布叛军。
第二年，刘邦得胜归来，身体日益衰弱，心知时日难久，急于改立太子。一次宫中设宴，刘邦突然看见侍立太子身后的四人，心中震动，问其缘由。四人答道：“太子至仁至孝，天下拥戴，何况我们四人呢？”刘邦见此四人都愿意破誓辅佐汉廷，以为太子羽翼日丰，地位牢不可破，废之不智，从此打消了改立太子的念头。
