当时度辽将军范明友，为未央卫尉，中郎将任胜，为羽林监，还有长乐卫尉邓广汉，光禄大夫散骑都尉赵平，统是霍光女婿，入掌兵权。光禄大夫给事中张朔，系光姊夫，中郎将王汉，系光孙婿，宣帝先徙范明友为光禄勋，任胜为安定太守，张朔为蜀郡太守，王汉为武威太守；复调邓广汉为少府，收还霍禹右将军印，阳尊为大司马，与乃父同一官衔；特命张安世为卫将军，所有两宫卫尉，城门屯兵，北军八校尉，尽归安世节制。又将赵平的骑都尉印绶，也一并撤回，但使为光禄大夫。另使许史两家子弟，代为军将。
霍禹因兵权被夺，亲戚调徙，当然郁愤得很，托疾不朝。大中大夫任宣，曾为霍氏长史，且前此奉诏护丧，因特往视霍禹，探问病恙。禹张目道：“我有什么病症？只是心下不甘。”宣故意问为何因，禹呼宣帝为县官，信口讥评道：“县官非我家将军，怎得至此？今将军坟土未干，就将我家疏斥，反任许史子弟，夺我印绶，究竟我家有什么大过呢？”宣闻言劝解道：“大将军在日，亲揽国权，生杀予夺，操诸掌握，就是家奴冯子都王子方等，亦受百官敬重，比丞相还要威严。今却不能与前并论了。许史为天子至亲，应该贵显，愿大司马不可介怀！”宣亦有心人，惜语未尽透辟。禹默然不答，宣自辞去。
