军威鼎盛，举国瞩目，但徐子威呆不下去了。
他在蓟州，后在平州，做的全部是琐碎芜杂之事。
不管是李国瑞，还是岳峙等管军太尉大将，又或是中枢和地方的文官，对这位天子的弟弟都缺乏好感，徐子威在蓟州和平州都缺乏有力的支持，有很多时候他感觉自己就象个守门的老军，或是勤勉效力的小吏。
在前方呆了两个月，眼看兵戈将起时，徐子威急欲去前线确定自己的价值，但李国瑞还是令他在平州看守粮食。
徐子威一怒之下告病，直接绕过京师，连天子也没有见，从津海坐船南返。
待他至福州时，天子诏命已经至福州，官家拿这个弟弟也没有办法，只是令赵王将徐子威的长子送到京师，暂且不能送进宫中，在赵王府于京师的别院中居住，天子将派名儒和大将亲自去教导。
徐子威的长子方四岁，距离接受完整的教育还要过几年，距离夭折的风险也要过几年，加上天子要防物议，引发政潮，在大魏，天子无嗣，将宗室之子接入宫中教养是常有之事。一般是先封团练使，十余岁时拜节度，太尉，当然都是虚职，到十五六岁时，封侯，及冠时才加国公或郡王，若在诸宗室子弟中确立储位了，则加亲王，拜为知顺天府，那便是储位确定，天下人皆知矣。
