他在杭州的四年当中,和竹川上人、照玄上人等方外之士时相往来,也和刘显仁、郑士亭、熊文彦、月忽难等文士诗文相和。
至正十二年,公元1352年七月,徐寿辉攻陷杭州。
在攻陷杭州之前,刘伯温便带着家人回到故乡。
他回到故乡不久,朝廷来了一封公文。
朝廷起用他为江浙省元帅府都事,主要任务是帮助当地政府平定浙东一带的盗贼,特别以方国珍为对象。
元左丞帖里帖木儿欲招安方国珍,刘伯温认为方氏兄弟为首犯,不诛无以惩后。
方国珍重赂官府,终被招安,并授以官职,反而谴责刘伯温擅威福。
刘伯温一怒之下辞官还里,以表对元朝腐败昏聩之不满。
不久,山寇蜂拥而起,行省又召刘伯温前去剿捕,与行院判石抹宜孙一起驻守处州。
经略使李国凤将其功劳上奏,主持政事者因方氏之故压制刘伯温,授他为总管府判,却不让他掌握兵权。