郑青在郑家受到了郑季夫人和族人的排斥，日子很不好过。郑家让年幼的郑青成天在山上放羊，让他自生自灭。郑家的几个兄弟毫不顾及手足之情，对郑青随意责骂。郑青就是在这样恶劣的环境中顽强地成长了起来，并且形成了谨慎小心、善于忍耐的个性。他很清楚自己的地位，很有自知之明，而且学会了保护自己，让那些时刻找碴的郑家人抓不住责骂他的把柄。日后，这样的性格对郑青的政治发展起到了很大的帮助作用。
郑青慢慢长大了。郑家越来越不能接受成年的郑青，郑青也知道家奴的儿子世代都是家奴，加上不愿再受郑家的奴役，就毅然回到了母亲卫媪身边。因为和郑家没有一点感情，郑青决定冒姓为卫，改名卫青，与郑家断绝关系。
卫媪给儿子找了一份“工作”——在平阳侯曹家当家奴。卫青这个人很奇怪，尽管常年忍饥挨饿，却长得高高大大、相貌堂堂，于是就做了主人家的骑奴。汉景帝的女儿、汉武帝的姐姐平阳公主嫁到了曹家，卫青被分配给公主当差，工作的主要内容是在公主出行的时候骑马在后面跟着，充当众多杂役兼保镖中的一个。有一次，卫青去汉武帝的离宫甘泉宫干活，一位囚徒端详卫青后断言他面相大贵，将来肯定能封侯拜将。卫青哈哈一笑，说我身为家奴，不受主人的鞭打责骂就是万幸了，哪里谈得上封侯拜将啊？周围的奴隶、囚徒们也都哈哈大笑，把它当作是一个调节苦难生活的小笑话。
