平阳公主嫁过来的时候,卫青还是平阳侯府的家奴。卫青的母亲卫媪也是平阳侯府的**,早年嫁给卫姓男子生下了三女一子:卫君孺、卫少儿和卫子夫,长子卫长君,后来丈夫去世,卫媪又和公主府的小吏郑季私通怀上了卫青。
卫家姐弟受到汉武帝的重用,平阳公主开始为卫家人打造连襟权力网,卫子夫的长姐卫君孺,嫁给了太仆公孙贺;卫子夫的二姐卫少儿,此前与霍中孺私通,生下了霍去病,可在平阳公主的帮助下,她还是嫁给了陈平的曾孙陈掌。
霍去病的出身,不显赫,但十分传奇,霍去病是一个私生子。母亲卫少儿是原是平阳公主府家中侍者,期间认识了来公主家当差的平阳县县吏霍仲孺,两人在一起生下霍去病。霍仲孺不敢承认与公主家**在一起,当差期满后离开平阳公主家。卫少儿没有告诉霍去病他的身世。后来卫少儿又同西汉功臣之后陈平曾孙陈掌有私。
侍女名叫卫少儿,共有姐弟七人,由于其母亲是平阳公主的家仆,姐弟七个便都在公主府上谋差事。其中卫少儿排行老二,有个妹妹叫做卫子夫,还有个弟弟叫做卫青。
卫青(?—前106),字仲卿,西汉河东郡平阳(今山西临汾西南)县人,本姓郑。他的生父郑季当过平阳县吏,因为办事经常出入平阳侯曹寿家。曹寿的妻子平阳公主(原封阳信公主,下嫁曹寿后改称平阳公主)是汉武帝之姊。郑季在平阳侯家办事时,与平阳公主侍婢卫氏私通,生卫青,因从其母冒姓卫氏。在此以前,卫氏尚生有子女数人,长子长君,长女君孺,次女少儿,三女子夫,子夫的弟弟步广。他们都是卫青的同母兄姊,也都冒姓卫氏。