許穆夫人的身世可是一言難盡，不大容易說清楚。《列女傳》上的“卷之三·仁智傳”中，說“許穆夫人者，衛懿公之女，許穆公之夫人也”。這個說法有誤，更常見的說法是衛懿公是許穆夫人的哥哥，這個說法也不完全對。她的輩份說起來很麻煩，但許穆夫人的母親是鼎鼎大名的齊宣姜（春秋時代齊僖公的女兒，齊是國名，姜是她的姓，因為嫁給了衛宣公所以就叫宣姜），這卻是毫無疑問的。
說起齊宣姜和她的妹妹齊文姜，這對姐妹那可是當時芳名遠播的大美人，是春秋時代著名的姐妹花。不過春秋齊國這對“twins”，名聲卻很不好。妹妹齊文姜居然和自己的哥哥（即齊襄公）亂倫，後來雖然嫁給了魯桓公卻還念著這不倫的舊情，更讓人驚詫的是，事隔十幾年後，在魯桓公訪問齊國時，她和親哥哥齊襄公又搞在一起，被發覺後，齊襄公甚至乾脆派了個大力士在車上把魯桓公用力一夾，捏得肋骨都酥斷了，當即死掉。齊文姜害了老公，不敢回魯國去，她兒子魯莊公接她到了齊魯之間的禚地住，這地方既不屬於魯國，也不屬於齊國，兩人經常在哪兒幽會。後來齊襄公被作亂的手下殺死，她才收了心，開始全心幫助她兒子治理魯國的國政，並親自指揮軍隊屢敗強敵，表現出極高的政治軍事才能，可以稱得上是個少有的女軍事家。所以千年來人們對於齊文姜毀譽參半，是個難以評說的複雜人物。
這是許穆夫人姨姨的事跡，而她的親生母親齊宣姜更倒霉一些。宣姜本來許配的是衛宣公的兒子伋，但是衛宣公是個老流氓（說衛宣公是老流氓一點也不錯，這廝年輕時和自己的小媽私通，這個兒子伋就是這樣生下來的），聽說齊宣姜艷若桃李，頓時垂涎三尺，居然來了個“掉包計”，在黃河邊上築了一座新台，把新娘攔截了下來，自己鑽進洞房當了新郎。雖然我們知道春秋時期的男女關係確實亂得夠嗆，但是衛宣公的這種行為在當時也是為世人所不齒的，《詩經·邶風》中有一篇叫《新台》，講設網本為捕魚，卻事與願違，得了個癩蛤蟆，說的是這件事。
衛宣公的所作作為實在令人不齒，但有人寫這段故事時這樣說：“小公主蓋著蓋頭，糊裡糊塗地和老東西行了婚禮。直到進入洞房，宣姜才發現，當初來相親的俏郎君變成了一個鬍子花白的老頭兒”。其實這樣描述未必符合歷史實際，衛宣公的醜陋主要還是在行止上，年紀倒不一定十分老醜。因為春秋之時結婚都極早，據說伋這年不過十六七歲，伋是衛宣公和其庶母私通生下的，當時的年紀肯定也不太大，所以衛宣公當時也就三十多歲最多四十來歲吧，不至於是一個鬍子花白的老頭兒。《新台》一詩將衛宣公比喻成癩哈蟆，其實更多地是厭惡他的作為。
