很多人受“三妻四妾”這個成語的影響以為男人可以有幾個妻子，實際上古代是實行“一夫一妻多妾”制度，小妾可以有很多個但妻子只有一個，五阿哥一生當中有3個女人，妻子只有一個，其他兩個都是妾。

受《還珠格格》影響，很多人以為五阿哥深愛原配小燕子，可歷史上的永琪是因為政治聯姻才娶的原配，真正愛的人不是她，是小妾“知畫”。

小燕子的原型人物是西林覺羅氏，大學士鄂爾泰的孫女，出生在這樣的名門，她從小接受了四書五經的教育，根本就不是電視劇裡文盲的小燕子形象。1745年鄂爾泰去世，可誰知他死後還捲入了政治風波，事情起由是他生前的門生胡中藻寫了一句詩“一把心腸論濁清”，這句詩被乾隆認為有反清復明的思想，將把胡中藻處死，鄂爾泰死了還受胡中藻牽連牌位被撤出祠堂。

後來乾隆反悔了，覺得不該對鄂爾泰家族那麼狠，但他是皇上總不可能低下頭去道歉，所以他就借1757年的選秀，將西林覺羅氏許配給永琪，借用這樁政治聯姻結成親家，既可以緩和兩家的關係，又可以利用鄂爾泰家族的勢力幫他做事。

選西林覺羅氏作為永琪的妻子還有個好處，西林覺羅氏學問和品德都好，是一個能輔佐丈夫的賢內助，永琪要是能夠繼承大統，西林覺羅氏這樣賢良淑德的女子就是最好的選擇。

永琪也沒有電視劇裡演得那麼愛情至上，他很明白乾隆給他制定的這門婚事有什麼用途，默不啃聲就接受了，反正男人不喜歡原配還可以再找，所以他娶了西林覺羅氏不久之後就娶了知畫的原型人物索綽羅氏。

索綽羅氏家族地位沒有西林覺羅氏那麼高，父親只是左都御史，索綽羅氏雖然地位不高但非常得寵，嫁給永琪不久就生了一個兒子，後來又生了3個兒子，其中兩個是雙胞胎，雙胞胎裡只有弟弟倖存下來，哥哥和另外兩個兄弟都不幸夭折。

永琪還有一個小妾胡氏，胡氏就更加沒有地位可言，她只是一個沒有任何官職和爵位的漢人之女，永琪只和她生了一子一女，後來兒子夭折女兒存活下來。乾隆看不起平民背景的胡氏，永琪早逝後都沒有照顧過她們母女，只給孫女封了一個小小的“縣君”就把她遠嫁到蒙古。

西林覺羅氏身為永琪的妻子卻爭寵爭不過兩個小妾，嫁給永琪的時間是最早的，生孩子的時間卻是最晚的，別人都生一大串了她才生了一個兒子，這個兒子沒有給她帶來福氣，只活了21天便夭折。

西林覺羅氏之後也沒有再給永琪繁衍子嗣的機會，因為永琪1766年因附骨瘡病逝，年僅26歲。附骨瘡是人體受寒，寒氣都聚集在骨頭上結有膿瘍的一種病，清朝皇室好幾個人都死於此病，原因可能跟他們經常在溼氣大的凌晨出去打獵有關。

永琪一死，西林覺羅氏當然沒有再生孩子的機會，只能獨守空房一輩子，索綽羅氏好歹還有綿億，綿億這個名字包含了永琪對她深厚的愛，其意思是“綿綿不斷的情意，億億萬萬的決心”，索綽羅氏只要聽到綿億這個名字哪怕是守寡也不會那麼傷感，至上她享受了永琪生前的愛。

永琪生前只是一個王爺，死後卻有資格葬在太子陵，其實這裡面透露了乾隆的一番心意，1763年，永琪不顧危險衝進九州清晏殿火場將他背出來，他劫後餘生備受感動，心裡默默有把永琪當成接班人的想法，在永琪24歲那年封他做了和碩榮親王。

順治帝當初想要董鄂妃的兒子做皇帝就封了和碩榮親王這個稱號，乾隆不可能不知道和碩榮親王代表了什麼特殊的含義，他大概和順治帝有同樣的想法，只是永琪的命和董鄂妃兒子的命一樣，還沒等到那一天就去世了，乾隆悲痛欲絕但也只能接受事實，1793年遇到英國使臣馬戈爾尼也只能發發牢騷說“頗屬意於彼”。乾隆心裡都把永琪當成繼承人看了，將他葬在太子陵也不奇怪，至於西林覺羅氏歷史書根本就沒記載她葬在哪裡，或許是她太微不足道根本就不值得史官去關心。