許多人認為晉國的霸業成於晉文公重耳，實則不然。晉公子重耳在外流亡長達19年之久，回國即位時就已經62歲了，早已經垂垂老矣了，再怎麼勵精圖治、改善吏政，能留給他的時間也不多。而其之所以能夠在即位的第2年就能為周室平定王子帶之亂，即位的第5年就能戰勝強楚、開創晉國長達百餘年的諸侯霸業。這顯然是要歸結到晉國原就具備稱霸的大國基礎的。所以，從這個層面上看，晉文公重耳也可以說得上是晉國霸業的摘桃人，而晉國霸業的實際奠基者其實要歸結到晉國曆史上那個著名的“昏君”也就是晉文公重耳的父親晉獻公詭諸。

晉國的始封君是唐叔虞，也就是周武王的兒子、周成王的弟弟。有個成語叫“桐葉封弟”，講的就是周成王拿片剪成圭形的桐葉逗他的弟弟叔虞說：“用這個封你”，結果被史官記錄下來，而周公又以“天子不可戲言”而因此要求周成王將叔虞分封為諸侯，於是叔虞就被封於唐地，後“唐”改為“晉”，是為晉國。其實，這個就是個流言，周以小邦攻克大邦殷，其統治中心又遠在關中，為了控制東方之地，封建諸侯就成了周王室鞏固統治的國策方略。而分封諸侯就是以宗法制為依託的，所以，才有周所封七十一國，其同姓者五十三國。而唐叔虞是周武王的嫡子，周成王的弟弟，整個周王室血緣最親的人，本就是分封諸侯的最為重要的物件，所以根本就不需要有“桐葉封弟”這個戲言。再說，如果天子的戲言可以當真，周成王如果是拿桐葉跟身邊的太監、宮女們開玩笑怎麼辦呢？拿自己的王位跟人開玩笑怎麼辦呢？，所以桐葉封弟切莫當真，因為那本就是封給該被封之人的。

自唐叔虞十傳至晉昭侯，晉昭侯封其叔成師於曲沃，是為曲沃桓叔，從此掀開了晉國長達67年之久的以小宗最終取代大宗的“曲沃代晉”的戰爭。晉曲沃一系在歷經桓叔、莊伯至曲沃武公三十七年盡並晉地，並以搶掠來的珍寶器物賄賂新立的周釐王，是以被周王室正式任命為晉國國君，曲沃武公也就改稱為晉武公。第二年，晉武公去世，其子詭諸繼位，是為晉獻公。

晉獻公在位期間，攻滅驪戎、耿、霍、魏、楊，芮、郇、耿、冀等國，擊敗狄戎，後又採納荀息假道伐虢之計，消滅強敵虞、虢，史稱其“並國十七，服國三十八”。而司馬遷在《史記·晉世家》中寫道，當此時，晉彊（通強），西有河西，與秦接境，北邊翟，東至河內。黃河中游皆為晉國所有，可以說晉國的百年霸業的基礎自此算是打下了。